TIDE: Time-relevant deep reinforcement learning for routing optimization[1]

---

안녕하세요 상남자 우기입니다!

오늘 포스팅할 논문은 원문 링크를 포함하여 다음과 같습니다. 

피드백은 언제나 감사히 받겠습니다!!

https://www.sciencedirect.com/science/article/abs/pii/S0167739X19305424

TIDE: Time-relevant deep reinforcement learning for routing optimization

---

 

Abstract

• 많은 라우팅 최적화 기법이 제안되었으나, 대부분 매우 복잡하고 최적의 성능에 거리가 먼 경우가 있음
• SDN + AI 기법을 적용한 라우팅 전략을 제안하고자 함
• 제안 기법 : 지능형 네트워크 TIDE(Time-relevant Deep reinforcement learning)
  • 사람의 경험 없이 SDN 네트워크에서 라우팅을 동적으로 최적화할 수 있는 심층 강화학습 기반 제어 아키텍처
• 실험 결과, 네트워크 전송 지연을 기존의 알고리즘 대비 9% 개선

 

 

Introduction

1. 본 논문에서는 라우팅 최적화를 대표하는 QoS 보장을 활용함

• 로드 밸런싱과 QoS 보장은 대표적인 라우팅 최적화 대상이며 주요 목표는 트래픽 흐름의 라우팅 경로를 변경하여 더 나은 네트워크 성능에 도달하는 것임
• 일반적으로 매개변수를 더 많이 고려하는 QoS를 보장하는 것이 모델링 시 로드 밸런싱보다 복잡함
• 적절한 라우팅 정책이 없다면 전송률은 심각히 저하되고 네트워크 트래픽 불균형에 있어서 QoS 및 자원 낭비와 같은 일련의 문제를 일으킬 수 있기 때문

 

2. 기존의 라우팅 최적화 방법의 한계

• 주로 링크 예측 또는 이전 경험을 기반으로 꼼꼼하게 설계된 알고리즘에 의존하기 때문에 세분화되지 않거나 시간이 많이 소요 (전통적인 화이트 박스 방식[1,2])
• 최근 AI 의 기술 발전으로 네트워크 설계 분야의 지평을 넓혔음 -> 2003 "knowledge plane" [3] 제안 

 

3. SDN(Software-Defined Networking)의 등장

• SDN은 control plane과 data plane의 분리로 네트워크 자원의 활용을 더 효율적으로 만들기 때문엔 라우팅 최적화에 많은 도움
• Data plane의 프로그래밍 구현으로 네트워크 설계자는 기본 네트워크 인프라를 조작하고 활용할 수 있는 많은 편의 제공 [4]
• 부하 분산 및 QoS 보장 알고리즘과 같은 기존의 라우팅 최적화 기술은 새로운 조건(SDN에서 동적 정보 분석 및 정책 생성이라는 과중한 작업을 수행한 다음 정책을 데이터 평면의 흐름 테이블로 변환)에서 실패했었지만 최근 AI의 도움으로 이러한 문제들을 해결하기 위해 노력하고 있음

 

4. 본 논문 제안

• SDN의 자동 라우팅 전략을 실현하기 위해 지능형 네트워크 제어 arhitecture TIDE(라우팅 최적화를 위한 TIME 관련 DEEP 강화 학습)를 구축 
  1. "수집-결정-조정" 루프가 제안 : 전송 네트워크의 지능형 라우팅 제어 수행
  2. RNN 기반 심층 강화 학습 : 트래픽 특성 추출 위한 설계 및 최적의 라우팅 전략 동적 출력
  3. NS3를 이용한 시뮬레이션 검증
• 데이터 평면, 제어 평면, AI 평면 총 3개의 평면으로 구성

 

 

Arcitecture of TIDE

 

Arcitecture of TIDE

 

• 데이터 평면과 제어 평면은 일반적인 SDN과 같음 아래 포스팅 글 참조

2021.09.22 - [논문 리뷰] - (1) A Survey on Software-Defined Networking

2021.10.06 - [논문 리뷰] - (2) A Survey on Software-Defined Networking

• TIDE의 핵심인 AI plane
  • 두뇌 역할 // 스마트 에이전트는 네트워크 전체 뷰와 네트워크 성능을 지능형 알고리즘의 입력으로 사용한 후 라우팅 전략 업데이트에 사용되는 네트워크 토폴로지의 각 링크에 대한 링크 가중치를 출력
  • 네트워크와의 각 상호 작용에서 스마트 에이전트는 라우팅 전략을 생성 후
  • 네트워크에서 수집된 보상(예: QoS 매개변수로 측정된 서비스 품질)에 따라 이러한 정책의 성능 평가
  • 스마트 에이전트는 알고리즘 매개변수를 조정하여 더 높은 보상을 얻음
  • 일정 기간 훈련 후 스마트 에이전트는 네트워크 환경과의 상호 작용에서 충분한 경험을 학습하고 네트워크에 대해 거의 최적화된 전략을 생성

 

1. 수집-결정-조정

• 수집
  • 적절한 정보 수집 체계를 선택해야 함
  • 트래픽 흐름을 모니터링 하기 위해 다양한 방법이 있지만 본 논문은 polling[5] 방법을 사용
• 조정 & 결정
  • AI plane은 수집된 정보를 기반으로 라우팅 정책을 조정하는 결정하고 스마트 에이전트의 신경망 출력에 따라 이루어짐
  • 각 출력 노드의 링크 가중치 값 -> 컨트롤러로 전송 -> 컨트롤러에서 조정된 값을 각 스위치에 대한 흐름 테이블 그룹을 취하는 라우팅 정책으로 변환 -> 스위치에 전달 및 업데이트
  • 본 논문은 TIDE 에서 일관성을 보장하기 위해 중간 전달 방법 [6]를 사용

 

 

Reference

[1] H.E. Egilmez, S.T. Dane, K.T. Bagci, et al., Openqos: An openflow controller design for multimedia delivery with endto-end quality of service over software-defined networks, in: Signal & Information Processing Association Summit and Conference, 2012, pp. 1–8.
[2] J. Liu, N.B. Shroff, C.H. Xia, et al., Joint congestion control and routing optimization: an efficient second-order distributed approach, IEEE/ACM Trans. Netw. (2015) 1–17.
[3] D.D. Clark, C. Partridge, J.C. Ramming, et al., A knowledge plane for the internet, in: Proceedings of the SIGCOMM’03 Karlsruhe, Germany, 2003J. Clerk Maxwell, A Treatise on Electricity and Magnetism, vol. 2, third ed., Clarendon, Oxford, 1892, pp. 68–73.

[4] Nick. McKeown, Tom. Anderson, Hari. Balakrishnan, et al., Openflow: enabling innovation in cam pus networks, ACM SIGCOMM Comput. Commun. Rev. 38 (2) (2008) 69–74.

[5]N.L.M. van Adrichem, C. Doerr, F.A. Kuipers, Opennetmon: network monitoring in openflow software-defined networks, in: Network Operations and Management Symposium (NOMS), vol. 2014, IEEE, 2014, pp. 1–8.

[6]  McGeer. Rick, A safe, efficient update protocol for openflow networks, in: Proceedings of the First Workshop on Hot Topics in Software Defined Networks, ACM, 2012.