‘AI, HPC 요구에 대응하려면...’ 이더넷 업그레이드 가속화 움직임

AI 네트워킹과 대용량 데이터센터 애플리케이션 등이 이더넷 기반 통신의 발전을 촉발하고 있다. 

AI 워크로드, 고성능 컴퓨팅(HPC), 지속 가능성 이니셔티브로 인해 이더넷 생태계를 재구성하려는 움직임이 가속화되고 있다. 이더넷의 규모, 안정성, 신뢰성을 높여야 한다는 압박이 있으며, 이러한 압박은 울트라 이더넷 컨소시엄에 대한 관심으로 이어지는 양상이다.

AMD, 아리스타, 브로드컴, 시스코, 에비덴, HPE, 인텔, 메타, 마이크로소프트 등은 작년 7월 울트라 이더넷 컨소시엄(Ultra Ethernet Consortium ; UEC)을 결성했다. 이 컨소시엄은 업계 리더들이 모여 고성능 네트워킹을 위한 이더넷 기반 통신 스택 아키텍처를 구축하는 것을 목표로 한다. 새로운 회원사를 받아들이기 시작한 11월 이후 45개 기업이 UEC에 가입했다. 현재 715명의 업계 전문가가 UEC의 8개 실무 그룹에 참여하고 있다.

UEC 운영위원회 위원장인 J 메츠는 성명서에서 "AI 및 HPC 워크로드 요구 사항을 수용하도록 설계된 이더넷 기반 네트워크에 대한 열망이 강하다. 이러한 수준의 참여는 고무적이다. 광범위한 상호운용성과 안정성이라는 목표를 달성하는 데 도움이 될 것"이라고 말했다.

UEC 기술 자문 위원회 의장인 유리 엘저는 새로운 기술을 등장한 이후 상용화되기까지 7년이 걸리는 상황이 벌어지는 일은 피하고자 한다고 전했다. 그는 "오늘날 출시되는 기존 이더넷 스위치를 사용할 수 있도록 하고자 한다. UEC 기술은 기존 인프라 위에서 작동할 것이다. 링크 및 엔드포인트 수준에서 기존 이더넷과 호환될 것이다. 따라서 기존에 사용하던 모든 도구를 사용하여 작업할 수 있다"라고 말했다.
 

UEC 버전 1.0
UEC 사양 작업은 2024년 3분기에 버전 1.0이 출시될 예정이다. 매우 공격적인 일정이라고 할 수 있다. UEC 1.0 개요는 향후 사양에 대해 그룹이 설정한 우선순위도 담고 있다.

UEC는 "이더넷 개선이 이루어질 수 있고 이루어져야 한다. 미래의 네트워크 규모 증가와 더 높은 대역폭을 위해 전례 없는 성능을 더 잘 제공할 수 있도록 진화해야 한다. 가장 중요한 것은 네트워크가 일부 엔드포인트에 대한 긴 지연 없이, 참여한 모든 엔드포인트에 가능한 한 빨리 메시지를 전달할 수 있도록 지원해야 한다는 것이다"라고 밝혔다.

UEC는 일례로 AI 모델 학습에서 '테일 레이턴시'를 최소화해야 할 필요성을 언급했다. "훈련은 빈번한 계산 및 통신 단계로 구성되며, 다음 훈련 단계의 시작은 GPU 제품군 전반의 통신 단계 완료 여부에 따라 달라진다. 마지막으로 도착하는 메시지가 모든 GPU의 진행 상황을 알려준다. 통신 단계에서 마지막 메시지의 도착 시간으로 측정되는 이 테일 레이턴시는 시스템 성능에서 중요한 지표다"라고 UEC는 설명했다.

낮은 테일 레이턴시를 달성하기 위해 UEC 사양은 다음과 같은 차세대 애플리케이션의 중요한 네트워킹 요구 사항을 담을 전망이다.

- 다중 경로 및 패킷 스프레이
- 유연한 전송 순서
- 최신 혼잡 제어 메커니즘
- 엔드투엔드 텔레메트리
- 더 큰 규모, 안정성 및 신뢰성

UEC는 "이 마지막 요인은 앞서 언급한 모든 요소에 추가적인 부담을 준다. 고성능 시스템은 오류의 여지가 거의 없으며, 이는 대규모 네트워크에서 더욱 복잡해진다. 시스템이 성장함에 따라 결정론과 예측 가능성은 더욱 어려워지며, 전체적인 안정성을 달성하기 위한 새로운 방법이 필요하다"라고 밝혔다.

UEC가 AI와 고성능 네트워크를 위해 해결하고자 하는 또 다른 과제는 클러스터 간 통신을 위한 다중 경로를 지원하는 기능을 설정하는 것이다.

엘저는 "현재에도 다중 경로 통신이 가능하지만 일반적으로 하나의 고속도로만 사용하여 상호 연결한다. 따라서 여기에 문제가 생기면 전체 시스템 속도가 느려진다. 항상 사용할 수 있는 많은 네트워크 고속도로가 있는 시스템을 개발하고자 한다. 모든 고속도로가 항상 원활하게 하려는 것"이라고 말했다.

이더넷 얼라이언스, 2024년 로드맵 발표
AI 네트워킹은 다른 그룹의 연례 로드맵에도 등장했다. 이더넷 협회는 새로 발표한 2024 이더넷 로드맵에서 이더넷 업계의 새로운 킬러 앱으로 AI/ML을 꼽았다.

이더넷은 고속 인터페이스, 다양한 상호 연결 옵션, 전력 효율성의 발전을 향한 지속적인 진보를 통해 AI/ML 서비스 및 기타 애플리케이션에 대한 시장 수요를 충족하기 위해 진화하고 있다고 이더넷 얼라이언스 회장인 피터 존스는 말했다.

그에 따르면 현재 인피니밴드 운영에서 이더넷을 사용하는 것과 관련해 여러 질문이 제기되고 있다. “나에게 진짜 질문은 이것이다. 현재 수행되고 있는 작업을 효과적으로 대체하거나 대안이 되려면 얼마나 많은 작업이 추가로 요구될까? 이상적으로는 새로운 기술이 기존 기술이 하던 모든 기능을 더 좋고 저렴하게 수행하는 것이다"라고 그는 말했다.

존스는 이어 "여기서 가장 큰 변화는 로드 밸런싱과 같은 작업을 수행하는 것과 함께 작동하도록 하는 프로토콜과 관련된 것이다"라고 설명했다.  

지속 가능성은 이더넷 업계에서도 뜨거운 주제다. 이더넷 연합은 2014년 로드맵에서 이를 강조했다. 데이터센터 장비와 네트워크를 살펴보면 네트워크에서 사용되는 에너지 요금의 비중이 점점 더 커지고 있다. 존스는 "전력과 냉각 역량에 여력이 없다. 이더넷의 주요 과제는 어떻게 하면 서비스를 늘리고 전력을 줄일 수 있을 것인가다. 궁극적으로 효율성과 효과에 초점을 맞춤으로써 더 나은 제품을 제공해야 한다"라고 말했다.

2024 광섬유 통신 컨퍼런스에서의 동
지난주 2024 광섬유 통신(OFC) 컨퍼런스 및 전시회에서 회원사들은 이더넷 얼라이언스 로드맵의 혁신 방향을 제시했다. 멀티벤더 상호운용성과 최대 800기가비트 이더넷(GbE) 속도에서의 안정성이 그것이다.

OFC 컨퍼런스에서 이더넷 얼라이언스가 구축한 솔루션군은 아리스타, 시스코, 주니퍼, 마블, 스프린트, 시놉시스 등의 다양한 스위치, 라우터 및 인터커넥트를 통합하고 있었다. 인터페이스에는 OSFP, QSFP-DD, QSFP 및 SFP 플러그형 폼팩터 등이 적용됐다. 또한 까다로운 애플리케이션도 수용할 수 있는 이더넷의 용량을 보장하기 위한 물리 계층 및 트래픽 생성 도구를 포함한 테스트 및 측정 제품도 시연됐다.

시스코의 네트워킹, 데이터 센터 및 서비스 제공업체 연결 조직의 수석 부사장 겸 총괄 책임자인 케빈 울렌웨버는 이더넷 변화를 이끄는 동인이 데이터센터 애플리케이션이라고 전했다. 

그는 "데이터센터 트래픽이 끊임없이 증가하면서 고용량 및 고도로 지능적인 데이터 센터 네트워킹 솔루션에 대한 수요가 명백히 증가하고 있다. 이더넷은 엔터프라이즈 데이터센터에 보편화되어 있고 400G, 800G, 궁극적으로 1.6T로 속도가 향상되면서 진화하고 있기 때문에 기업이 거의 모든 애플리케이션을 실행하는 데 사용하는 네트워크가 될 것이다”라고 말했다. 

울렌웨버는 이어 “모델 생성 및 학습 모두에서 AI가 가장 큰 성장 동력이 될 것으로 예상된다. AI/ML 외에도 더 빠른 이더넷 속도를 최대한 활용할 수 있는 애플리케이션이 많다. 특히 고성능 컴퓨팅과 애플리케이션 및 스토리지가 여기에 포함된다"라고 말했다. 

볼렌웨버는 그 밖에도 미래 이더넷 성장 동력으로 다음의 사항들을 언급했다.

- 미디어 콘텐츠 제공업체와 방송사는 이더넷을 활용하여 더 많은 카메라 피드, 4K 및 8K 비디오의 고해상도, 가상현실 기능 등 더 많은 콘텐츠와 풍부한 미디어 경험에 대한 진화하는 수요를 충족할 수 있다.

- 동일한 네트워크에서 애플리케이션과 IP 스토리지(NSF, iSCSI 또는 이와 유사한) 트래픽이 융합되면서 대역폭 요구 사항이 증가하고 있다. 기업들은 더 많은 IP 스토리지를 사용하고 있으며 데이터 네트워크를 혼잡을 처리하고 애플리케이션에 차단되지 않는 대역폭을 제공할 수 있는 이더넷 기반의 하나의 최신 데이터센터 네트워크로 통합하고 있다. 

- 그래픽 해상도가 증가함에 따라 이더넷은 새롭게 부상하는 멀티플레이어 클라우드 게임과 실시간 비디오 번역 애플리케이션도 지원할 것이다.

650 그룹은 최근 이더넷 네트워킹 속도가 AI 및 머신러닝 워크로드를 따라잡기 위해 빠른 속도로 계속 증가할 것이라고 전망했다. 2024년 초 1.6TbE의 시연은 이더넷이 AI/ML 네트워킹 요구 사항을 따라잡고 있음을 보여준다는 것이다. 650 그룹은 2030년까지 1.6TbE 솔루션이 지배적인 포트 속도가 될 것으로 예상했다.

델오로 그룹도 2027년까지 데이터센터 스위치 포트의 거의 절반이 400G 이상의 속도로 구동될 것이며, 2025년에는 800G가 400G를 추월할 것으로 예상하고 있다. ciokr@idg.co.kr