“비용, 성능, 그리고 α"··· AI 벤더 시커(Seekr)가 인텔 개발자 클라우드를 선택한 이유

투명성을 지향하는 AI 모델 공급업체 ‘시커’(Seekr)는 워크로드를 인텔 개발자 클라우드로 이전함으로써 비용 절감과 성능 향상을 기대하고 있다. 인텔의 최신 AI 칩을 빠르게 이용할 수 있기도 하다.
 

IT 리더들에게 있어, 대규모 AI 워크로드를 실행할 위치와 이를 경제적으로 실행하는 방법에 대한 질문이 중요해지고 있다. AI 개발업체 시커의 사장 겸 CTO인 롭 클락에게는 이러한 질문이 특히 중요하다.

시커의 주요 사업은 기업 사용자에게 투명한 AI를 구축하고 훈련하는 서비스의 제공이다. 클락은 AI 개발에 최적화된 CPU와 GPU를 갖춘 대규모 컴퓨팅 성능이 필요하다며, 대규모 AI 모델을 구축하고 훈련하는 데 필요한 인프라를 검토한 결과 하드웨어 구입 및 유지 관리에 엄청난 비용이 들 것이 자명했다고 전했다.

그래서 시커는 코로케이션 벤더와 계약을 맺고 여러 개의 GPU 및 CPU 지원 시스템을 호스팅했다. 하지만 고객 수가 증가하고 AI 모델의 규모가 커지면서 시커는 유연한 확장성을 갖춘 클라우드 벤더로 전환해야 할 필요성을 인식했다.

클락은 "작년 비즈니스 확장을 위해 하드웨어 측면에서 실제로 필요한 것이 무엇인지 살펴보기 시작했다. 우리는 또 첨단 AI 중심 하드웨어를 찾고 있었다"라고 말했다.

이 회사는 대규모로 AI를 구축하고 배포하려는 개발자를 겨냥해 샌드박스 및 인프라 서비스를 제공하는 인텔 개발자 클라우드에 주목했다. 자체적으로 AI 워크로드를 직접 실행하거나 다른 클라우드 서비스를 사용하는 비용을 비교하기 시작했을 때, 인텔 개발자 클라우드는 약 40%에서 약 400%까지 비용 절감 효과가 있었다고 클락은 전했다.

클라우드 벤치마킹
지난해 9월 출시된 인텔 개발자 클라우드는 개발자가 인텔 하드웨어를 평가하고 AI 워크로드를 배포할 수 있는 인기 플랫폼으로 자리 잡았다. 인텔에 따르면 출시 이후 1만 6,000명 이상의 사용자가 이를 이용하고 있다.

인텔에 따르면 개발자는 인텔 클라우드에서 수천 개의 최신 인텔 가우디 AI 가속기 및 제온 CPU 칩에 액세스하여 AI 워크로드에 최적화된 슈퍼컴퓨터를 만들 수 있다. 이 슈퍼컴퓨터는 인텔의 원API를 포함한 공개 소프트웨어를 기반으로 구축된다.

12월에 클라우드 벤더군을 평가하기 시작한 후 시커는 인텔 개발자 클라우드에 대해서도 일련의 벤치마킹 테스트를 실행했다. 그 결과 현재 세대 하드웨어를 구매해 구축한 시나리오와 비교해 20% 빠른 AI 학습과 50% 빠른 AI 추론이 가능함을 확인했다.

클락은 "궁극적으로 우리에게 중요한 질문은 '최신 세대의 AI 컴퓨팅을 적절한 가격에 이용할 수 있는가?'였다"라며 "수십억 개의 매개변수 규모로 AI 기반 모델을 구축하려면 많은 양의 컴퓨팅 역량이 필요하다"라고 말했다.

인텔의 가우디 2 AI 가속기 칩은 이전에 성능 면에서 높은 점수를 받은 바 있다. 인텔이 인수한 하바나 랩스에서 개발한 가우디 2 칩은 2022년 말 AI 회사 허깅 페이스(Hugging Face)가 실시한 테스트에서 엔비디아의 A100 80GB GPU를 능가하는 성능을 보였다. 인텔은 최근 가우드 3 AI 가속기도 발표했다.
 
클락은 시커와 인텔의 협업 이유가 성능에만 국한되지 않는다고 이야기를 이어갔다. 클라우드 모델을 통해 현재 필요한 컴퓨팅 성능으로만 제한하여 사용할 수 있도록 할 수 있는 특징도 주효했다는 설명이다. 그는 "항상 광범위한 AI 컴퓨팅을 사용해야만 하는 것이 아니다. 대규모 기반 모델을 훈련하는 것과 더 작은 규모의 정제된 모델을 추론하는 것은 서로 다른 유형의 컴퓨팅이 필요하다"라고 말했다.

인텔 개발자 클라우드의 기업 부사장 마르쿠스 플리얼에 따르면, 시커의 인텔 개발자 클라우드 사용 사례는 까다로운 AI 워크로드를 가진 기업이 최신 인텔 가속기를 활용하는 양상에 대해 시사한다. 또한 여러 AI에 최적화된 컴퓨팅 인스턴스를 사용하여 기업이 배포 비용을 절감하고 애플리케이션 워크로드의 성능을 향상시키는 사례를 반영한다는 설명이다.

플리얼은 실제로 인텔 클라우드의 경우 수천 명의 사용자가 다양한 워크로드를 실행하고 있다며, "이러한 워크로드로는 하이엔드 트레이닝부터 다양한 모델에 걸친 미세 조정 및 추론에 이르기까지 다양한 것들이 있다"라고 말했다.

시커는 AI 워크로드를 인텔 개발자 클라우드로 차근차근 마이그레이션할 방침이다. 통합의 일환으로 일단 대규모 가우디 2 클러스터와 인텔의 쿠버네티스 서비스를 사용하여 대규모 언어 모델(LLM) AI를 훈련할 계획이다. 이후에는 고객을 위해 신뢰할 수 있는 AI 모델을 개발하고 훈련하기 위해 CPU 및 GPU 컴퓨팅 용량을 추가할 예정이다.

구매 전 테스트
시커는 인텔의 클라우드 서비스를 통해 긍정적인 효과를 누렸다. 그러나 모든 기업에게 인텔 클라우드가 해답일 수는 없다며, 클락은 CIO와 기타 기술 리더가 대규모 워크로드에 대한 클라우드 계약을 체결하기 전에 꼭 해야할 작업이 있다고 강조했다. 

먼저 클라우드에서 워크로드를 벤치마킹하고 그 결과를 다른 대안과 비교해야 한다. 회사에 가장 중요한 워크로드를 실행하면서 클라우드를 테스트해야 한다. 또한 CIO는 클라우드 공급업체에 하드웨어 로드맵을 요청해야 한다고 그는 덧붙였다. 

클락은 "현재 위치뿐만 아니라 앞으로 어디로 갈 것인지도 중요하다. 다음 음 세대는 언제 출시될까? 물어야 할 질문이 많다”라고 말했다.

마지막으로 CIO는 클라우드 공급업체로부터 받게 될 지원에 세심한 주의를 기울여야 한다. 클락은 "엔터프라이즈급 지원 측면에서 지출 대비 무엇을 얻고 있는가?"라고 반문했다.

그는 기업이 계약을 체결하기 전에 인시던트 테스트, 즉 ‘약간의 카오스 엔지니어링’을 수행할 것을 권장했다. "장난스럽게 들릴지 모르지만 이를 통해 SLA의 실상을 알 수 있다. 시커의 경우에도 그랬다”라고 말했다. ciokr@idg.co.kr