‘PoC에서 속속 가치 입증’··· 앞선 CIO들이 전하는 '엔터프라이즈 AI' 사례

다른 CIO들과 마찬가지로 카트리나 레드몬드 CIO는 조직 곳곳에서 AI의 가능성을 포착하고 있다. 그러나 전력 관리 시스템 제조업체인 이튼 코퍼레이션의 레드몬드 CIO는 "모두가 빠르게 발전하는 이 기술을 적용하기 위해 뛰어다니고 있지만 비즈니스 성과가 없으면 아무 소용이 없다. 비즈니스 성과를 염두에 두고 합당한 사용 사례를 적용해야 한다"라고 말했다.

기업 및 프로젝트에 따라 AI 도입의 수준은 제각각이다. 일부 프로젝트는 대규모 언어 모델(LLM)에 대한 맞춤형 개발이 필요하지만, 다른 프로젝트는 단순히 엔터프라이즈 소프트웨어에서 새로운 AI 기능을 켜기만 하면 된다. EY의 글로벌 AI 컨설팅 리더인 댄 디아시오는 "AI가 모든 소프트웨어 패키지에 내장되는 형국"이라고 말했다.

레드몬드는 AI 도입과 관련해 운영위원회를 구성했다. 이를 통해 재고 및 공급망 관리에서 판매 예측에 이르는 12개의 프로젝트 목록을 선별했다. 그녀는 "현란한 신기술에 무작정 뛰어드는 것을 경계한다. 우리는 규율을 유지하고 깊이 들어가기를 원한다"라고 말했다.

코네티컷에 본사를 둔 웹스터 은행의 CIO인 비크람 나프데의 시각도 비슷하다. AI 개념 증명(PoC) 프로젝트가 성공하려면 비즈니스적으로도 합리적이어야 한다는 것이다. 그는 "AI 모델을 구현하고 실행하는 데 드는 비용이 상당히 높을 수 있다. AI 사용 사례의 비즈니스 가치를 신중하게 평가해야 한다. 여기에는 각 이니셔티브와 관련된 잠재적 이점, 위험 및 비용을 엄격하게 평가함으로써 위험 대비 수익 프로필에 부합하는지 확인하는 것이 포함된다"라고 말했다.
 

초기 단계의 긍정적 결과
이튼에서는 이미 몇 가지 PoC에서 성과가 나오고 있다 일단 전 세계 70개 이상의 ERP 시스템 간에 정보를 통합하는 데 AI를 활용하고 있다. 레드먼드의 팀은 소프트웨어 개발업체인 팔란티어 테크놀로지의 기술을 활용해 이들 시스템에서 데이터를 통합하고 정리한 다음 이를 분석하여 의사 결정권자에게 인사이트와 상당히 정교한 권장 사항을 제공하는 모델을 개발했다.

예를 들어, 한 사업부의 생산에서 조립 주문을 완료하는 데 필요한 8인치 봉이 부족하고 다른 사업부에서는 10인치 봉을 보유하고 있는 경우, AI 모델은 납기일을 맞추기 위해 더 긴 봉을 사용하거나 이를 줄이도록 제안할 수 있다. 레드몬드는 "사람이 이를 검토하여 합당한지 확인하고, 합당한 경우 AI가 이를 학습 모델에 통합한다"라고 설명했다. 레드먼드가 '가치 제안 단계'라고 부르는 이 프로젝트는 이미 회사의 전기 사업에 긍정적인 결과를 가져왔다. "정시 납기가 크게 개선됐다"라고 그녀는 말했다.

웹스터 은행도 비슷한 전략을 구사하고 있다. 기술, 아키텍처, 데이터, 보안, 법률, 리스크, 감사 분야의 대표들로 구성된 AI 워킹 그룹을 설립하여 기술 실무자와 비즈니스 사용자로 구성된 AI 사용 모범 사례와 거버넌스 프레임워크를 개발했다. 또한 은행은 내부 운영을 간소화하고 효율성을 높이기 위해 비즈니스 요구에 맞는 맞춤형 모델을 구축하는 등의 AI 프로젝트를 검토하고 있다. 예를 들어, 대출 신청서를 평가할 때 기업 고객의 재무제표를 자동으로 판독하기 위해 생성형 AI를 사용하는 실험을 하고 있다.

나프데는 "회사의 여러 팀이 각종 재무 정보를 읽고 이해해야 하는데, 그 정보가 표준 형식으로 되어 있는 경우는 거의 없다. 생성형 AI는 필요한 정보를 읽고 추출하여 사람을 위해 요약할 수 있다. 지금까지는 이것이 좋은 사용 사례로 보인다. 더 빠르고 정확하며 팀의 생산성을 높여준다"라고 말했다.

일라이 릴리 앤 컴퍼니는 또한 AI를 비즈니스에 도입하고 통합하는 데 적극적인 기업이다. EVP 겸 CIDO인 디오고 라우는 "AI가 거의 모든 분야에서 워크로드를 간소화하고 연구 개발에 도움이 될 수 있다는 사실을 발견했다"라고 말했다.

회사는 이전에 볼 수 없었던 분자를 생성하고 신약 개발에의 잠재력을 분석하는데 생성형 AI를 활용하고 있다. 과거 몇 년이 걸리던 작업을 몇 달, 때로는 며칠로 압축한다는 설명이다. 릴리는 또한 치료 기기의 환자 데이터를 관리 및 해석하고, 독점적인 "센서 클라우드"를 사용하여 의약품의 안전성과 효과를 개선하는 AI 도구를 개발했다. 이 밖에 임상시험을 지원하는 문서를 생성하고 규제 기관에 제출할 자료를 작성하기 위해 초기 버전의 소프트웨어 개발을 자동화하는 데도 AI를 활용하고 있다.

생산 영역에서도 AI가 효과를 내고 있다.라우는 "자동 안내 차량, 완전 자동화된 창고, 로봇 공학, 고도로 자동화된 생산 장비를 활용하여 의약품 생산량을 늘리고 있다"라고 말했다.

파트너십이 중요
AI 프로젝트를 위한 PoC를 구축하기 위해 외부 기업에게 도움을 구하는 CIO들이 많다. 레드몬드는 "AI 관련 자원이 많지 않고 시작할 모델이 필요하기 때문에 파트너의 도움이 필수적이었다. 하지만 프로젝트가 생산에 투입되면서 비용을 절감하기 위해 내부 팀의 학습 곡선을 끌어올리는 것도 중요하다”라고 말했다.

웹스터 은행은 가능하면 마이크로소프트나 AWS 같은 하이퍼스케일러를 활용한다는 방침이다. 컨설턴트에 대한 의존도를 최소화하면서 조직 내부의 기술자를 확보해 중요한 요구 사항을 구축하고자 한다. "이렇게 하면 구축과 지속적인 지원을 위해 값비싼 계약업체에 비용을 지출할 필요가 없다"라고 나프데는 말했다.

신뢰하되 검증하기
성공적인 PoC가 성공을 보장하지는 않는다. 무엇보다 이해관계자가 이를 신뢰해야 한다. 예를 들어 이튼의 경우 AI 기반 판매 예측 도구가 성과를 획기적으로 향상시킬 수 있는 잠재력을 가지고 있다. 현재 재무팀과 영업팀이 과거 정보를 검토하고 새로운 매출 예측 데이터와 결합하여 예측을 생성하는 데 수개월과 수천 시간이 걸린다. 이제 "AI 모델이 잠재적으로 이 작업을 대신해 줄 수 있다"라고 레드몬드는 말했다.

그녀에 따르면 작년 4분기에 진행된 이튼의 예측 PoC 프로젝트는 기존의 방식을 대체할 가능성을 제시했다. "수천 시간을 들이는 지금의 방식보다는 확실히 낫다"라고 그녀는 말했다. 문제는 사람들이 수작업을 포기할 만큼 이 기술을 기꺼이 신뢰할 수 있느냐는 것이다. 레드몬드는 "아직 사람들이 편안하게 포기할 수 있는 단계가 아니다. 우리는 아직 '신뢰하되 검증하는' 단계에 있다”라고 말했다.

AI에 대한 신뢰가 IT 내부와 외부 모두에서 신뢰 문제를 일으킬 수 있는 또 다른 이유도 있다. 결과가 어떻게 결정되었는지 정확히 알기 어렵다는 점이다. 젠팩트(Genpact)의 수석 디지털 전략가인 산제이 스리바스타바는 "생성형 AI를 사용하면 94%의 경우 정답을 얻을 수 있는데, 이는 약간의 감독이나 보강이 필요하다는 것을 의미한다"라고 말했다. 

EY의 디아시오는 "이러한 도구는 믿을 수 없을 정도로 강력하지만 때로는 그럴듯하게 틀릴 수 있다”라고 말했다. 하지만 안타깝게도 사람들이 자동화 도구를 일단 사용하면 신뢰하는 경향을 보인다. 사람은 도구를 사용하여 작업하고 그 결과물을 세밀하게 검토해야 한다. "그러기 위해서는 시간을 계획해야 합니다"라고 그는 말했다.

스리바스타바는 대부분의 프로젝트에서 최종 결정을 내릴 때 사람이 참여하지만, 후속 조치도 중요하다고 강조했다. 그는 "데이터에서 인사이트, 실행으로 이어지는 연속적인 루프가 어떻게 이루어질 수 있을 지를 고민해야 한다. 이것이 바로 기업 다수가 경제적 성과를 얻지 못하는 가장 큰 이유다"라고 말했다.

데이터 준비 중요하지만...
공급망 및 분석 등의 분야에서는 데이터를 AI 모델에서 쉽게 사용할 수 있는 형태로 준비하는 작업이 필수적다. 나프데는 "데이터야말고 AI 성공의 관건이다. AI 전략에 앞서 데이터 전략부터 시작하고, AI 전략을 비즈니스 전략과 연계해야 한다”라고 말했다.

디아지오는 이 과정에서도 AI가 도움이 될 수 있다고 말했다. 그는 "때로는 생성형 AI를 사용하여 풍부한 카탈로그를 구축하거나 구조화된 데이터 위에 온톨로지를 구축하는 작업을 가속화할 수 있다. 많은 경우, AI를 사용하여 이러한 워크로드를 간소화하면 생산성이 크게 향상된다. 일부 데이터 마이그레이션 활동에서는 다양한 단계에서 40%의 작업량 증가와 속도 향상을 목격한 바 있다"라고 말했다.

릴리는 이미 AI 지원 도구를 사용하여 제약 모델을 학습하고 미세 조정하는 데 사용되는 데이터의 수집 및 정리 속도를 높이고 있다. 젠팩트도 AI를 사용하여 AI 모델에서 사용할 데이터를 준비하고 있다. 스리바스타바는 "우리 회사의 방대한 데이터 중 3분의 2가 비정형 데이터다. 생성형 AI를 사용하면 데이터 위에 시맨틱 레이어를 자동으로 구축할 수 있다. 어떤 데이터가 어디에 있는지, 다른 데이터와 어떻게 연결되어 있는지, 품질은 어떤지, 계보는 무엇인지, 어디에서 사용되고 있는지 파악하는 데 유용하다"라고 말했다.

그는 이어 “AI가 이러한 시맨틱 레이어 생성을 자동화할 경우 완벽하지는 않지만 80% 수준을 달성할 수 있게 해준다”라고 덧붙였다.
 
한편 디아시오는 AI를 활용하기 위해 항상 내부 데이터를 정리할 필요는 없다고 전했다. 생성형 AI와 시중에 나와 있는 사전 학습된 모델을 사용하면 제품 개발과 같은 창의적인 작업이나 컨택 센터 기록의 요약 작업을 즉시 효과적으로 수행할 수 있다는 것이다. 그는 "이를 통해 기업은 내부 데이터를 지속적으로 큐레이션하고 전문 지식을 수집하는 동시에 AI 활용을 가속화할 수 있다"라고 말했다.

AI 사용 전 적합성 확인
IDC의 연구 부사장 제빈 젠슨에 따르면 기업은 AI/ML을 담은 새로운 CRM, IoT, ITSM 및 BI 도구를 검토해야 한다. 그는 "기존 소프트웨어에 AI 기능을 추가한 술루션을 선택하면 가치 실현 시간을 크게 단축할 수 있다"라며, 기능을 켜거나 플러그인을 추가하기만 하면 된다고 설명했다. 단 벤더의 모델 학습에 자신의 데이터가 사용되지 않도록 선택할 수 있는지 확인해야 한다.

세일즈포스와 서비스나우 등의 엔터프라이즈 소프트웨어에는 새로운 AI 기능이 다수 담겨 있으며, 이들은 상당한 생산성 향상을 약속한다. 그러나 워크플로우에 어떻게 적용되는지 완전히 이해하지 않은 채 무작정 켜서는 안 된다. 나프데는 서비스나우의 금융권 가상 채팅 기능을 언급했다. “수십 종의 사용 사례를 담고 있다. 일부는 즉시 사용할 수 있고, 일부는 사용자 지정이 필요하며, 일부는 목적에 맞지 않을 수도 있다. 어떤 기능이 유용할지 살펴봐야 한다"라고 그는 말했다.

이튼은 서비스나우 플랫폼의 일부 AI 기능을 이미 사용 중이며, 지금까지 고무적인 결과를 얻었다. 레드몬드는 "개선할 수 있는 결함의 실마리를 찾고, 근본 원인을 찾아내고, 문제를 줄이는 데 도움이 된다”라고 말했다.

하지만 엔터프라이즈 소프트웨어에 내장된 AI의 난제는 조직 고유의 요구 사항에 맞는 솔루션이 아닐 수 있다는 것이다. 이 경우, CIO는 딜레마에 빠질 수 있다. 스리바스타바는 "벤더가 AI를 통합할 때까지 마냥 기다려야 할까? 아니면 자체적인 맞춤형 구현과 인프라를 갖춘 엔터프라이즈 아키텍처 전략을 구축해야 할까 CIO들이 풀어야 할 과제다"라고 말했다.

해야 할 일과 하지 말아야 할 일
웹스터 은행은 아직 AI 여정의 초기 단계에 있지만, 나프데는 지금까지 그 과정에서 몇 가지를 배웠다고 전했다. 그는 “먼저 데이터를 정리하라. AI 전략을 비즈니스 전략과 일치시켜야 한다. 시작하기 전에 올바른 KPI를 설정하라. 그런 다음 소규모로 시작하여 가치 증명을 보여주고 점진적으로 확장하라. 모든 단계에서 이해 관계자를 교육하고 소통해야 한다”라고 말했다.

마찬가지로 중요한 것은 파트너와 협력하여 시작하되, AI 기능을 개발하고 유지할 수 있는 도구와 전문성을 갖춘 팀을 구축하는 것이다. 그리고 신뢰 구축의 중요성을 과소평가하지 않아야 한다. 나프데는 "메시지에 있어 한발 앞서 나가야 한다. 회의론자를 예상하고, 타운홀 미팅을 하고, 리더가 나서야 한다"라고 말했다.

그는 새로운 기술이 도입되면 많은 두려움과 저항이 있기 마련이라며, "이 문제는 비단 AI에만 국한된 것이 아니다. 전형적인 변화 관리 문제다"라고 말했다.

레드몬드는 전략적으로 접근하고 프로젝트 수를 제한해야 한다고 덧붙였다. 집중하고 깊이 파고들어야 한다는 것이다. 또 시작할 때 도움을 줄 수 있는 신뢰할 수 있는 파트너를 찾고, SaaS 공급업체가 자사 제품에 도입한 AI 기능을 적절하게 활용하라며, 이미 에코시스템에 있는 것을 간과해서는 안 된다고 그녀는 덧붙였다.

라우는 문화의 중요성을 강조했다. 그는 "변화는 어렵기 때문에 CIO는 혁신적이고 개방적인 행동을 보여주고 AI에 대한 학습과 혁신을 장려하는 환경을 조성하여 문화적 변화를 주도해야 한다. 직원들이 AI를 않는다면 향후 더 큰 위험이 따를 것”이라고 말했다. ciokr@idg.co.kr