칼럼 | 실제 위험뿐만 아니라··· AI 시대 새로운 과제는 '사람들의 우려 수준'

IT 리더는 실제 AI 위험뿐만 아니라 사람들의 우려 수준도 예상해야 한다. 가장 빈번할 문제와 이에 대처하는 방법을 소개한다.
 

일반 사람들에게 인공지능의 어떤 점이 가장 우려되는지 물어보면 다음과 같은 대답이 나올 가능성이 높다. (1) 인공지능이 인간을 대체하고 쓸모없게 만들거나 (2) '터미네이터'의 스카이넷이 현실화돼 인간을 멸종시킬 수도 있고, (3) 딥페이크 도구가 나쁜 일을 저지르는 데 사용될 수 있다고 말이다.

반면 CEO에게 같은 질문을 물어본다면 경쟁업체가 AI를 활용해 기회를 먼저 잡을까 봐 두려워 할 가능성이 높다. 

이것이 AI를 둘러싼 일반적인 인식이다. CIO는 실제 AI 위험뿐만 아니라 사람들의 우려 수준도 예상해야 한다. 이에 대처하는 방법은 다음과 같다.

일반 사람들이 우려하는 AI 위험
1. AI가 인간을 쓸모없게 만들까? 이는 위협이 아니라 선택이라고 대답할 수 있다. 개인용 컴퓨터, 인터넷, 스마트폰은 모두 컴퓨팅으로 인류가 증강되는 기회를 제공했다. AI도 마찬가지다. 비즈니스 리더는 AI 기능을 사용해 직원을 보강하고 역량을 강화할 수 있다. 이를 통해 더 강력하고 경쟁력 있는 비즈니스를 구축하는 데 집중할 수 있다.

일부는 그렇게 할 것이며, 또 다른 기업은 현재 사람이 수행하는 작업을 자동화하는 데 AI를 사용할 수도 있다.

어쩌면 2가지 방법을 모두 활용하는 경우도 있을 것이다. 어느 쪽이 절대적으로 더 낫지는 않다. 하지만 분명 달라지는 것은 있을 터다. AI가 직원 보강에 사용되든 직원 대체에 사용되든 CIO는 회사의 목적을 제대로 전달하는 데 도움을 줄 수 있어야 한다.

2. 스카이넷. 인공지능의 미래 중 가장 섬뜩한 이 시나리오는 공교롭게도 실현 가능성이 낮다. 킬러 로봇이 불가능해서가 아니라, 의지가 있는 AI가 킬러 로봇을 생산하고 배치할 이유가 없기 때문이다.

자연에서 다른 유기체를 사냥하고 죽이는 경우는 먹이를 원하는 포식자이거나 같은 자원을 놓고 경쟁할 때다. 스포츠를 위해 사냥하는 인간을 제외하면, 단지 그런 이유로 다른 종을 헤치는 경우는 드물다.

전기와 반도체를 제외하고는 인간과 AI가 킬러 로봇으로 전쟁을 일으킬 만큼 자원을 놓고 치열하게 경쟁을 벌일 이유가 있을지 의문이다. 전기와 반도체 역시, AI가 이를 두고 인간과 경쟁할 정도라면 킬러 로봇을 만들기 위해 낭비할 가능성은 매우 낮다.

3. 딥페이크. 딥페이크는 문제이며, 실제와의 전쟁에서 점점 악화될 수밖에 없는 이슈다. 특히 우려스러운 부분은 딥페이크 탐지 방법을 제공하는 보안 서비스 업체의 가이드라인이다. 이는 오히려 기술이 작동하는 범위 내에서 탐지하기 어려운 딥페이크 제작에 대한 지침서로 활용될 수 있다. 또한 딥페이크 생성 AI와 딥페이크 탐지 AI가 루이스 캐럴의 '붉은 여왕' 가설처럼 끝없이 경쟁하며 발전하는 구조인 점도 우려스럽다.

멀웨어 대응책이 독립적인 안티바이러스 조치였다가 산업 전반의 사이버 보안으로 진화한 것처럼, 결국 딥페이크와의 전쟁이 가열되면 그 대응책도 비슷한 궤적을 그릴 가능성이 있다.

CEO가 우려하는 AI 위험
많은 CEO가 일종의 'SWOT 분석'(강점, 약점, 기회, 위협)에 시간과 관심을 쏟는다. CIO의 중요한 책임 중 하나는 IT 기반 기능에서부터 비즈니스 기회(비즈니스가 먼저 악용할 경우) 또는 위협(경쟁사가 먼저 악용할 경우)에 이르기까지 모든 점을 연결해 비즈니스 전략을 추진하는 데 도움을 주는 것이었다.

현재의 AI 열기가 IT 업계를 휩쓸기 전에도 그랬다. 이것이 바로 '디지털'의 전부였고 지금은 더욱 그렇다.

여기에 AI를 추가하면 CIO에게는 새로운 기능을 비즈니스 전체에 통합하는 방법과 같은 또 다른 책임이 부여된다.

'인지적 오류의 취약성'은 AI의 또 다른 잠재적 위협
걱정해야 할 또 다른 종류의 위험이 있다. 이는 그다지 주목받지 못하고 있다. 바로 '인지적 오류의 취약성'이다.

다니엘 카네먼은 저서 『사고, 빠르고 느리게』에서 인간이 생각하는 방식을 2가지로 구분했다. 빠른 사고와 느린 사고다. 빠르게 생각할 때는 대뇌 회로를 사용해 지연이나 노력 없이 한눈에 상대를 식별할 수 있다. 빠른 사고는 또한 인간이 '직감을 믿을 때' 하는 것이기도 하다.

반면 느리게 생각할 때 인간은 다른 회로를 사용한다. 가령 17에 53을 곱할 때 사용하는 회로다. 이 과정은 상당한 집중력, 시간, 그리고 정신적인 노력을 필요로 한다.

AI의 관점에서 느리게 생각하는 것은 전문 시스템, 즉 구식 컴퓨터 프로그래밍이 하는 일이다. AI가 흥미롭게 여기는 부분은 빠르게 생각하는 것이며, 이것이 바로 신경망의 역할이다.

현재 개발 단계에 있는 AI의 빠른 사고 방식은 인간의 직감을 믿는 것과 같은 인지적 오류를 일으키기 쉽다. 예를 들면 다음과 같다.

상관 관계에서 인과 관계를 추론: 함부로 인과 관계를 추론하면 안 된다는 것을 모두가 알고 있다. 하지만 가진 정보가 그저 나열돼 있을 뿐인 상황에서 인과 관계의 추론을 멈추기는 매우 어렵다.

공교롭게도 요즘 AI라고 불리는 것의 대부분은 상관 관계에서 인과 관계를 추론하는 신경망의 기계 학습으로 구성돼 있다.

평균으로의 회귀: 제빵 대회 프로그램인 '영국 베이크 오프'를 보는 경우를 상상해 보라. 한 에피소드에서 스타 베이커 상을 받은 사람이 다음 에피소드에서 더 형편없는 빵을 굽는 경향이 있다는 것을 알 수 있다. 이를 보통 '스타 베이커의 저주'라고 부른다.

사실 저주는 아니다. 단지 무작위성이 작용할 뿐이다. 각 제빵사의 성적은 종 모양의 곡선을 따라 움직인다. 한 주에 스타 베이커 상을 받은 제빵사는 종 곡선의 한쪽 끝점에 해당하는 성적을 거둔 것이다. 회차가 진행될수록 그 제빵사는 끝점이 아니라 평균에 다다를 가능성이 높다. 단지 평균의 가능성이 가장 높기 때문이다.

그럼에도 불구하고 시청자는 인과 관계를 추론한다. '저주'라고 말이다.

머신러닝 AI가 이런 문제로부터 자유로울 것이라고 생각하면 안 된다. 오히려 정반대다. 무작위 프로세스 성능 데이터 포인트에 직면했을 때 우리는 AI가 각각의 불량한 결과에 따라 개선 사항을 예측할 수 있다고 생각해야 한다.

그런 다음에 인과 관계가 작동하고 있다고 결론을 내리는 것이 효과적이다.

'생각을 설명'하는 데 실패: AI의 작업은 사용자의 작업이 아니다. '설명 가능한 AI'를 개발하기 위한 연구는 활발히 진행되고 있으며, 이는 꼭 필요하다.

비즈니스 기회를 평가하고 행동 방침을 추천해 줄 직원을 배정했다고 가정해 본다. "왜 그렇게 생각하나?"라고 질문했을 때, 유능한 직원이라면 누구나 이 질문을 예상하고 대답할 준비를 하고 있을 것이다.

'설명 가능한 AI'가 희망 사항이 아니라 실제 기능으로 자리 잡을 때까는 AI가 자신의 생각을 설명할 수 없다는 점에서 많은 기업이 대체하려는 직원보다 유능하지 못하다.

무시해야 할 문구
AI와 관련해 '컴퓨터는 절대 X를 하지 못한다'라는 말을 들어본 적이 있을 터다. 여기서 X는 가장 능숙한 인간이 잘하는 것을 의미한다.

이는 틀렸다. 필자가 IT 업계에 처음 발을 들였을 때부터 이 말은 널리 퍼져 있었고, 그 이후로도 컴퓨터는 어떤 X를 선택하든 상관없이 뭐든 할 수 있었다. 이제는 인간보다 더 잘할 수 있다는 것이 분명해졌다.

문제는 미래가 오기까지 얼마나 오래 기다려야 하는가다.

* Bob Lewis는 IT 비즈니스 전략 및 통합 분야를 전문으로 하는 IT 컨설턴트다. ciokr@idg.co.kr