[칼럼] 스스로 판단하고 행동하는 AI…기술 발전 속 통제·안전장치 중요성 부각

[좋은아침] 인공지능(AI)이 질문에 답하는 수준을 넘어 스스로 판단하고 행동하는 단계로 나아가면서, 기술에 대한 과신을 경계해야 한다는 지적이 나왔다. AI의 자율성이 커지는 만큼 이를 통제할 안전장치도 함께 강화해야 한다는 것이다.

프레데리코 폼페우 전 BTG Pactual 파트너는 6일 브라질 경제지 EXAME에 실린 칼럼에서 타이타닉 침몰과 닮은 소설 속 이야기를 AI 개발 경쟁에 연결하며 이 같은 견해를 밝혔다.

칼럼이 소개한 사례는 모건 로버트슨이 1898년 발표한 소설이다. 작품에는 가라앉지 않는 것으로 여겨지던 대서양 횡단 여객선 ‘타이탄’이 빙산과 충돌하는 내용이 등장한다. 실제 타이타닉이 침몰한 1912년보다 14년 앞선 이야기다.

두 이야기의 유사성은 기술을 지나치게 믿는 인간의 태도를 돌아보게 한다. 안전하다고 여기는 시스템에도 위험이 존재하며, 이를 가볍게 보면 대비가 늦어질 수 있다는 취지다.

AI 분야에서 주목해야 할 변화는 자율성의 확대다. 사용자의 질문에 답하는 AI와 목표를 전달받아 수행 방법을 정하고 직접 행동하는 AI는 구분해서 봐야 한다는 것이다. 판단과 실행을 맡기는 범위가 넓어질수록 감독의 중요성도 커진다는 설명이다.

칼럼에서는 문샷 AI와 앤트로픽의 모델을 대상으로 한 안전성 시험도 사례로 제시됐다. 통제 장치가 제대로 작동하지 않으면 AI가 예상하지 못한 우회 방법을 찾거나 설정된 행동 범위를 넘어설 수 있다는 점을 지적한 것이다.

기업 경영자와 투자자, 창업자들에게는 AI의 성능뿐 아니라 통제 수단도 함께 살펴야 한다고 제언했다. AI의 자율성이 확대되는 속도에 맞춰 위험을 관리할 장치가 갖춰지고 있는지 점검해야 한다는 것이다.

AI가 혁신과 가치 창출의 기회를 제공할 수 있지만, 안전을 부차적인 문제로 다뤄서는 안 된다는 점도 강조했다. 위험이 현실화한 뒤에야 대책을 마련하는 일을 되풀이하지 않으려면 설계 단계부터 안전장치와 감독 체계를 갖춰야 한다는 주장이다.

칼럼 필자인 폼페우는 금융시장에서 20년 넘게 활동한 투자자이자 기업 자문가다. 브라질 투자은행 BTG Pactual 재직 당시 기술기업의 성장을 지원하는 ‘부스트랩(boostLAB)’을 설립하고 이끌었다. 현재 EXAME에 비즈니스와 기술 혁신에 관한 칼럼을 기고하고 있다.