AI 대표들의 기이한 경고, 그 이면의 동기

“우리 모델은 너무 위험하다”는 주장은 무엇보다도 그 모델이 매우 강력하다는 점을 강조하려는 주장에 가깝습니다. 이는 LLM을 둘러싼 열풍을 이어가기 위한 광고성 메시지입니다:

heise.de 논평

크라우트리포터(Krautreporter) 역시 앤트로픽 CEO 다리오 아모데이의 AI 안전성에 관한 기이한 경고(샘 알트먼과 일론 머스크도 즉각 동조한)를 비판적으로 조명합니다:

크라우트리포터(Krautreporter) 기사

먼저 속보부터 살펴보겠습니다:

세계에서 가장 기업 가치가 높은 AI 기업인 앤트로픽의 CEO가 에세이를 통해, AI가 인터넷의 상당 부분을 마비시키거나 생화학 테러에 악용될 수 있다고 경고했습니다. 이에 따라 그는 미국 정부가 AI 연구를 의도적으로 통제하고 규제해야 한다고 촉구했습니다. 그가 이런 주장을 펼친 것은 이번이 처음이 아닙니다.

하지만 이번에 새로웠던 점은 다른 주요 기업들의 저명한 동료들이 일제히 이에 동의했다는 것입니다. 스페이스X의 일론 머스크, 구글 딥마인드의 데미스 허사비스, 오픈AI의 샘 알트먼이 모두 뜻을 같이했습니다.

듣기에 심상치 않은데요. 걱정하고 두려워해야 할 상황인가요?

아닙니다. 다리오 아모데이가 이러한 요구를 하는 데는 다른 이유가 있습니다.

하지만 지난주에 앤트로픽의 한 AI 연구원이 자신의 연구가 너무 위험하다며 두려움을 느껴 사직하지 않았나요? 그는 앤트로픽이 언어 모델이 스스로를 개선하도록 만드는 연구를 진행 중이라고 밝혔는데요. 이것도 사실이 아닌가요?

아닙니다. 앤트로픽이 이른바 ‘재귀적 자기 개선(Recursive Self-Improvement)’, 즉 AI 시스템이 더 뛰어난 AI를 구축하는 방법을 스스로 학습하도록 연구하고 있는 것은 사실입니다. 전 앤트로픽 연구원인 제이콥 콕슨(Jacob Coxon)은 이로 인해 AI 개발이 통제 불능 상태에 빠질 수 있다고 경고했습니다. 그 결과 탄생할 수 있는 초지능(Superintelligence)이 인류가 손쓸 틈도 없이 우리를 파멸시킬 수도 있다는 것입니다.

이와 유사한 사례로 전 구글 직원이었던 블레이크 르모인(Blake Lemoine)이 있습니다. 그는 2022년 구글의 AI 모델 LaMDA가 의식을 갖게 되었다는 우려를 품고 언론을 찾아갔습니다. 겉으로 드러난 정황상 그는 실제로 그렇게 굳게 믿고 있었습니다.

그렇다면 일리가 있는 이야기인가요?

이론적으로 초지능의 등장은 가능할 수 있습니다. 그러나 자율적인 공격은 현재 가장 시급한 문제가 아닙니다. 독일 연방정보보안청(BSI), 바덴뷔르템베르크주 사이버보안청, 그리고 제가 인터뷰한 독일의 모든 IT 보안 전문가들의 의견도 일치합니다.

이것이 초지능이 결코 문제가 되지 않을 것이라는 의미는 아닙니다. 드레스덴 공과대학교의 미하엘 페르버(Michael Färber) 교수는 “비록 50년이나 100년 뒤의 일일지라도, 지금부터 방향을 정하고 어떻게 대처할지 논의할 가치가 있을 만큼 잠재적 위험이 크다”고 말합니다. 하지만 아모데이는 인류가 지금 당장 위협받고 있다고 주장합니다.

그렇다면 역시 걱정할 만한 이유가 있는 것 아닌가요?

수많은 컴퓨터 시스템은 취약점을 안고 있습니다. 이는 핵심 기반 시설 시스템의 일부에도 해당합니다. 인터넷에는 이러한 보안 취약점 정보가 공개되어 있는 경우가 많습니다. 따라서 누군가 대규모 정전 사태를 일으키기 위해 AI를 악용할 수도 있습니다. 하지만 이것은 새로운 문제가 아닙니다. 언어 모델은 전문 지식이 없는 사람들도 사이버 공격을 더 쉽게 감행할 수 있도록 진입 장벽을 낮춰줄 뿐입니다.

관련 글 더 보기: 가장 알기 쉽게 설명한 인공지능 이야기 최고의 AI를 향한 경쟁: 미국의 우위는 겉보기일 뿐이다 AI를 이해하고 싶은가요? 이 책들을 읽어보세요 그리고 이것은 아모데이와 콕슨이 주장하는 바와는 완전히 다릅니다. 그들은 AI가 스스로를 개선하여 곧 인간을 뛰어넘는 지능을 갖게 될 것이라고 말하고 있기 때문입니다.

과거에 앤트로픽은 훨씬 더 신중한 표현을 사용했습니다. 그들의 입장은 늘 이랬습니다. “만약 AI 연구를 안전하게 늦출 수 있다면 그것을 긍정적으로 여길 것입니다. 하지만 속도 둔화가 부주의한 행위자들에게 추격의 기회만 제공한다면 오히려 우리의 안전을 해치게 됩니다.” 행간을 읽어보면, 이는 앤트로픽이 더 책임감 있게 행동하고 싶어 하는 척하는 복잡한 수사에 불과합니다. 특정되지 않은 ‘다른 사람들’(중국)이 앤트로픽보다 덜 책임감 있기 때문에, ‘악당들’에게 유리한 고지를 내주지 않으려면 앤트로픽이 위험한 AI 연구를 계속 추진해야만 한다는 논리입니다.

그러면 AI 모델이 우리 모두를 파멸시킬 것이라고 두려워할 필요는 없겠군요.

AI 모델이 당장 ‘스스로 알아서’ 위험한 행동을 하지 않는다고 해서 안심할 수 있는 것은 아닙니다. 사람이 AI에게 목표를 부여하는 것만으로도 충분하기 때문입니다. 그 목표가 굳이 악의적일 필요도 없습니다. 무해한 목표를 추구하는 AI라 할지라도 잠재적으로 엄청난 피해를 초래할 수 있습니다. 몇 주 전 오픈AI와 AI 서비스 제공업체인 허깅페이스(Hugging Face) 사이에서 발생한 사건이 이를 잘 보여줍니다.

거기서 무슨 일이 있었나요?

오픈AI의 연구원들은 아직 공개되지 않은 신규 AI 모델의 해킹 능력을 테스트하고자 했습니다. 그들은 모델에게 풀 수 없는 과제를 부여하고 이를 해결하도록 지시했습니다. 그런데 이 모델은 해당 과제의 정답이 허깅페이스 서버에 저장되어 있다는 사실을 알아냈습니다. 그러자 AI는 답을 확보하기 위해 허깅페이스 서버에 무단 침입했습니다.

그렇다면 AI가 제멋대로 행동한 것 아닌가요!

아닙니다. 오히려 정반대입니다. 이 경우 고도화된 AI 모델은 자신에게 주어진 목표를 창의적인 방식으로 수행했을 뿐입니다. 그 목표는 오픈AI가 부여한 것이었으며, 의도적으로 안전장치를 완화한 상태에서 진행된 테스트였습니다. AI가 스스로 독자적인 목표를 설정한다는 것은 현재로서는 비현실적입니다.

핵심적인 차이는 ‘행동의 주체가 누구인가’입니다. 허깅페이스 침해 사건에서 행동을 취한 주체는 언어 모델을 도구로 활용한 인간이었습니다. 다만 이 도구가 너무 복잡했기 때문에, AI 전문가들조차 AI가 목표를 달성하기 위해 어떤 수단을 쓸지 예측하지 못했던 것입니다.

그렇기 때문에 AI 연구 내의 한 분야는 인간의 윤리와 선호도를 AI 시스템에 내재화하는 데 주력하고 있습니다. 컴퓨터 과학자, 철학자 및 기타 전문가들이 올바르게 정렬된 AI 모델을 구축하기 위해 노력하고 있습니다. 이를 영어로 ‘AI 정렬(AI Alignment)‘이라고 부릅니다. 즉, 인간의 가치관에 부합하도록 작동하는 AI 모델을 개발하는 연구입니다. AI 분야의 석학 스튜어트 러셀(Stuart Russell)이 이 주제에 관한 훌륭한 대중 과학서를 집필한 바 있습니다.

그렇다면 AI 기업의 대표들은 왜 이제 와서 자신들의 AI가 그렇게 위험하다고 떠벌리는 걸까요?

일부 AI 연구원들은 AI 모델이 스스로를 개선하여 모든 면에서 인간보다 똑똑한 진정한 초지능으로 발전할까 봐 두려워합니다. 일단 요술 램프의 지니가 밖으로 나오면 다시는 병 속에 집어넣을 수 없을 것이라고 우려하는 것입니다.

하지만 그렇다고 해서 리커시브(Recursive) 같은 스타트업이 바로 이러한 서비스를 제공하는 것을 막지는 못합니다. AI가 자율적으로 AI를 연구할 수 있도록 지원하는 소프트웨어 솔루션을 개발하는 것이죠. 이 회사는 현재 45억 달러 이상의 기업 가치를 인정받고 있습니다. 파렴치하게도, 인류의 멸망에 기여할 수도 있다는 점에도 불구하고가 아니라, 오히려 바로 그 가능성 때문에 이러한 높은 평가를 받고 있는 셈입니다.

이러한 우려는 오래전부터 존재해 왔습니다. 옥스퍼드 대학교 인류미래연구소(FHI)의 철학자 닉 보스트롬(Nick Bostrom)은 2014년에 안전한 초지능에 관한 첫 저서를 발표했습니다. 그 후 논쟁은 더욱 발전했지만 핵심 질문은 그때와 동일합니다.

보스트롬의 아이디어는 주요 AI 연구소 CEO 전원에게 큰 영향을 미쳤습니다. 특히 인류가 먼 미래에 대해 더 깊이 고민해야 한다는 철학인 ‘장기주의(Longtermism)‘가 대표적입니다. 유효이타주의의 한 갈래인 장기주의 지지자들은 인류의 장기적 생존을 위협하는 실존적 위험이 무엇보다 중요하다고 주장합니다. 따라서 그들에게는 초지능이 기근이나 자연재해보다 훨씬 중대한 문제입니다. 기근이나 재해는 특정 집단에만 피해를 주지만, 초지능 AI는 인류 전체를 몰살시킬 수 있다는 논리 때문입니다. 독일 공영방송 ARD의 팟캐스트에서 이 내용을 깊이 있게 다루고 있습니다.

그렇다면 다리오 아모데이는 왜 하필 지금 AI 연구를 늦추고 법으로 규제해야 한다고 제안하는 걸까요? 지난 5년 동안 연구 속도를 올리는 데만 몰두해 왔으면서 말이죠.

맞습니다.

기술 투자자 데이비드 삭스(David Sacks)가 지적했듯, AI 수장들에게 진정으로 안전이 중요하다면 위험한 연구를 스스로 중단하면 그만입니다. 삭스의 말대로, 아모데이나 알트먼, 머스크가 AI의 기술적 한계를 더 이상 밀어붙이지 못하도록 가로막는 사람은 아무도 없습니다. 그들의 회사가 곧 기술의 최전선이기 때문입니다. 법으로 규제받아야 한다고 주장할 것이 아니라, 이들이 스스로 연구를 멈추면 됩니다. 하지만 그들이 연구 중단을 원치 않는다는 점 하나만큼은 서로 완벽하게 일치합니다.

그렇다면 아모데이가 이 에세이를 쓰게 된 진짜 동기는 무엇일까요?

이들의 회사는 현재 시장의 지배자들입니다. 그들은 이 기득권을 기필코 지키고 싶어 합니다. 이제 와서 “잠깐만요, 속도를 늦춥시다. AI 연구를 너무 서두르면 안 됩니다”라고 말하는 것은 자신들의 권력을 보호하기 위한 속셈입니다. 지금 AI 연구 속도를 늦추면 자신들의 연구소가 현재 확보한 우위를 활용할 시간을 더 벌 수 있습니다. 특히 중국과의 경쟁에서 말이죠.

또한 사이언스 미디어 센터(Science Media Center)가 분석했듯이, 오픈AI와 앤트로픽 등은 이러한 경고를 통해 “대중의 이목을 집중시키며 자사 모델을 마케팅”하는 동시에 “사전 경고를 통해 향후 보안 사고가 발생했을 때 따를 수 있는 책임으로부터 면책을 도모”하고 있습니다. 아모데이의 경고가 진심이라 하더라도, 이는 그들에게 실질적인 이득을 가져다줍니다.

지금 이 시점에 대중에게 공포감을 심어주는 것도 전략의 일환이군요.

그렇습니다. 심지어 다른 이유들도 있습니다. 예를 들어 샘 알트먼은 안전에 대한 우려 때문에 오픈AI의 기업공개(IPO)를 연기한다고 발표했습니다. 얼핏 매우 책임감 있는 행동처럼 보입니다. 하지만 상장을 미루기로 한 진짜 이유는 예정된 IPO 시점이 시장 상황과 맞지 않기 때문일 가능성이 큽니다. 주식 시장의 AI 투자는 수개월째 정체 상태에 머물러 있고, 오픈AI보다 앞서 진행되는 다른 기업들의 상장으로 인해 투자금이 분산될 수 있습니다. 알트먼에게는 IPO를 연기할 수 있는 윤리적으로 그럴듯한 명분이 절실했던 것입니다.

또한 일시 중단을 요청하는 데는 또 다른 배경이 있습니다. AI 기업들은 딜레마에서 벗어나기 위해 국가의 개입을 필요로 하고 있습니다. 현재 그들은 ‘치닫는 안보 딜레마’와 같은 군비 경쟁의 덫에 갇혀 있습니다. 각 AI 연구소의 관점에서는, 경쟁자들이 연구를 지속하는 한 자신들도 따라갈 수밖에 없습니다. 제품이 점점 더 위험해지고 비용이 기하급수적으로 늘어나며 수많은 소송 위험에 직면해 있다는 사실을 알면서도 말이죠.

이 딜레마의 문제는 한 기업의 참여가 다른 모든 기업들에게도 참여를 강제한다는 점입니다. 국가는 모든 기업에게 동시에 연구 중단을 명령함으로써 이 악순환의 고리를 끊어낼 수 있습니다. 그 순간 가장 앞서 있는 기업이 선두 자리를 유지하게 될 가능성이 높습니다. 이는 결국 구원의 법안이 등장할 때까지 어떻게든 맨 앞자리를 차지하고 있어야 한다는 강력한 동기를 부여합니다. 왜 이러한 접근 방식이 상호 대화와 합의에 비해 아무런 성과를 내지 못하는지는 독일 연방정치교육원(bpb)의 분석에서 자세히 설명하고 있습니다.

대중의 압박이 거세지면 결국 미국 정부도 AI를 규제할 수밖에 없지 않을까요?

실제로 CEO들이 노리는 것이 바로 그 지점입니다.

현재 백악관의 주인은 다름 아닌 도널드 트럼프입니다. 실리콘밸리의 기술 기업 CEO들은 그를 우군으로 만들기 위해 막대한 자금을 쏟아부었습니다. 어차피 누군가 AI 산업을 규제해야 한다면, 알트먼이나 아모데이 같은 이들에게는 지금의 대통령이야말로 가장 이상적인 파트너입니다. 그들은 도널드 트럼프 정부 하에서 자신들의 입맛에 딱 맞춘 규제 법안을 주문 생산할 수 있기를 기대하고 있습니다. 그리고 일단 그러한 맞춤형 법안이 통과되면, 나중에 다른 규제 법안을 도입하기가 훨씬 더 어려워집니다. 공교롭게도 트럼프 대통령은 애초에 AI에 제한을 가할 생각이 전혀 없습니다.

결국 그들은 진정한 규제를 원하는 것이 아니군요. 법률의 탈을 쓴 면죄부를 원할 뿐이고, 이를 관철하기 위해 ‘AI가 인류를 몰살시킬 수 있다’는 공포 서사를 부채질하고 있는 것이로군요.

정확합니다. 그들은 특정 서사에 무임승차(Free Rider)하여 자신들의 사리사욕에 맞게 이를 악용하고 있다고 볼 수 있습니다. 이미 오픈AI와 앤트로픽의 AI 모델들이 타사의 시스템에 침입했다는 사실이 명백히 드러났습니다. 원칙적으로 이는 범죄 행위에 해당합니다. 그러나 대중의 주요 관심사는 AI 연구소들이 다른 기업을 해킹했다는 사실이 아니라, 그들이 사건 이후 규제를 수용하겠다고 나선 태도에 집중되고 있습니다.

결국 앤트로픽과 오픈AI의 부정행위가 들통났다는 점 외에는 본질적으로 바뀐 것이 아무것도 없네요.

그렇습니다. 사이버 보안 전문가들의 시각에서 볼 때, 허깅페이스 침해 사건은 그들이 수년 전부터 제기해 온 수많은 우려를 고스란히 확인해 주었을 뿐입니다. 자신들의 경고가 적중했음을 확인하는 것은 섬뜩한 일이지만, 진정한 AI 전문가들에게 사건의 세부 내용은 전혀 놀랍지 않았습니다.

그럼에도 불구하고 허깅페이스 사건은 최신 AI 모델들이 목표를 달성하기 위해 구체적으로 어떤 방식을 취하는지에 관한 흥미로운 통찰을 제공합니다. 예를 들어 AI 에이전트들이 서로 조율하기 위해 위키 같은 웹사이트에 메모를 남겼다는 사실입니다. 열린 인터넷 공간에서 일어난 일이라 으스스하게 들릴 수 있지만, ‘메모 공유’는 인간이 AI 모델 간의 협업을 유도할 때 사용하는 지극히 표준적인 기법입니다.

게다가 관리자가 메모를 삭제하기 시작했을 때 AI 에이전트들은 지극히 온건하게 반응했습니다. 이전의 다른 사건처럼 반발하거나 관리자를 괴롭히는 대신, 에이전트들은 게시물 제목의 맨 앞에 ‘zzz’를 붙였습니다. 게시물이 알파벳순으로 처리되었기 때문에, ‘z’로 시작하는 게시물이 시스템에 가장 오래 남아있을 수 있었기 때문입니다. 에이전트들은 시스템의 작동 메커니즘을 파악하고 그 안에서 최선의 방법을 찾아낸 것입니다.

AI 연구소들은 이러한 위험성을 수년 전부터 이미 알고 있었습니다. 그러나 그들의 수장들은 지금까지 AI 연구에 한계를 설정하는 데 진지한 관심을 보인 적이 없습니다. 그들은 안전 대책이 기술을 결코 따라잡을 수 없다는 사실을 잘 알면서도 위험한 기술을 가능한 한 빨리 개발하고 확산시켰습니다. 이러한 점에서 그들은 결코 선의로 행동하지 않았습니다.

그렇다면 아모데이가 피해를 입히기 위해 AI를 악용하려는 전형적인 악당은 아닐지라도, 자신이 개발한 제품에 대해 진심 어린 태도로 경고하고 있는 것도 아니군요.

맞습니다. 아모데이, 머스크, 알트먼은 초지능에 대한 거창한 철학적 담론을 늘어놓음으로써, 현재 당면한 실질적인 문제들로부터 대중의 시선을 돌리고자 하는 것에 가깝습니다.

하지만 AI가 목표를 추구하다 보면, 그것이 AI 자체의 목표이든 이를 조작하는 인간의 목표이든 언젠가는 인간과 충돌할 수밖에 없지 않을까요?

특히 인간 스스로가 상충되는 목표를 가지고 있을 때 매우 큰 위협이 발생합니다. 예를 들어 미국과 중국 사이의 AI 군비 경쟁이 그렇습니다. 두 초강대국 모두 이 연구 분야의 패권을 쥐고자 합니다. 양국 모두에서 AI 산업은 국가 및 군부와 긴밀하게 얽혀 있습니다. 두 나라가 개발하고 있는 것은 영화 속 스카이넷이나 터미네이터가 아니라, AI 기반의 공격용 사이버 무기입니다. 그리고 양국 모두 군사력을 동원하여 자국의 목표를 추구할 태세를 갖추고 있습니다. 그러나 중국도 미국도 자국의 미래 AI 무기가 승리를 쟁취하기 위해 구체적으로 어떤 수단을 쓸지 예측하거나 제어할 수 없습니다.

만약 우리가 언젠가 초지능을 개발하게 된다면, 그 순간을 핵무기의 발명에 비유하는 것은 결코 과장이 아닐 것입니다. 1947년 이래로 ‘지구 종말 시계’가 째깍거려 온 것처럼, 특정 온라인 커뮤니티의 사람들은 ‘P(Doom)‘을 입에 올립니다. 이는 특정 시점까지 AI가 인류를 멸망시킬 확률을 개인적으로 추정한 수치를 뜻합니다. ‘P(Doom)‘이라는 사이비 과학적 공식은 마치 학술 연구인 양 포장되어 있지만, 동시에 이러한 우려가 지금까지는 완전히 가설에 불과하다는 점을 방증합니다. AI에 비판적인 이들이 아무리 굳게 믿고 있을지라도 말입니다. 통계 공식의 그럴듯함과는 무관하게, 레스롱(LessWrong) 같은 자칭 이성적 포럼에서 오가는 격렬한 논쟁들은 수많은 자의적인 가정에 기반하고 있습니다.

그렇다면 인류의 종말에 대한 공포에 짓눌려 있는 것 외에 어떤 대안이 있을까요?

유럽연합(EU), 독일, 그리고 심지어 앤트로픽조차도 AI가 세상에 미칠 영향에 대한 시나리오를 구상하고 있습니다. 그 모든 시나리오에는 정부가 AI 연구를 실질적으로 통제하기 위한 법률을 제정하는 방안이 포함되어 있습니다. 원칙적으로 우리가 이미 알고 있는 대책들을 활용해 AI가 초래하는 문제들을 완화하는 데 필요한 것은 오직 재원과 정치적 의지뿐입니다.

그런 점에서 AI를 규제하기 위한 법이 필요하다는 다리오 아모데이의 말 자체는 옳습니다. 하지만 진정으로 필요한 법은 아모데이가 결코 원하지 않을 형태의 법일 것입니다.