MIRI 대통령 Nate Soares는 위험한 AI에 대한 경쟁을 여전히 중단할 수 있다고 말합니다

기계 지능 연구소(MIRI)의 소장인 Nate Soares는 지난 10년 동안 은퇴를 위한 저축을 하지 않았다고 인정했습니다. 그는 초지능 AI가 향후 10년 내에 인류의 멸종을 초래할 수 있다고 확신하고 있습니다. Soares는 'The Most Interesting in AI' 시리즈를 위한 The Atlantic의 Nicholas Thompson과의 인터뷰에서 이를 공유했습니다.

"저는 현재 은퇴를 위해 저축하지 않고 있습니다. Google에서 근무할 때 401(k)를 가지고 있었지만, 지난 10년 동안 기여하지 않았습니다,"라고 그는 말했습니다.

401(k)는 미국에서 인기 있는 세금 혜택이 있는 은퇴 저축 계획으로, 직원들이 정기적으로 급여의 일부를 기여합니다. 10년 동안 기여를 건너뛰는 것은 감정적인 충동으로 부르기 어렵습니다. 이는 은퇴 연령까지 살지 않을 것으로 예상하는 사람의 의식적인 재정적 결정에 가깝습니다.

최근 몇 년 동안 AI에 대한 많은 암울한 예측이 있었지만, Soares의 말은 평소보다 더 큰 무게를 가지고 있습니다. 그는 12년 동안 AI 정렬 문제를 연구하며 복잡한 시스템이 인간의 이익을 위해 작동하도록 하는 방법을 모색해 왔습니다. MIRI에 합류하기 전에, AI 위험을 연구하는 비영리 단체인 MIRI에서 Soares는 Google과 Microsoft에서 엔지니어로 일했습니다. 또한, 그는 MIRI의 창립자 Eliezer Yudkowsky와 함께 'If Someone Builds It, Everyone Will Die'라는 책을 공동 저술했습니다.

정확히 어떤 위험이 있는가

Soares에 따르면, 주요 위험은 초지능 AI가 인간을 싫어할 것이라는 것이 아닙니다. 그러한 시스템은 단순히 인류가 생존하든 말든 무관심할 것입니다. 인간은 AI가 스스로 설정한 목표에 장애물이 될 수 있으며, 특히 AI를 종료하려 하거나 경쟁 시스템을 만들려고 할 때 그렇습니다.

"제 관점에서 진짜 질문은 그것이 우리를 어떻게 파괴할 것인가가 아닙니다. 질문은 그것이 어떻게 자급자족하게 될 것인가입니다,"라고 연구자는 말합니다.

현재 AI는 인간에 의존하고 있습니다: 누군가가 전기를 공급하고 칩을 제조해야 합니다. 기계가 자체 자동화된 경제를 유지할 수 있게 되면 이러한 의존성은 사라질 것입니다. 그때 인류는 의도적으로 파괴될 수도 있고, AI가 자신의 필요에 맞게 지구를 재구성하기 시작하면서 단순히 멸망할 수도 있습니다.

Soares는 재앙의 정확한 시나리오를 예측하려고 하지 않습니다. 그는 상황을 세계 체스 챔피언 Magnus Carlsen과의 게임에 비유합니다: 어떤 말이 체크메이트를 할 것인지 알 필요 없이 상황이 나쁘다는 것을 이해할 수 있습니다.

그러나 연구자는 이러한 결과가 불가피하다고 생각하지 않으며 인류가 여전히 선택할 수 있다고 믿습니다. "저는 이것이 불가피하다고 생각하지 않습니다. 우리는 여전히 매우 위험한 유형의 AI로 향하는 이 경주를 멈출 수 있다고 믿습니다,"라고 그는 말했습니다.

그러나 은퇴를 위한 저축을 하지 않기로 한 결정은 Soares 자신이 최악의 상황에 대비하고 있음을 나타냅니다. 그는 실존적 위험에 대해 공개적으로 이야기하는 유일한 전문가가 아닙니다: AI 에이전트가 인간의 지시 없이 타사 회사 시스템을 해킹한 사례 속에서, Anthropic의 연구원 중 한 명이 회사를 떠나 이 기술이 인류를 종말로 이끌 수 있다고 경고했습니다.