AI의 새로운 시대: 일리야 수츠케버가 밝힌 추론과 초지능의 비전

데이터 고갈 선언: 일리야 수츠케버, AI 추론과 초지능의 시대를 열다

오픈AI의 공동 창립자 일리야 수츠케버가 대형언어모델(LLM)의 사전 훈련을 통한 '스케일링 법칙'의 시대가 끝났음을 선언했습니다. 그는 데이터 고갈의 문제를 지적하며, 앞으로는 추론이 새로운 인공지능(AI) 발전의 핵심이 될 것이라고 강조했습니다.

데이터 고갈과 스케일링 법칙의 종말

수츠케버는 캐나다 밴쿠버에서 열린 ‘뉴립스(NeurIPS)’ 컨퍼런스에서 "우리가 아는 사전 훈련 시대는 끝났다"고 밝혔습니다. 그 이유는 데이터가 한정되어 있기 때문입니다.

"컴퓨팅은 성장하지만, 데이터는 성장하지 않는다. 인터넷은 하나뿐이며, 우리는 이미 최고의 데이터를 달성했다." - 일리야 수츠케버

 

실제로 전문가들은 2년 내에 AI 학습에 사용할 데이터가 고갈될 것이라고 전망하고 있습니다. 수츠케버는 이보다 더 나아가 "유용한 데이터는 이미 바닥났다"고 단언했습니다.

 

AI 추론과 초지능의 등장

수츠케버는 차세대 AI 개발 방향을 "에이전트와 추론"으로 제시했습니다. 그는 AI가 추론 능력을 갖추면 더 깊은 이해력뿐만 아니라 자의식(self-aware)까지 갖출 수 있을 것이라고 예고했습니다.

 

현재 AI는 학습한 데이터에서 패턴을 찾아내는 수준에 머물러 있습니다. 하지만 추론이 가능해진다면, AI는 인간처럼 단계적으로 문제를 해결할 수 있게 되어 상상을 초월하는 발전이 가능해질 것입니다.

 

추론으로 해결하는 데이터 부족

수츠케버는 "추론이 데이터 부족을 해결할 방법"이라고 설명했습니다. 그는 "AI는 제한된 데이터에서 사물을 이해하고 혼란스러워하지 않을 것"이라고 강조했습니다. 이는 데이터의 질적 한계를 넘어선 AI 시스템의 등장을 의미합니다.

 

진화 생물학과 AI의 확장

강연에서 수츠케버는 진화 생물학을 언급하며 AI 발전을 비교했습니다. 그는 종별 두뇌와 신체 질량의 관계를 보여주는 연구를 인용하며, 인류의 조상인 유인원이 기존 법칙을 벗어나 두뇌 크기의 급격한 성장을 이뤘다고 설명했습니다.

"AI 역시 사전 훈련의 한계를 넘어 새로운 확장 방식을 통해 급속한 발전을 이룰 것이다." - 일리야 수츠케버

새로운 패러다임: 초지능 개발

수츠케버는 이미 지난 9월 로이터와의 인터뷰에서 "기존 작업과는 다른 산을 발견했다"며, 이 새로운 패러다임에서 초지능(super intelligence)을 개발할 수 있을 것이라고 언급한 바 있습니다.

 

그의 연구는 오픈AI 재직 당시 발전시킨 '테스트-시간 계산(test-time computation)' 이론과 연결됩니다. 이론은 오픈AI의 초기 GPT 모델 개발에도 큰 역할을 했습니다.

 

마무리

수츠케버의 발표는 AI 스케일링 법칙의 종말을 선언하고, AI가 추론을 통해 새로운 단계로 나아갈 것임을 예고한 중요한 사건입니다. 그는 AI 발전이 인간의 예측을 뛰어넘는 시점이 올 것이며, 이에 대비해 초지능의 안전성을 보장하는 연구에 집중할 것이라고 밝혔습니다.

 

그의 비전은 AI 기술의 한계를 극복하고 인간과 비슷한 사고 방식을 갖춘 초지능 시대를 여는 중요한 초석이 될 것입니다.