"아이처럼 영상보고 학습하는 AI 필요… 韓과 협력 기대"

[이데일리 강민구 기자] 지금의 챗GPT같은 생성형 인공지능(AI)은 대규모언어모델(LLM)에 기반해 글자나 이미지를 학습한다. 그런데 AI 기술이 빠르게 발전하면서 이제는 아이처럼 동영상을 보면서 학습해 복잡한 상황까지 추론해내는 새로운 AI 시스템이 요구된다는 지적이 나왔다.

11일 서울의 한 호텔에서 열린 ‘2024 K-Science & Technology 글로벌 포럼’ 기조강연에서 얀 르쿤 미국 뉴욕대 교수(메타 부사장)는 “기존 LLM 모델은 한계가 분명하다”며 “아이처럼 영상을 보면서 학습하고 복잡합 상황을 이해하게 하기 위해 동영상 기반 학습 모델이 필요하며, 한국 연구진들과 협력해 새로운 AI 시대를 준비했으면 한다”고 밝혔다.

얀 르쿤 교수는 조경현 뉴욕대 교수와 함께 ‘글로벌 AI 프런티어랩’의 공동연구소장을 맡고 있다. 이 연구소는 정부가 한미 AI R&D 협력을 위해 미국 뉴욕에 만든 교두보다.

얀 르쿤 뉴욕대 교수가 11일 오전 서울 영등포구 페어몬트앰배서더호텔에서 열린 ‘2024 K-Science and Technology 글로벌 포럼’에서 가조강연을 하고 있다.(사진=과학기술정보통신부)

얀 르쿤 교수에 따르면 기존 LLM은 생성형AI를 통한 글자 기반 추론에는 우수한 성능을 발휘한다. 하지만 지나치게 많은 데이터를 투입해야 한다는 점에서 복잡한 상황을 인지하고 추론해야 하는 상황이나 복잡한 현실 세계에서는 활용하기 어렵다. 실제 뉴욕대와 메타 연구진이 수행한 동영상 학습에서 LLM은 제 성능을 발휘하지 못했다.

이에 새로운 AI 모델 구축과 동영상 기반 학습의 필요성이 커졌다. 영상은 현실과 비슷한 복잡한 환경을 보여준다는 점에서 학습에 효과적인 수단이다. 최근 스마트폰, 스마트안경과 같은 도구들이 발전하면서 AI를 갖춘 기기들의 보급이 확대되면서 인류가 디지털 세상과 더 밀접하게 연결된다는 점도 이유 중 하나다.

그는 궁극적으로는 AI 혁명을 이뤄내 인간과 같은 추론 기능을 갖고 복잡한 인지 작업을 수행할 수 있는 능력을 갖춘 고수준 AI 시스템인 ‘AMI(Advanced Machine Intelligence)’로 전환해야 한다고 강조했다.

얀 르쿤 교수는 “인류는 친구처럼 추론하고 안전하게 통제 가능한 AI 사용하게 될 것이며 우리 세상은 복잡하기 때문에 AI가 추론을 통해 세상을 이해하도록 동영상 학습을 활용해야 한다”고 말했다.

오픈소스 기반 공유와 국제협력은 기술 발전을 위해 중요한 요소로 꼽았다. 가령 미국 서부 한 지역의 데이터만으로는 인류 전체를 위한 AI가 될 수 없고, 인도에만 7000개에 달하는 방언이 있다. 앞으로 국제협력을 통해 인간 지식과 문화를 AI가 축적하도록 파운데이션모델(기초모델)을 구축하고 데이터를 모아나가야 한다는 얘기다.

최근 메타와 뉴욕대는 영상 일부 내용을 지운 영상을 AI가 추론하고 학습하는 연구를 하고 있다. 얀 르쿤 교수는 “한국에서도 유사한 구조를 연구하고 있기 때문에 협력하면 새로운 구조(아키텍처) 연구를 할 수 있다”며 “전 세계 각 문화를 반영한 데이터를 오픈소스 기반으로 축적해 새로운 AI 시스템을 구축했으면 한다”고 밝혔다.