진짜가 나타났다…검색에 강한 韓 초거대AI 베일 벗다

[이데일리 김현아 한광범 김가은 기자]

[이데일리 이미나 기자]

국내 최대 검색 회사인 네이버가 초거대언어모델(LLM· Large Language Model) 인공지능(AI)인 ‘하이퍼클로바X’를 24일 공개했다. 챗GPT가 돌풍을 일으킨지 9개월 만이다. 네이버는 초거대AI 개발을 위해 지난 5년 동안 1조 원 넘게 투자했고, 서버 60만대를 갖춘 데이터센터 ‘각 세종’도 연내 오픈한다.

네이버 초거대 AI의 품질을 결정하는 건 파운데이션 모델 ‘하이퍼클로바X다’. 네이버는 2021년 11월 오픈AI·화웨이에 이어 세계에서 세번 째로 자체 LLM을 공개했는데, 당시 파라미터(매개변수)는 2040억개였다. 이번엔 매개변수를 공개하지 않았다.

최수연 네이버 대표는 “지난 번에는 R&D차원의 목적이 커서 공유했지만, 이번엔 안하기로 했다. 저희 언어모델의 핵심 노하우이기 때문”이라고 말했다. 같은 맥락에서 오픈AI 역시 4.0모델부터는 파라미터를 공개하지 않고 있다. 파라미터 비공개는 LLM모델의 경량화 추세와도 관련있다. 글로벌 빅테크들조차 LLM 개발에 10빌리언 달러(13.2조 원)가 든다고 할 정도여서 그렇다.

성낙호 네이버클라우드 하이퍼스케일 AI 총괄은 “초반에 GPT-3가 처음 나왔을 때 1750억개라고 발표했는데, 그때 성능 지표가 지금의 오픈소스 모델보다 낮다”며 “군비경쟁하듯 사이즈 경쟁을 했는데 그 사이 많은 기술 발전이 있어 더 내실 있는 학습이 가능해졌다”고 말했다. 앞으론 모델 크기보다는 경량화, 특화에 힘을 쏟을 것으로 보인다. 실제로 메타의 라마 등 오픈소스 계열에서 sLLM(소형 거대언어모델)들이 여럿 출현해 전쟁에 뛰어든 상황이다.

24일 진행된 팀네이버 컨퍼런스 ‘단(DAN) 23’에서 네이버의 초거대 AI ‘하이퍼클로바X’를 소개하는 최수연 네이버 대표.

네이버는 KT, LG 등과 함께 국내에서 거의 유일하게 파운데이션 모델을 개발하는 회사다. 많은 국내 IT기업들이 챗GPT 연동에 집중하거나, 여러 개의 파운데이션 모델을 섞어 쓰는 멀티 엔진에 집중하나, 네이버는 한국어 데이터를 활용해 꿋꿋하게 자체 LLM 생태계를 만들고 있다.

오픈AI나 MS, 구글, 메타 같은 빅테크들과의 경쟁에서 이길 수 있을까. 네이버는 ‘하이퍼클로바X’의 장점을 ①검색 특화 생성형 AI기술이라는 점 ②한국어와 한국 제도를 잘 이해한다는 점 ③국내 클라우드를 활용해 기업이 쓰기에 보안성이 높다는 점을 꼽았다. 다만, 아직은 텍스트만 지원하고 이미지나 영상, 소리 같은 멀티 모달(Multi Modal)은 내년 상반기나 돼야 지원된다.

생성형AI 검색 ‘큐:(CUE:)’를 만든 네이버 서치 US 김용범 AI 기술총괄은 “MS 빙과 달리, 9월 출시될 ‘큐:’는 학습데이터에 의존하는 게 아니라 질의 이해(Reasoning)라는 독자 기술로 AI가 질문이 왔을 때 사람처럼 판단하고 검색한다”면서 “여기에 답변이 포함된 출처 수집(Evidence Selector), 답변과 출처의 사실성 일치 확인(Factually Consistent Generation) 등을 거쳐 환각(Hallucination)이 72% 줄어든다”고 자신했다.

최수연 네이버 대표는 “매일매일 갱신되는 최신 데이터들이 학습된 대규모 언어모델이라는 점, 자연스러운 한국어 표현, 한국 사회의 맥락, 법과 제도 같은 것들을 모두 이해한다는 점이 가장 차별점이라고 생각한다”고 말했다. 성낙호 총괄은 “내부적으로 테스트해보니 GPT-3기준으로 ‘하이퍼클로바X’가 75%정도 (정확성 등에서)승률이 있었다”면서 “기업 입장에선 외국 모델은 보안에 불안할 수 있지만, 우리는 자체 클라우드에서 서비스하고 엔지니어링 자원도 풍부해 생성형AI를 도입하려는 기업을 더 잘 지원할 수 있다”고 언급했다.