글로벌 최고 수준의 자체 비전 인코더, Kanana-2-vision-encoder 개발기

인공지능이 눈으로 세상을 읽는 방법, 다들 한 번쯤 궁금해하셨죠?

AI가 사진이나 문서 속 이미지를 제대로 이해하려면 ‘비전 인코더’라는 특별한 눈이 꼭 필요해요. 이번에 카카오에서 자체 기술력으로 밑바닥부터 개발한 카나나 2 비전 인코더를 선보였는데요.

글로벌 수준의 성능을 자랑하면서도 우리말과 문화까지 찰떡같이 이해한다고 해요. 어떤 기술들이 숨어 있는지 함께 살펴볼까요?

전체 글 정리

비전 인코더가 꼭 필요했던 이유

• 비전 언어모델이 사진 속 사물이나 글자를 정확히 읽으려면 시각적 특징을 추출하는 ‘눈(비전 인코더)‘의 역할이 매우 중요해요.
• 글로벌 빅테크의 모델들은 구조가 너무 복잡하고 방대한 학습 데이터가 필요해 그대로 쓰기 어려웠죠.
• 특히 한국 문화나 작은 한글 글자를 더 정확히 이해하고, 다양한 서비스 환경에 맞게 크기를 조절하기 위해 카카오만의 자체 모델이 꼭 필요했어요.

효율성을 높인 학습 원리와 똑똑한 구조

• 다음 토큰 예측이라는 방식을 사용해, AI가 이미지 설명을 정확히 만들수록 시각 정보를 더 잘 뽑아내도록 학습했어요.
• 이미 유창한 문장 생성 능력을 갖춘 언어모델의 가중치를 먼저 활용해 학습 속도를 약 4배나 끌어올렸답니다.
• 고해상도 이미지를 처리할 때 생기는 엄청난 계산 부담을 줄이기 위해 슬라이딩 윈도우 어텐션과 그룹 쿼리 어텐션을 적용해 속도와 메모리를 크게 아꼈어요.

단계별 학습과 뛰어난 한글 이해력

• 작은 해상도부터 시작해 점점 큰 해상도의 이미지 비율을 유지하며 세부 내용을 파악하는 3단계 학습을 거쳤어요.
• 실제 테스트 결과, 남산타워 사진의 단청 문양이나 거북선 모형은 물론, 이미지 속 아주 작은 ‘바다’라는 한글 글자까지 정확하게 읽어내는 뛰어난 모습을 보여주었어요.

이용 방법 / 활용 방안

이번에 공개된 기술은 연구자나 개발자들이 각자의 환경에 딱 맞는 비전 언어모델을 만들 수 있도록 돕는 든든한 기반이 되어줘요.

특히 스마트폰 같은 온디바이스 환경부터 대규모 서버 환경까지 서비스 특성에 맞춰 골라 쓸 수 있도록 여러 크기의 라인업으로 준비되었답니다. 앞으로 일상 속 다양한 AI 서비스에서 복잡한 문서나 이미지를 훨씬 더 빠르고 정확하게 인식하는 모습으로 만나볼 수 있을 거예요.

여러분이라면 이 뛰어난 이미지 인식 기능을 일상 속 어떤 서비스에 가장 먼저 써보고 싶으신가요?