Building live intelligence: Databricks AI Search supports Streaming Tables, Materialized Views, and Managed tables using Iceberg

안녕하세요 여러분! 데이터나 인공지능 관련 소식 들리면 왠지 복잡하고 어렵게 느껴지시죠?

오늘은 데이터브릭스 AI 검색 기능에 아주 반가운 업데이트가 있어서 알기 쉽게 소개해 드리려고 해요. 복잡한 데이터 변환 과정 없이 다양한 형식의 데이터를 AI 검색에 바로 연결할 수 있게 되었답니다.

전체 글 정리

다양한 데이터 소스 기본 지원

• AI 검색 기능이 기존 델타 테이블뿐만 아니라 스트리밍 테이블, 구체화된 뷰, 그리고 아이스버그 기반의 관리형 테이블까지 기본으로 지원하기 시작했어요.
• 이제 실시간 데이터나 개방형 포맷의 데이터를 AI 검색 애플리케이션에 바로 가져다 쓸 수 있습니다.

실시간 데이터와 최신성 유지

• 실시간으로 변하는 재고나 사용자 활동 같은 데이터는 추가 전용 스트리밍 테이블로 흘려보낼 수 있어요.
• AI 검색이 새로운 기록이 도착하는 대로 바로바로 색인화하기 때문에, 최신 데이터를 반영한 검색 경험을 만들 수 있답니다.

맞춤형 상태 관리와 오픈 포맷 활용

• 구체화된 뷰를 사용하면 여러 소스의 데이터를 합치고 필터링해서 맞춤형 상태를 만들 수 있어요.
• 관리형 아이스버그 테이블을 데이터 변환이나 이동 없이 직접 검색 소스로 사용할 수 있어서, 대규모 분산 데이터 환경에서도 아주 편리합니다.

복잡한 파이프라인 제거

• 예전에는 데이터를 변환하고 동기화하기 위해 별도의 중간 단계를 만들고 관리해야 했어요.
• 이제는 AI 검색이 소스에 직접 연결되므로, 중간 단계를 없애고 복잡한 동기화 작업을 줄일 수 있습니다.

이용 방법 / 활용 방안

이번 업데이트로 우리가 얻을 수 있는 가장 큰 장점은 바로 ‘번거로움의 해소’예요.

개발자나 데이터를 다루는 분들이라면 별도의 동기화 파이프라인을 만들 필요 없이, 기존에 쓰던 방식 그대로 AI 검색 인덱스를 만들 수 있어요. 사용하던 화면이나 도구에서 소스 테이블만 지정해 주면 끝이랍니다.

만약 여러분이 최신 상품 정보를 바로바로 보여주는 검색창이나, 사용자의 최근 활동에 딱 맞는 추천 기능을 만들고 싶다면 이 기능을 눈여겨보세요. 복잡한 데이터 정리 작업은 시스템에 맡기고, 우리는 더 멋진 서비스를 구상하는 데 집중할 수 있으니까요.

여러분이라면 이 편리해진 AI 검색 기능을 어떤 서비스에 가장 먼저 써보고 싶으신가요?