팀이 신뢰할 수 있는 AI 분석 환경 만들기: 추천팀의 컨텍스트 설계

안녕하세요. AI와 데이터를 다루는 기술 소식을 들으면 왠지 복잡하고 나와는 먼 이야기처럼 느껴지시죠?

오늘 소개해 드릴 이야기는 카카오의 추천팀이 AI를 업무에 똑똑하게 쓰기 위해 어떤 노력을 기울였는지에 대한 생생한 후기랍니다. 여러 사람이 AI를 쓰다 보니 같은 데이터도 다르게 해석되는 문제가 생겼다고 하는데요. 팀원 모두가 신뢰할 수 있는 분석 환경을 만들기 위해 어떤 방식을 도입했는지 함께 가볍게 살펴볼까요?

전체 글 정리

1. 데이터 분석에서 발생한 뜻밖의 혼란

• 서로 다른 기준: 개발자마다 각자의 AI 에이전트를 이용해 분석을 진행하면서, 같은 ‘재생수’를 조회했는데도 수치가 서로 다르게 나오는 일이 발생했어요.
• 암묵지의 문제: 어떤 로그 데이터를 선택하고 어떤 기준으로 집계해야 하는지가 문서로 정리되어 있지 않고, 담당자의 경험이나 머릿속에만 남아 있었기 때문이에요.
• 분석 방식과 배경의 차이: 사용하는 AI 모델이나 과제의 목적에 따라 리포트의 형태와 중요하게 보는 지표가 제각각 달라지는 한계가 있었답니다.

2. 팀 분석 자동화를 위한 3가지 핵심 컨텍스트

• 데이터 카탈로그 (What): 테이블을 사용할 때 헷갈리기 쉬운 점과 집계 규칙 등 데이터의 ‘암묵지’를 명확하게 문서화했어요.
• 분석가 페르소나 (How): 누가 분석하더라도 일관된 검증 절차와 리포트 작성 원칙을 따르도록 분석 패턴을 지침으로 통일했어요.
• 과제 맥락 (Why): 과제가 왜 시작되었고 지금 어떤 단계인지, 다음에 무엇을 판단해야 하는지 등 작업 배경을 에이전트가 미리 파악할 수 있도록 브리핑 역할을 부여했어요.

3. 일관된 기준으로 바뀐 업무 결과

• 동일한 출발점: 세 가지 기준을 갖추게 되면서, 누가 분석을 요청하더라도 똑같은 로그와 규칙, 검증 절차를 거치게 되었어요.
• 명확한 의사결정: 실험 결과가 손해인지 이득인지, 그리고 다음 단계로 나아가야 할지를 객관적인 지표를 바탕으로 함께 논의할 수 있게 되었답니다.

이용 방법 / 활용 방안

• 체계적인 문서화 도입하기: 업무를 진행할 때 나만 알고 있는 노하우나 기준이 있다면, 팀원이나 AI가 쉽게 읽을 수 있도록 간단한 가이드 문서 형태로 기록해 보세요.
• 역할과 목적 명확히 하기: AI나 동료에게 업무를 부탁할 때 ‘무엇을(데이터)’, ‘어떻게(방법)’, ‘왜(배경)’ 하는지 명확하게 전달하면 훨씬 더 정확하고 만족스러운 결과물을 얻을 수 있답니다.

이오난사 데이터를 다룰 때 기준이 명확하지 않아 곤란했던 적 있으신가요? 여러분이라면 우리 팀만의 일관된 분석 기준을 만들기 위해 어떤 방식을 써보고 싶으신가요?