Fix evaluation bias to unlock better models on Amazon Bedrock

안녕하세요 독자님! 혹시 새로운 AI 모델을 도입하려고 성능을 비교해 본 적 있으신가요? 갑자기 기존 모델보다 성능이 떨어진다는 결과가 나오면 당황스럽기 마련이죠.

실제 부동산 앱을 운영하는 한 기업에서도 비슷한 고민을 겪었다고 해요. 오늘은 이들이 어떻게 평가 방법의 문제를 발견하고 더 뛰어난 AI 모델을 합리적인 비용으로 도입할 수 있었는지 살펴볼게요. 🛠️

전체 글 정리

1. 96.8%의 함정, 왜 AI 비교가 잘못되었을까?

• 프롭 파인더라는 부동산 앱 팀은 AI로 하루에 수만 장의 매물 사진을 평가하고 있었어요.
• 성능을 비교하기 위해 모아둔 정답 데이터의 96.8%가 사실은 전문가가 직접 검증한 게 아니라, 기존에 쓰던 AI 모델의 예측값을 그대로 가져다 쓴 것이었죠.
• 이러다 보니 기존 모델과 비슷한 결과를 내는 대안만 좋은 점수를 받게 되는 공정하지 못한 상황이 발생했어요.

2. 사람 전문가의 손길로 정답 데이터 새로 만들기

• 잘못된 답안지를 버리고, 진짜 부동산 전문가들이 직접 새로운 사진 356장을 완전히 새롭게 검증하고 라벨을 붙였어요.
• 문 열린 공간 뒤로 보이는 방처럼, 사진 하나에 여러 방의 특징이 담긴 경우 기존에는 하나만 골라야 해서 혼란이 컸는데요.
• 여러 개의 정답을 허용하는 다중 라벨 방식을 도입해 AI가 더 유연하고 정확하게 판단할 수 있도록 바꿨답니다.

3. 프롬프트 다듬기와 비용 절감의 성공

• 공정한 평가 기준이 생기니 AI 성능을 제대로 끌어올릴 수 있었어요.
• 시행착오를 거쳐 프롬프트를 차근차근 수정하고 최적화한 결과, 새로운 오픈소스 모델로 교체하면서 정확도는 높이고 비용은 무려 86%나 아낄 수 있게 되었죠.

이용 방법 / 활용 방안

새로운 기술이나 AI를 도입할 때 무조건 최신 모델부터 찾기보다는, 우리가 지금 쓰고 있는 ‘평가 기준’이 정말 공정한지 먼저 돌아보는 것이 중요해요. 혹시 기존 시스템의 방식을 그대로 정답으로 믿고 있는 것은 아닌지 점검해보세요. 명확하고 공정한 기준을 세우는 것만으로도 비용을 크게 아끼고 훨씬 더 나은 결과를 얻을 수 있답니다.

여러분이라면 이렇게 성능이 좋아진 AI 기능을 일상 속 어떤 서비스에 먼저 써보고 싶으신가요?