The AI Bill is coming

개발 업무 속도를 높이려고 AI 코딩 도구를 도입했는데, 어느 날 보니 비용이 눈덩이처럼 불어난 적 있으신가요?

데이터브릭스의 공동 창업자 패트릭 웬델이 최근 인터뷰에서 AI 코딩 비용이 폭증했던 경험과 이를 해결한 노하우를 공개했어요. AI 생산성은 놓치지 않으면서도 비용을 똑똑하게 관리하는 방법, 함께 살펴볼까요?

전체 글 정리

1. AI 코딩 도구 도입과 비용 폭탄의 위기

• 데이터브릭스는 개발 속도를 높이기 위해 직원들에게 가장 비싸고 좋은 AI 모델과 무제한 토큰을 제공했어요.
• 하지만 사용량이 늘어나면서 비용이 상상 이상으로 불어나는 ‘지출 폭탄’ 문제를 마주하게 되었죠.
• 무조건 쓰게 두기만 하면 수익보다 비용이 더 커질 수 있다는 걸 깨닫고 직접 관리에 나서게 되었어요.

2. 비용을 잡기 위한 현실적인 대책들

• 무작정 사용을 막아버리면 개발자의 흐름이 끊기고 개인 계정을 쓰는 부작용이 생겨요.
• 대신 경고를 보내고, 승인을 거치게 하거나, 저렴한 모델로 자연스럽게 전환하는 방식을 택했어요.
• 팀원들에게 본인의 사용 금액을 투명하게 공유하는 것만으로도 비용의 10%를 아낄 수 있었답니다.

3. 비용을 최대 90까지 낮춘 핵심 비결

• 가장 큰 효과를 본 것은 성능이 좋으면서도 가격이 저렴한 신규 모델이 나올 때마다 빠르게 작업 환경을 갈아탄 거예요.
• 복잡한 문제에는 비싸고 똑똑한 모델을 쓰고, 단순한 작업에는 저렴한 모델을 자동으로 연결해 주는 라우팅 시스템을 도입했어요.
• 이 모든 트래픽을 한곳에서 관리하는 ‘컨트롤 레이어(게이트웨이)‘를 만든 것이 비용 절감의 일등 공신이었죠.

이용 방법 / 활용 방안

• 우리 회사의 AI 지출 현황 파악하기: 어디에 돈이 쓰이고 있는지 팀별, 모델별로 먼저 투명하게 확인해보세요.
• 상황에 맞는 모델 선택하기: 모든 일에 가장 비싼 최고급 모델을 쓸 필요는 없어요. 단순 반복 작업은 저렴한 모델로도 충분하답니다.
• 지출 가시화하기: 개발자들에게 비용이 얼마나 드는지 투명하게 보여주면, 자연스럽게 더 효율적인 방식을 고민하게 돼요.

여러분이라면 회사의 AI 사용 비용이 갑자기 늘어날 때 어떤 방법을 가장 먼저 써보고 싶으신가요?