Built for Agents: The Case for Spark Declarative Pipelines

요즘 업무 자동화를 위해 AI를 정말 많이 쓰시죠? 그런데 AI가 직접 코드를 짜서 데이터를 정리하는 파이프라인을 만들 때, 어떤 방식을 써야 할지 고민되셨을 거예요.

최근 흥미로운 테스트 결과가 나와서 소개해 드리려고 해요. AI 에이전트에게 데이터 파이프라인을 만들게 했을 때, 일일이 순서를 지시하는 절차적 방식보다 원하는 결과만 정의해 주는 선언형 방식이 훨씬 더 똑똑하고 경제적이었다고 해요. 어떤 차이가 있는지 함께 살펴볼까요?

전체 글 정리

1. AI 시대에 주목받는 두 가지 방식

• 절차적 방식: 데이터 처리를 위해 무엇을 먼저 하고 어떤 순서로 할지 하나하나 단계별로 지시하는 방식이에요. 직접 실행해 보기 전에는 오류를 알기 어렵죠.
• 선언형 방식: 우리가 원하는 최종 결과가 무엇인지만 설명하고, 구체적인 실행 방법은 시스템에 맡기는 방식이에요. LLM에게 프롬프트를 주는 것과 비슷하답니다.

2. 미리 검사해서 아낀 시간과 비용

• 절차적 코드는 에러를 찾으려면 일단 컴퓨터 자원을 써서 실행해 봐야 해요. 반면 선언형 코드는 실행하기 전에 미리 구조적 오류를 점검할 수 있답니다.
• 테스트 결과, 선언형 방식은 사전 검증 덕분에 오류를 미리 잡아내어 컴퓨터 자원 소모를 무려 34배나 줄였어요.

3. 더 짧고 깔끔해진 코드 길이

• 완성된 코드를 비교해보니 선언형 파이프라인은 절차적 파이프라인의 절반 수준으로 길이가 짧았어요.
• 코드가 짧고 일관성이 유지되니 사람이 직접 리뷰하거나 유지보수하기에도 훨씬 수월했답니다.

4. 비용과 한계점

• 선언형 방식은 AI가 코드를 다듬는 과정에서 텍스트 토큰 비용이 절차적 방식보다 약 2.3배 더 들었어요. 하지만 금액으로 환산하면 미미한 수준이에요.
• 다만 실행 전 검사는 잘못된 구조만 잡아낼 뿐, 논리적인 실수(엉뚱한 결과를 내는 것)는 사람의 검토가 여전히 필요해요.

이용 방법 / 활용 방안

• AI와 일할 때는 결과 중심 명세가 유리해요: AI에게 복잡한 코딩 순서를 일일이 지시하기보다, “이러한 데이터를 만들어줘"라는 식으로 목표를 명확하게 정의해 주는 것이 오류를 줄이는 지름길이에요.
• 실행 전 검증 기능 활용하기: 코드를 무작정 실행해서 에러를 확인하는 방식 대신, 실행 전에 구조적 문제를 미리 걸러낼 수 있는 시스템을 적극적으로 도입해보세요. 불필요한 컴퓨팅 자원 낭비를 크게 막을 수 있답니다.

데이터를 다루는 일은 언제나 꼼꼼함이 필요하죠. 여러분이라면 AI와 함께 일할 때 어떤 방식을 더 선호하시나요?