Lakebase branching for CI/CD: lessons from 100 PR databases

안녕하세요 여러분! 개발을 하거나 코드를 수정할 때, “진짜 실제 데이터로 테스트해 볼 수는 없을까?” 하고 고민해 보신 적 있으신가요?

매번 똑같은 데이터를 복사해서 쓰려니 시간이 너무 오래 걸리고, 그렇다고 대충 만든 가짜 데이터로 테스트하자니 실제 환경에서 에러가 터질까 봐 불안하죠. 오늘은 이런 고민을 시원하게 해결해 준 흥미로운 기술 적용 사례를 소개해 드릴게요!

전체 글 정리

1. 20분 걸리던 데이터 복사가 단 몇 초 만에?

• 기존의 문제점: 스노클 AI 팀은 개발자들이 코드를 고치고 테스트할 때마다 실제 프로덕션(운영) 데이터베이스를 복사해 사용하고 싶어 했어요. 하지만 전체 데이터를 복사하는 데만 무려 20분이나 걸려서 개발 흐름이 뚝뚝 끊겼답니다.
• 레이크베이스의 등장: 데이터브릭스의 서버리스 Postgres 데이터베이스인 레이크베이스(Lakebase)는 깃(Git) 브랜치처럼 데이터베이스를 순식간에 복제할 수 있는 기능을 제공해요.

2. 복사 없이 가볍게 쓰는 카피온라이트(Copy-on-write) 기술

• 데이터를 통째로 복사하는 게 아니라, 원본을 그대로 둔 채 변경되는 부분만 따로 기록하는 방식을 사용해요.
• 1테라바이트에 달하는 거대한 데이터베이스라도 단 몇 초 만에 독립된 나만의 테스트 공간을 만들 수 있죠.
• 사용하지 않을 때는 컴퓨터 자원이 꺼지고, 저장 공간도 실제로 수정된 부분만 차지하기 때문에 비용 부담도 확 줄어듭니다.

3. 알아서 척척 정리해 주는 자동 삭제 기능

• 개발 테스트나 AI 작업이 끝나면 브랜치를 지워야 하는데요. 깜빡하고 삭제하지 않더라도 정해진 시간이 지나면 자동으로 사라지도록 설정(TTL)할 수 있어요.
• 덕분에 쓰레기 데이터가 쌓이지 않고 깔끔하게 유지된답니다.

이용 방법 / 활용 방안

• 독립된 PR 테스트 환경 만들기: 개발자가 새로운 코드(Pull Request)를 열면 자동으로 메인 데이터베이스를 복제해 테스트 공간을 만들고, 테스트가 끝나면 싹 지워버리는 방식으로 활용할 수 있어요. 다른 테스트와 꼬일 일도 없고 실제 데이터로 안전하게 검증이 가능하죠.
• AI 에이전트의 안전한 놀이터: 스스로 SQL을 짜고 데이터를 다루는 AI 에이전트에게 각각 독립된 브랜치를 쥐여주세요. 실수를 하더라도 원본 데이터는 안전하니까 안심하고 마음껏 실험을 시켜볼 수 있답니다.

데이터를 통째로 복사하느라 소중한 시간을 날리던 시절은 이제 안녕이네요! 여러분이라면 이 순식간에 복제되는 데이터베이스 기능을 어디에 가장 먼저 써보고 싶으신가요?