Lend and borrow resources across teams with AWS Batch’s quota management for SageMaker Training jobs

안녕하세요 여러분! 회사나 연구실에서 여러 팀이 GPU 같은 비싼 컴퓨팅 자원을 함께 쓰다 보면, “우리 팀은 쓸 일이 없는데 남는 자원이 아깝네?”, 혹은 “급하게 쓸 일이 생겼는데 다른 팀이 다 쓰고 있네?” 하는 고민 한 번쯤 해보셨죠?

오늘은 여러 팀이 모여서 AI 모델 학습을 진행할 때, 복잡한 조율 없이도 자원을 똑똑하게 나누고 빌려 쓸 수 있는 아주 반가운 소식을 가지고 왔답니다!

전체 글 정리

1. 자원을 똑똑하게 나누는 할당량 관리 기능

• AI 학습을 진행하다 보면 여러 팀이 한정된 그래픽 카드(GPU) 자원을 두고 경쟁하게 되죠. 관리자가 팀이나 프로젝트별로 자원 사용량을 미리 나누어 둘 수 있는 기능이 생겼어요.
• 이 기능을 통해 남는 자원을 무駄(무다)로 버리지 않고 다른 팀에 자동으로 빌려주거나, 우리 팀에 꼭 필요할 때 우선적으로 가져다 쓸 수 있답니다.

2. 상황에 맞게 고르는 자원 공유 전략

• RESERVE (예약): 남는 자원을 남에게 빌려주지 않고 우리 팀이 쓸 수 있게 고스란히 아껴두는 방식이에요. 가장 안정적으로 자원을 확보하고 싶을 때 유용하죠.
• LEND (대여): 우리 팀이 쓰지 않고 남는 자원을 다른 팀이 쓸 수 있도록 빌려주는 방식이에요.
• LEND_AND_BORROW (대여 및 차용): 평소에 남는 자원은 빌려주고, 우리 팀에 일이 몰릴 때는 다른 곳에서 자원을 빌려와서 쓰는 가장 유연한 방식이랍니다.

3. 알아서 척척! 스마트한 우선순위 조절

• 자원을 빌려 쓰고 있는데 원래 주인이 자원을 쓰겠다고 나서면 어떻게 될까요? 시스템이 알아서 빌려준 자원을 회수해 가기 때문에 관리자가 일일이 신경 쓸 필요가 없어요.
• 팀 내부에서도 중요한 작업이 먼저 실행될 수 있도록 우선순위에 따라 진행 중이던 작업을 잠시 멈추고 긴급 작업을 먼저 처리하는 기능도 지원해요.

이용 방법 / 활용 방안

개발자가 아니더라도 이 기능이 왜 대단한지 감이 오시죠? 여러 프로젝트가 동시에 돌아가는 환경에서 인프라 관리자가 매번 팀별로 서버를 쪼개고 조율하느라 쏟던 시간을 획기적으로 줄여준답니다.

실제로 파이썬 도구(SageMaker Python SDK)를 통해 간단한 설정만 거치면, 배경 작업용, 일반 업무용, 긴급 작업용 등으로 쿼터 몫(Quota Share)을 나누고 우선순위를 지정할 수 있어요. 우리 팀의 작업 성격에 맞춰 자원을 예약할지, 빌려 쓸지 선택만 해주면 시스템이 알아서 최적의 효율로 자원을 배분해 준답니다.

결론적으로 AWS Batch의 이 새로운 기능은 여러 팀이 한정된 자원을 손발 척척 맞춰 효율적으로 쓸 수 있도록 도와주는 든든한 비서 같아요. 여러분이라면 이 유연한 자원 공유 기능을 어떤 프로젝트에 가장 먼저 써보고 싶으신가요?