Announcing SOCI-indexed images for faster SageMaker AI jobs

인공지능 모델을 만들거나 실험할 때, 무거운 프로그램 묶음(컨테이너 이미지)을 다운로드하느라 몇 분씩 기다려본 적 있으신가요? ⏳

특히 딥러닝 이미지는 용량이 10GB를 훌쩍 넘는 경우가 많아서, 본격적인 작업이 시작되기도 전에 시간과 비용이 낭비되곤 했죠. 개발자분들의 답답함을 싹 덜어줄 반가운 소식이 도착했어요! 아마존 세이지메이커 AI에 컨테이너 다운로드 시간을 획기적으로 줄여주는 기술이 적용되었답니다.

전체 글 정리

1. 척척 알아서 읽어오는 SOCI 인덱싱이란?

• **SOCI(Seekable OCI)**는 컨테이너 이미지를 통째로 다운로드하지 않고, 먼저 필요한 파일만 빠르게 가져온 뒤 나머지는 백그라운드에서 실행하며 불러오는 기술이에요.
• 마치 동영상을 전체 다 다운로드할 때까지 기다리지 않고, 스트리밍으로 바로 재생하는 것과 비슷하죠.
• 기존 작업 정의나 실행 파일을 전혀 수정할 필요 없이 바로 쓸 수 있어요.

2. 직접 측정해 보니 놀라운 결과가!

• 1.8GB부터 35.4GB까지 다양한 용량의 이미지로 테스트한 결과, 기존에는 몇 분씩 걸리던 다운로드 시간이 용량과 상관없이 단 3초에서 11초로 줄어들었어요.
• 어떤 인스턴스 크기를 쓰든 상관없이 일정한 속도 향상 효과를 보여주었답니다.
• 첫 번째 학습 에포크(Epoch)에서 파일을 처음 불러올 때 아주 잠깐의 지연이 있을 수 있지만, 전체적인 작업 완료 시간은 매번 1~6분씩 단축되었어요.

3. 어떻게 시작하면 될까요?

• 방법 1 (프리인덱싱된 컨테이너 사용): AWS가 미리 인덱싱해 둔 파이토치, 텐서플로우 등의 딥러닝 컨테이너를 선택하고 이미지 태그 뒤에 -soci만 붙여주면 끝이에요.
• 방법 2 (내 이미지에 직접 인덱스 생성): 커스텀 이미지를 쓰고 있다면, 리눅스 환경에서 SOCI 인덱스를 생성해 아마존 ECR에 함께 저장하면 된답니다. 자동화 도구를 쓰면 코드 수정 없이 배포 파이프라인에 쏙 넣을 수도 있어요.

이용 방법 / 활용 방안

• 반복 작업이 많은 실험에 적용해 보세요: 하이퍼파라미터 튜닝처럼 수많은 작업을 짧게 반복해야 할 때 대기 시간을 크게 줄여줍니다.
• 용량이 큰 이미지일수록 효과 만점이에요: 4GB 이상의 대용량 딥러닝 이미지를 주로 다룬다면 기다림 없는 쾌적한 작업 환경을 바로 체감하실 수 있을 거예요.
• 기존 코드를 바꿀 필요가 없어요: 태그 이름만 살짝 바꾸거나 인덱스만 추가하면 되니까, 지금 바로 기존 워크플로우에 부담 없이 적용해 볼 수 있답니다.

작업을 시작할 때마다 수 분씩 걸리던 로딩 시간이 몇 초로 줄어든다면, 하루 동안 진행할 수 있는 실험 횟수가 훨씬 늘어나겠죠? 여러분이라면 이 절약된 시간을 어떤 멋진 실험에 써보고 싶으신가요?