Distributed training with Ray Train DLCs and EFA on EKS

안녕하세요! 인공지능 기술이 하루가 다르게 발전하고 있지만, 막상 여러 대의 컴퓨터를 묶어서 거대한 모델을 학습시키려고 하면 복잡한 설정 때문에 머리가 아파오기 마련이죠.

혹시 “컨테이너 설정부터 네트워크 연결까지 직접 다 해야 하나?” 하고 막막했던 적 있으신가요? 오늘은 AWS 환경에서 복잡한 준비 과정 없이 인공지능 학습을 착착 진행할 수 있는 똑똑한 방법을 소개해 드릴게요.

전체 글 정리

머신러닝 학습의 숨은 복병, 환경 설정

보통 여러 대의 컴퓨터를 동원해 파이토치(PyTorch) 같은 인공지능 모델을 학습시키려 할 때 가장 큰 난관은 모델 코드가 아니라 바로 ‘컨테이너 환경 설정’이에요.

• 그래픽카드(GPU) 드라이버, 통신 라이브러리, 고속 네트워크 라이브러리 등을 일일이 맞추는 작업은 꽤 번거로운 일이죠.
• 이 과정에서 사소한 설정 하나만 어긋나도 속도가 느려지거나 오류가 발생하기 쉽답니다.

AWS가 미리 준비한 컨테이너의 힘

AWS는 이러한 번거로움을 덜어주기 위해 필요한 모든 도구가 담긴 ‘Ray Train 딥러닝 컨테이너(DLC)‘를 제공해요.

• 이 컨테이너 안에는 필요한 네트워크 라이브러리와 통신 도구가 이미 다 포함되어 있어서 따로 빌드할 필요가 없어요.
• 쿠버네티스 관리 도구인 KubeRay와 결합하면, 여러 대의 컴퓨터를 마치 하나의 거대한 작업실처럼 쉽게 묶어서 관리할 수 있답니다.

똑똑하게 자원을 나누는 기술과 자동화 스크립트

이 방식은 모델의 덩치를 여러 조각으로 쪼개서 여러 그래픽카드에 나눠 담는 FSDP 기술을 사용해요.

• 대용량 모델도 작은 메모리로 거뜬하게 학습시킬 수 있죠.
• 또한 AWS 환경에서 그래픽카드가 여유 있는 지역을 스스로 찾아내고 인프라를 자동으로 구축해 주는 편리한 스크립트들도 함께 제공돼요.

이용 방법 / 활용 방안

• 사전 제작된 컨테이너 그대로 활용하기: 직접 개발 환경을 처음부터 구축하지 마시고, AWS가 미리 검증해 둔 컨테이너 이미지를 그대로 불러와서 사용해 보세요. 시간도 아끼고 오류를 크게 줄일 수 있답니다.
• 필요한 설정은 외부에서 주입하기: 코드를 수정하지 않고도 환경 변수나 설정 파일만 살짝 바꿔서 네트워크 방식이나 필요한 라이브러리를 유연하게 조절해 보세요.
• 자동화 도구로 인프라 구축하기: 자원이 충분한 지역을 자동으로 탐색하고 배포하는 스크립트 방식을 참고하여, 복잡한 클라우드 환경 구축 과정을 한결 간편하게 만들어 보세요.

여러분이라면 이렇게 확장된 강력한 컴퓨팅 환경에서 어떤 멋진 인공지능 모델을 만들어보고 싶으신가요?