Auto repair for Together GPU Clusters: from GPU fault to healthy node

인공지능(AI) 모델을 학습시키다 보면 대규모 컴퓨터 장비인 GPU에 갑자기 문제가 생기는 일이 종종 발생해요. 이런 상황을 마주하면 어디부터 손대야 할지 막막하게 느껴지시죠?

최근 투게더 AI에서 대규모 GPU 클러스터의 고장을 감지하고 스스로 고치는 자동 복구 시스템의 원리를 공개했다고 해요. 복잡해 보이는 시스템이 어떻게 우리를 도와주는지 쉽게 정리해 드릴게요.

전체 글 정리

1. 꼼꼼한 고장 감지 시스템

• 가상 머신(VM) 안쪽과 바깥쪽(호스트) 양쪽에서 24시간 내내 상태를 지켜봐요.
• 커널 로그, 그래픽카드 상태 지표, 파일시스템 오류 등을 놓치지 않고 수집하죠.
• 단순한 통신 장애와 진짜 고장을 구별하는 안전장치가 있어서, 일시적인 문제로 장비를 무작위로 교체하지 않아요.

2. 사람이 직접 결정하는 맞춤형 정책

• 시스템은 고장을 발견하면 가장 알맞은 해결책을 추천해 줘요.
• 어떤 오류는 자동으로 바로 고치고, 어떤 오류는 사람이 직접 확인한 뒤 승인하게 설정할 수 있어요.
• 작업 중인 데이터가 날아가지 않도록, 현재 실행 중인 작업이 끝날 때까지 기다렸다가 수리를 시작하는 기능도 포함되어 있답니다.

3. 단계별 맞춤 수리 과정

• 가벼운 문제라면 재부팅부터 시작해서, 필요할 경우 새로운 호스트로 이동시키는 등 단계별로 조치해요.
• 같은 문제가 자꾸 반복되면 더 확실한 방법으로 한 단계씩 수위가 높아져요.
• 수리가 끝난 빈 장비는 자동으로 성능 검사를 다시 거친 뒤 합격해야만 다시 일에 투입돼요.

이용 방법 / 활용 방안

• 자동화와 안정성의 조화: 개발자가 아니더라도 복잡한 서버 관리를 맡길 때, 내가 원하는 규칙(자동 승인 또는 수동 승인)을 정해두고 안전하게 시스템을 운영할 수 있어요.
• 기존 도구와의 연동: 이미 팀에서 쓰고 있는 모니터링 도구나 시스템이 있다면, 간단한 설정만으로 이 자동 복구 파이프라인에 연결해서 함께 쓸 수 있답니다.

여러분이라면 중요한 작업을 할 때 이런 자동 복구 기능을 어디까지 믿고 맡겨보고 싶으신가요?