Volume Hot-plugging into Kubernetes Container

박은수 | 삼성전자

삼성전자 Samsung Research에서 컨테이너 기반의 온 프레미스 AI 플랫폼을 개발하고 있는 박은수입니다. Kubernetes, AI Workflow, CICD, Scalable Web Application 관련 열린 토론 환영합니다. esevan.park@samsung.com , https://esevan.tistory.com

Volume Hot-plugging into Kubernetes Container

TRACK 3 : Storage
05:00 pm - 05:30 pm

AI Platform을 Kubernetes에 구축하면서 대용량 데이터에 대한 사용자의 권한 변경 및 동적 사용이 잦아졌습니다. 이를 위해 기 존 VM 기반의 솔루션에서는 사용자에게 권한에 따라 Filesystem를 정보를 제공하고 직접 Mount하는 방식으로 데이터 제공이 가능했으나 Kubernetes 환경에서는 동작 중인 Live Container에 Volume을 Mount하는 방법이 없어 새로운 Pod을 설정하여 재 시작해야 했습니다.

Jupyter 기반의 사내 AI Platform에서는 Pod을 재시작할 경우, 사용자가 처리하던 작업이 사라지고 Downtime이 발생하여 불편함이 있었습니다. 본 발표에서는 Container Design Pattern을 응용하여 동작중인 Live Container에 FUSE 기반으로 새로운 Filesystem을 동적으로 Mount하는 기법 및 사내 Ceph와의 연동을 통해 Object Storage, Cephfs를 사용자 요청에 따라 제공했던 경험에 대해 공유하려 합니다.