60억개 오브젝트를 HDD 기반 OSD 에서 SSD 기반 OSD로 온라인 마이그레이션하는 과정

송동수 | 라인플러스

라인의 글로벌 서비스를 위한 프라이빗 클라우드의 스토리지 인프라 개발/운영, CDN 서비스 개발/운영

60억개 오브젝트를 HDD 기반 OSD 에서 SSD 기반 OSD로 온라인 마이그레이션하는 과정

TRACK 3 : Storage
02:40 pm - 03:10 pm

하루 30억건 이상 호출되는 Ceph RGW 클러스터를 운영하고 있으며, 몇년전 구축한 HDD 기반의 Filestore OSD의 성능 한계로 인한 높은 Latency로 인해 서비스 만족도 하락을 방지하기 위하여 SSD 기반의 Bluestore OSD로 마이그레이션하는 과정을 설명하려 합니다.
계획 수행에서 실행, 완료까지 1년이 넘게 소요되었으며, 진행과정중 여러번의 장애와 그 극복과정과 Ceph RGW의 버그로 인한 문제 등을 처리하는 과정을 설명하려 합니다.
이후 비슷한 작업을 위한 최적화된 워크플로우도 공개하려 합니다.