Open Source를 활용한 금융권 On-Premise AI Infrastructure의 효율적 GPU 사용

권오균

Speaker's bio

MLOps/AI 엔지니어로 AI플랫폼 기획/설계와 Kubernetes 운영 업무를 수행하고 있습니다.

Schedule

Session detail

최근 금융권에선 On-Premise Private Cloud 환경에 다양한 AI모델 서비스를 위해 고성능 GPU 장비를 도입 하였습니다.

하지만 Kubernetes PaaS의 제한적 확장, 오픈소스 사용에 대한 불안감으로 계속해서 솔루션 도입 검토와 함께 IT 비용은 기하급수적으로 증가하였습니다.

빠르게 변화하는 AI/Data 영역에 있어 효율적인 오픈소스 도입과 AI인프라를 구성하여, IT비용을 감소 시키고 GPU를 획기적으로 늘릴 수 있는 Nvidia MIG 적용 사례 입니다.

AI/ML 워크로드의 성능 손실을 최소화 하면서 GPU 과사용 방지, 사용자의 다양한 GPU 사용 방법 및 검증된 금융권 On-Premise 환경의 사용 케이스를 공유하고자 합니다.