vGPU License 및 MIG 제약 사항

# vSphere 환경

 

vGPU License

T-Series GPU까지는 NVIDIA Grid vCS(Virtual Compute Server) 라이선스를 이용하여 vSphere에서 생성되는 VM에 vGPU 할당이 가능

A100의 경우에는(다른 Ampere Series와 달리) vCS가 지원이 안되고 NVIDIA AI Enterprise를 이용해야 함

https://docs.nvidia.com/grid/latest/pdf/grid-vgpu-release-notes-vmware-vsphere.pdf

"NVIDIA Virtual Compute Server (vCS) is no longer supported and C-series vGPU types are no longer available. Instead, vCS is supported with NVIDIA AI Enterprise."

 

MIG 제약 사항

vSphere 7.0 U2부터 A100의 MIG(Multi-Instance GPU) 기능을 지원하여 이전 vGPU와 달리 GPU Memory 뿐만 아니라 SM(Stream Processor)까지도 Profile을 이용하여 하나의 Physical GPU에서 여러 개의 vGPU로 분리가 가능

MIG를 이용하여 생성한 vGPU를 이용하는 경우에는 단일 GPU 서버에 여러 Physical GPU가 있다고 하더라도 하나의 VM에는 하나를 넘는 vGPU를 할당할 수 없음

https://blogs.vmware.com/apps/2020/09/vsphere-7-0-u1-with-multi-instance-gpus-mig-on-the-nvidia-a100-for-machine-learning-applications-part-1-introduction.html

"We are not allowed to have more than one MIG-specific vGPU profile assigned to one VM. This means that two MIG-enabled physical GPUs may not be allocated to a VM."

 

vGPU 제약 사항

MIG를 사용하지 않는 환경에서는 하나의 VM에 최대 4개까지의 vGPU 할당이 가능

하나의 VM에 여러 vGPU를 할당할 때 해당 vGPU는 무조건 Physical GPU의 전체 Memory를 사용하는 vGPU Profile을 사용해야 함

https://core.vmware.com/resource/deploy-ai-ready-vsphere-7

"Allocate multiple physical GPUs to one VM and thus to one job. This involves setting multiple vGPU profiles for one VM. Those profiles must fully occupy their GPU memory. In this case, grid_a100-40c in the figure above must be used as the vGPU profile.

• Up to four full physical GPUs can be allocated to a VM through individual vGPU profiles.

• Only time-sliced vGPU profiles can be assigned to the VM, a GPU that has MIG enabled is not supported."

 

[참고 자료]

MIG 사용 시 vGPU Profile 종류

vGPU 사용 시 GPU와 VM Mapping 관계