Necessary logs in case of system or vm hang

 

특정 VM이 Hang 상태로 빠지는 경우 해당 VM에 대한 어떤 Action(Power Off, Shutdown 등)도 진행할 수 없는 상황이 발생할 수 있습니다.

 

일반적으로 이러한 경우에 해당 VM만 ESXi Host에 위치시키고, 나머지 VM들을 다른 ESXi Host로 Migration 하신 이후에 문제가 발생한 VM이 위치한 ESXi Host를 강제로 껐다 켜서 문제를 해결하시곤 합니다.

 

하지만, 이렇게 되면 수집할 수 있는 자료가 ESXi Support Bundle로 한정되는데요.

Support Bundle에 포함되어 있는 vmkernel.log나 다른 로그들을 가지고는 문제 시점의 증상에 대한 대략적인 추정만 할 수 있지 근본적인 원인 파악은 매우 어려운 상황으로 이어집니다.

 

따라서, 위와 같은 상황이 발생했을 때 다소 귀찮고 복잡하다고 생각될 수 있지만 ESXi Host의 OS인 VMKernel과 중요 프로세스 중 하나인 hostd 프로세스의 덤프를 수집할 필요가 있습니다.

 

아래 VMKernel과 hostd 프로세스의 덤프 수집 방법을 정리하였으니, 유사한 증상이 있는 경우 해당 자료를 수집하시어 SR을 오픈하시면  정확한 원인 분석의 가능성을 높이실 수 있습니다.

 

1. VMKernel Live Dump

## Livedump 생성 [root@mgmtesxi01:~] localcli --plugin-dir /usr/lib/vmware/esxcli/int debug livedump perform   ## Dump Partition 확인 [root@mgmtesxi01:~] esxcfg-dumppart -l VM Kernel Name                                                                                          Console Name                                 Is Active   Is Configured /vmfs/volumes/6322a2fe-1d890c90-a1f8-005056b60748/vmkdump/CE6A3642-8D77-454A-92B2-4EA803520AAD.dumpfile                                              yes         yes   ## Dump 복사 [root@mgmtesxi01:~] esxcfg-dumppart -C -D active Created file /scratch/core/vmkernel-zdump.1   ## 수집된 Dump 확인 [root@mgmtesxi01:~] ls /scratch/core vmkernel-zdump.1

 

2. Hostd Process Dump

# vmkbacktrace -n hostd -c -w 위 명령어를 실행하면 /var/core 디렉토리 하위에 zdump 파일이 생성되며, ESXi Support Bundle을 수집할 때 같이 수집됩니다.

 

위 명령어 사용법을 숙지하신 상태에서 문제가 생겼을 때, 자료 수집에 활용하시기 바랍니다.