Locked Files

 

locked file 때문에 아래 작업이 실패할 수 있습니다.

• VM power-on
• VM registration
• VM migration
• Snapshot consolidation

 

locked file 때문에 작업이 실패하면 어떤 파일이 locked 상태이고 누가 소유권을 가지고 있는지를 파악해야 합니다.

 

아래는 locked file 때문에 VM power-on이 실패한 경우 vmware.log에 남는 로그 입니다.

vsan-vc-flat.vmdk 파일을 lock 걸려는데 실패한 것을 알 수 있습니다.

2019-04-02T13:39:32.135Z| vmx| I125: AIOGNRC: Failed to open '/vmfs/volumes/5c196a09-487a3ec1-c7b3-0025b5aa012f/vsanvc/vsan-vc-flat.vmdk' : Failed to lock the file (40003) (0x2003). 2019-04-02T13:39:32.135Z| vmx| I125: OBJLIB-FILEBE : FileBEOpen: can't open '/vmfs/volumes/5c196a09-487a3ec1-c7b3-0025b5aa012f/vsan-vc/vsan-vc-flat.vmdk' : Failed to lock the file (262146).

 

누가 File Lock을 소유하고 있는지를 확인하기 위해서 ESXi 6.x 부터는 vmfsfilelockinfo 도구를 제공합니다.

이 도구는 조회한 파일에 대해 lock을 소유하고 있는 ESXi Host의 IP Address 또는 Hostname을 반환합니다. 아래 예제에서는 10.21.181.22 ESXi Host가 lock을 소유하고 있습니다.

# vmfsfilelockinfo -p vsan-vc-flat.vmdk -v <vcenter ip address> -u <vcenter account> vmfsfilelockinfo Version 2.0 Looking for lock owners on "vsan-vc-flat.vmdk" "vsan-vc-flat.vmdk" is locked in Exclusive mode by host having mac address ['00:25:b5:aa:00:ef'] Trying to use information from VMFS Heartbeat Host owning the lock on file is 10.21.181.22, lockMode : Exclusive

 

vmfsfilelockinfo 도구에 대한 자세한 내용은 KB10051을 참고하시기 바랍니다.

Investigating virtual machine file locks on ESXi hosts (10051)

https://kb.vmware.com/s/article/10051

 

vmfsfilelockinfo 도구 외에 vmkfstools 도구로도 누가 File Lock을 소유하고 있는지 확인할 수 있습니다.

아래 예제에서 owner UUID인 5c3e00e5-c7166966-3293-0025b5aa00ef 의 마지막인 0025b5aa00ef는 Lock을 소유하고 있는 ESXi Host의 MAC Address입니다. 0025b5aa00ef → 00:25:b5:aa:00:ef

# vmkfstools -D vsan-vc-flat.vmdk Lock [type 10c00001 offset 122109952 v 42, hb offset 3145728 gen 753, mode 1, owner 5c3e00e5-c7166966-3293-0025b5aa00ef mtime 5235434 num 0 gblnum 0 gblgen 0 gblbrk 0

 

일단 Lock을 소유하고 있는 ESXi Host가 확인되면, "lsof" 명령어를 이용하여 어떤 프로세스가 Lock을 소유하고 있는지 확인해야 합니다.

주로 Running 중인 VM의 VMX 프로세스나 Hostd 프로세스가 그 주인공이 됩니다.

# lsof |grep 'vsan-vc-flat.vmdk' 7731892 less FILE 4 vsan-vc-flat.vmdk

 

프로세스까지 확인되면, 아래 방법을 통해서 Lock을 Clear 할 수 있습니다.

1. VMX 프로세스 : VMX 프로세스인 경우에는 주로 이 VM이 Backup Proxy인 경우입니다. 이러한 경우에는 해당 VM을 Power Off 해야 할 수 있습니다.

2. Hostd 프로세스 : Hostd 프로세스 재시작을 해 볼 수 있습니다.

Restarting the Management agents in ESXi (1003490)

https://kb.vmware.com/s/article/1003490

3. 그 외 프로세스 : ESXi Host를 Maintenance Mode로 변경하고 재부팅 해야 합니다.

 

 

[참고 자료]

Investigating virtual machine file locks on ESXi hosts (10051)

https://kb.vmware.com/s/article/10051

 

VMware virtual machine file lock on VMFS datastore (84475)

https://kb.vmware.com/s/article/84475