본문 바로가기

Storage

(16)
Corrupted journal resource cluster metadata VMFS는 Filesystem이기 때문에 On-disk 와 In-memory 영역으로 구분할 수 있으며, On-disk에 Corruption이 발생한 경우 VMFS 상태 확인 및 조치 도구인 VOMA와 Hexdump를 이용해서 어느 부분에 문제가 있고 문제의 원인 분석을 위해서는 어떻게 접근해야 하는지에 대해서 알아보겠습니다. [문제 증상] [분석 내용] 1. vmkernel.log ## vCenter에서 기록된 메시지와 동일한 내용이 vmkernel.log에서 확인 2023-06-08T08:21:02.601Z cpu37:2098380)WARNING: Res3: 7066: Volume 5d6dca3e-15e5f0c2-5a55-54802851f0b6 ("xxx_16") might be damaged on ..
How to use Hexdump Hexdump 도구를 사용하여, VMFS가 위치한 Disk Device의 On-disk 정보를 수집할 수 있습니다. 1. 우선 Volume의 NAA ID 및 Partition Number 확인 # vmkfstools -P -v 10 /vmfs/volumes/645679753b6cd94539b8c824_jhaewon_iscsi_0 VMFS-6.82 (Raw Major Version: 24) file system spanning 1 partitions. File system label (if any): 645679753b6cd94539b8c824_jhaewon_iscsi_0 Mode: public ATS-only Capacity 536602476544 (511744 file blocks * 1048576),..
How Thin Provisioning Work - Space Reclamation Thin Provisioning은 어떤 역할을 하며, Thin Provisioning이 제공하는 기능 중 Space Reclamation과 관련한 예제를 살펴보겠습니다. Thick Provisioning vs. Thin Provisioning Thick Provisioning Thick Provisioning, aka 'Fixed Provisioning, is a method of providing the storage layers above the layer that is provisioning with less resources than are reported. The above diagram shows an example of Thick Provisioning. There are three LUNs..
How APD(All-Path Down) Works 안녕하세요. 오늘은 ESXi OS에서 Storage 문제 발생 시 Handling 하는 Mechanism 중 하나인 APD에 대해서 다뤄보겠습니다. APD는 Storage Device로의 Path가 모두 손실되거나, SAN 환경에 갑작스러운 단절이 생긴 경우 발생하는 Event PDL(Permanent Device Loss)은 APD의 특별한 Case로 Storage Array에서 Device(LUN)이 제거된 경우 APD는 단순히 Storage Array의 Communication이 정상적으로 되지 않는 경우에 발생하는 것이지만, PDL은 명시적으로 Device의 Loss를 Storage Array로부터 상태 전달을 받아 Host가 판단할 수 있는 상황을 의미 APD 도입 배경 기존 ESXi Manag..
vSAN Objects(vDisk, Home Namespace and etc) 오늘은 vSAN에 생성되는 Object들을 어떻게 수집하여 분류하는지 알아보도록 하겠습니다. vSAN Storage 위에 생성되는 vDisk, Namespace, Swap은 모두 vSAN Database인 CMMDS 내에 Object로 관리됩니다. CMMDS에 있는 정보를 조회하는 방법과 조회한 결과에서 각 Object를 어떤 정보를 기준으로 분류할 수 있을지 확인해보겠습니다. 테스트 대상 VM의 vSAN Object 현황 DOM_NAME UUID 확인 아래 결과에서는 dcbc7664-d44b-31fc-6058-005056a14919 [root@esxi701:~] vim-cmd vmsvc/getallvms Vmid Name File Guest OS Version Annotation 2 testVM [vs..
ATS(Atomic Test & Set) 오늘은 VMFS Datastore의 동기화 처리를 위한 Locking Mechanism인 ATS에 대해서 알아보도록 하겠습니다. ATS는 Atomic Test & Set의 약자로 VAAI(VMware vSphere® Storage APIs – Array Integration)에서 지원하는 기능 중 하나 ATS는 여러 ESXi Host가 동시에 접근 가능한 Clustered Filesystem인 VMFS의 Locking을 구현하는 기능으로 사용 예전에는 SCSI Reservation을 이용했으나, SCSI Reservation의 경우에는 전체 LUN에 Lock을 걸기 때문에 Contention Issue가 발생할 가능성이 높았기 때문에 ATS로 변경 ATS는 전체 LUN에 Lock을 걸지 않고 Sector..
Locked Files locked file 때문에 아래 작업이 실패할 수 있습니다. VM power-on VM registration VM migration Snapshot consolidation locked file 때문에 작업이 실패하면 어떤 파일이 locked 상태이고 누가 소유권을 가지고 있는지를 파악해야 합니다. 아래는 locked file 때문에 VM power-on이 실패한 경우 vmware.log에 남는 로그 입니다. vsan-vc-flat.vmdk 파일을 lock 걸려는데 실패한 것을 알 수 있습니다. 2019-04-02T13:39:32.135Z| vmx| I125: AIOGNRC: Failed to open '/vmfs/volumes/5c196a09-487a3ec1-c7b3-0025b5aa012f/vsan..
SCSI Protocol(+SCSI Sense Code, Errors) SAN Layout : https://www.pearsonitcertification.com/articles/article.aspx?p=1944878&seqNum=7 SCSI Protocol : https://www.cs.uml.edu/~bill/cs520/slides_07_scsisnia.pdf SCSI는 Client-Server Protocol Client는 Initiator라고 불리며, Server에 보낼 Request 생성 단일 Initiator는 여러 Application Client를 통한 Request 생성 Server는 Target이라고 불리며, Initiator의 Request를 수신 및 실행하고 이에 따른 결과를 Initiator에게 전달 Target에는 하나의 Task Manager가..
vSAN UUID, Delete vSAN Object 오늘은 vSAN에서 실행 중인 VM이 제거될 때 해당 VM과 연관되어 있던 vSAN Object 제거가 어떻게 이뤄지는지를 살펴보겠습니다. 테스트 용도의 VM을 제거하기 전 해당 VM이 사용하고 있던 VMDK와 연관된 vSAN Object를 알아보고, VM이 지워지는 과정에서 hostd.log와 vsantrace 로그에 어떠한 내용들이 기록되는지를 확인할 수 있습니다. 삭제 전 VM ID 확인 "test" 이름의 VM의 VM ID는 4 [root@compesxi01:~] vim-cmd vmsvc/getallvms Vmid Name File Guest OS Version Annotation 1 vCLS-9767ef40-ae51-4905-b9de-5a21ffd81b43 [vsanDatastore] 27512..
Driver/Firmware Check - HBA 전체 HBA adpater 목록 # esxcfg-scsidevs -a vmhba0 lsi_mr3 link-n/a sas.52cea7f077cd4c00 (0000:18:00.0) Broadcom PERC H730P Mini vmhba1 vmw_ahci link-n/a sata.vmhba1 (0000:00:11.5) Intel Corporation Lewisburg SATA AHCI Controller vmhba2 vmw_ahci link-n/a sata.vmhba2 (0000:00:17.0) Intel Corporation Lewisburg SATA AHCI Controller vmhba3 lpfc link-down fc.200000109bb46c09:100000109bb46c09 (0000:3b:00.0..