티스토리

Deep Dive into Everything

검색하기

블로그 홈

Deep Dive into Everything

haewon83.tistory.com/m

haewon83 님의 블로그입니다.

구독자: 6

방명록 방문하기

주요 글 목록

[NSX] Generating support bundles fail after replacing certificates. NSX Manager의 인증서 중 APH-TN 인증서를 갱신하고 나서 Support Bundle 수집에 문제가 생기는 경우가 발생할 수 있습니다.이러한 경우에는 NSX Manager 각 Node의 APH-TN 인증서를 각 Node의 UID를 이용하여 신규 생성 후 다시 갱신이 필요합니다. [Symptom]인증서 교체 후, NSX Manager UI에서 Support Bundle 수집 시 실패 현상 발생 [Troubleshooting Notes]1. NSX 버전$ cat ./etc/nsx_issue version: 4.1.1.0.0.22224317 node-type: nsx-manager nsx-policy-manager nsx-controller build-type: release export-type:.. 공감수 0 댓글수 0 2025. 2. 10.
[NSX] Training01. L2 Unicast Switching 일반 Switch에서는 Broadcast Domain 생성을 위해, 0~4095 Range의 VLAN을 설정NSX에는 L2 encapsulation에 따라, 2가지 유형의 L2 Domain 생성 가능 1. VLAN encapsulationL2 Domain 구분을 위해, 12bit VLAN ID 사용: 0~4095NSX는 VLAN switch의 각 port별 protection을 위해서 DFW(distributed firewall) 지원NSX의 VLAN switch는 vSphere의 virtual switch와 동작 방식 동일 2. Geneve encapsulationL2 Domain 구분을 위해, 24bit VNI(Virtual Network Identifier) 사용 Physical Switch의 Po.. 공감수 0 댓글수 0 2025. 1. 13.
The memory usage of vCenter consistently spikes every Thursday at 12:30 PM. 매주 목요일에 vCenter의 Memory 사용률이 VAMI를 통해 확인했을 시, 높아졌다가 돌아오는 패턴을 보여주는 증상에 대해 OS Memory 관점에서 접근한 내용입니다. [Symptom]매주 목요일 vCenter 메모리 사용률이 증가하는 현상아래는 VAMI 화면 캡쳐 [Troubleshooting Notes]1. vCenter 버전 확인$ cat ./etc/applmgmt/appliance/update.conf { ... "latestPatch": { "header": { ... "buildnumber": "20051473", ... "name": "VC-7.0U3f", "productname": "VMware vC.. 공감수 0 댓글수 0 2025. 1. 9.
RDM disks are seen as "File" type in vCenter UI. VM이 RDM Disk를 사용하는 경우, RDM Disk에 대한 Mapping 정보를 담은 파일이 VM의 vmdk가 위치한 Datastore에 같이 생성됩니다.만약, 이 Datastore를 같이 공유해서 사용하는 ESXi Host 중 RDM Disk가 Assign 되어 있지 않은 ESXi Host가 있다면, vCenter에서 Datastore를 Browse하여 폴더 및 파일 목록을 불러올 때, RDM Disk의 Type이 Virtual Disk가 아닌 File로 보이는 경우가 발생할 수 있습니다.이는 Design 적인 요소로, 이와 관련하여 내부에서 Repro 테스트를 하면서 확인한 내용을 공유 합니다. [문제 증상]VM별로 RDM Disk의 File Type이 상이한 현상※ 내부에서 테스트 했을 때, .. 공감수 1 댓글수 0 2025. 1. 2.
[ESXi] Inconsistency between kernel data and the configtore can happen when adding the same allowed IP addresses ESXi에서는 User-mode Application들이 Kernel 내부 정보를 이용할 수 있도록 VSI(VMKernel Sysinfo Interface)를 제공하고 있습니다.다음과 같은 개념도를 통해 간단하게 이해해 볼 수 있습니다.VSI를 내부적으로 공부하면서 느낀 건 Windows OS를 공부하면서 확인했던 Windows Registry와 매우 흡사하다는 것입니다. Windows Registry처럼 ESXi OS의 Command-Line Interface인 vsish 도구를 제공하여, 각종 저장된 정보를 조회/설정/변경이 가능합니다. 오늘은, 이 VSI와 관련하여 방화벽 IP 설정 시 발생했던 오류 현상에 대해 다뤄보겠습니다. [Symptom]vCenter UI를 통해서 여러 Firewall R.. 공감수 1 댓글수 1 2024. 12. 24.
[NSX] NSX Load Balancer Monitor NSX Load Balancer에서는 Server Pool에 등록된 각 Member들의 상태를 확인할 수 있도록, Health Check의 일환으로 Monitor 기능을 제공합니다. 본 글에서는 Monitor 설정 시, Support Bundle에서 구성 내용을 확인하는 방법과, 각 Server Pool Member로 전달되는 Packet을 어떻게 확인할 수 있는지 알아보겠습니다. 우선 Monitor와 관련된 기술적인 내용은 다음과 같습니다. Active Monitor는 실제 Service Traffic과 상관없이 Load Balancer가 ICMP와 같은 Packet을 보내서 확인하는 방식Passive Monitor는 Backend Server로부터 RST flag가 설정된 Packet을 받는 경우 B.. 공감수 0 댓글수 1 2024. 9. 20.
[NSX] The low performance has been detected when customer is copying files through NSX environment from end-user's network. NSX 환경을 통과하여, End-to-End로 NFS를 통한 파일 복사를 수행할 때, Throughput이 예상보다 적게 나오는 증상이 있어, 이에 대한 분석을 어떻게 진행하는지 살펴보겠습니다. [Symptom]다음과 같은 구성 환경에서 Source와 Destination이 NFS Protocol을 통해 파일을 주고 받을 때, Throughput이 10Mbps 정도만 나오는 증상Source - Physical Switch - NSX Tier-0 Gateway(VRF) - NSX Tier-1 Gateway - NSX Tier-1 Gateway - Destination [Troubleshooting Notes]1. NSX 버전 확인$ cat ./etc/nsx_issue version: 3.2.3.0.1.21.. 공감수 1 댓글수 0 2024. 9. 4.
[NSX] The specific BGP neighbor becomes DOWN frequently. BGP Neighbor가 위치한 Physical Switch 중 한 쪽 Switch에 위치한 BGP Neighbor와의 연결만 반복적으로 Down/Up 현상이 발생하는 이슈가 있어 Troubleshooting 했던 내용을 공유 드립니다. [Symptom]Edge Node의 FRR Log에 다음과 같은 BGP Down 메시지가 반복적으로 발생 BGP: Peer fd -1 send BGP_DOWN message to BGP adapter BGP: BGP Adapter: Send BGP_DOWN for peer BGP: [Event] BGP connection closed fd 31 BGP: BGP connection fd 31, recieved fatal error, wipe off ringbu.. 공감수 0 댓글수 0 2024. 8. 22.
[NSX] vim.tiny process crashed unexpectedly and core dump file generated. NSX Edge Node에서 vim.tiny 프로세스가 예기치 않게 종료되면서 Core Dump가 발생한 케이스가 있습니다.NSX는 기본적으로 root 계정으로 사용자가 접근하여 Operation을 수행하는 것을 권고하고 있지 않으며, 또한, 해당 증상을 재현해 볼 수 있는 방법이 있어, 흥미로운 증상이라 이와 관련된 내용을 알아보겠습니다. [Symptom]NSX Manager에서 Application이 Crash 되었다는 Alarm 발생 [Troubleshooting Notes]1. Application Crash가 발생한 Edge Node에서 실제로 문제 증상이 발생했는지 Syslog를 통해 검증Syslog에서 확인되는 바와 같이 vim.tiny 프로세스가 예기치 않게 종료$ grep -i "even.. 공감수 0 댓글수 0 2024. 8. 11.
[NSX] NSX alarms indicating certificates have expired or are expiring NSX를 3.x에서 4.x로 업그레이드 한 후, 다음 화면과 같이 많은 수의 인증서가 만료 직전으로 확인되는 증상이 있었습니다. 해당 증상은 KB324175에 기재된 내용과 동일한 증상으로, NSX alarms indicating certificates have expired or are expiringhttps://knowledge.broadcom.com/external/article?articleId=324175 KB 내용이 다소 복잡할 수도 있으나 문제 해결을 위해 KB에 Link 되어 있는 Python 파일을 이용하여 어렵지 않게 조치를 할 수 있습니다. Steps: Download the attached script replace_certs_v1.7.py. To execute the scrip.. 공감수 0 댓글수 0 2024. 8. 8.
[NSX] How to Rollback Management Plane 3.2.1 이상 버전부터 업그레이드를 한 경우에 Management Plane만 간편하게 Rollback 하는 방법이 있습니다.이는 업그레이드가 정상적으로 완료되었거나, 완료되지 않았거나 모두 해당합니다. 3.2.3.1에서 4.1.2.4로 업그레이드 한 환경에서 Management Plane을 Rollback 해보겠습니다.1. 모든 NSX Manager에서 Corfu DB를 중지합니다.root@nsx-mgr01:~# /etc/init.d/corfu-server stop Stopping corfu-server (via systemctl): corfu-server.service. root@nsx-mgr02:~# /etc/init.d/corfu-server stop Stopping corfu-server .. 공감수 0 댓글수 0 2024. 7. 30.
[NSX] BGP down with Hold_Timer_expired because NIC fp-eth1 queue ## TX hang detected Bare-metal Edge를 사용하는 환경에서 NSX Version 4.1.2.3으로 업그레이드 한 후, 간헐적으로 BGP Down 상태가 발생하는 경우가 있어 이에 대해 확인된 내용을 공유합니다. [Troubleshooting Notes]1. NSX 버전 확인$ cat ./etc/nsx_issue version: 4.1.2.3.0.23382424 node-type: nsx-edge build-type: release export-type: unrestricted 2. BGP Routing 구성 환경 확인./edge/tier0_sr_routing_config ROUTING CONFIGURATION: ====================== bgp_config: .. 공감수 0 댓글수 1 2024. 7. 25.
[NSX] Search service doesn't work after upgrading to NSX 4.1.2.4.0 from NSX-T 3.2.3.0.0 [Symptom]NSX 4.1.2.4로 업그레이드 한 이후에 NSX UI에서 검색 기능이 올바르게 동작하지 않음"start search resync all" 명령어를 실행해도 잠시 후에 동일 증상 발생 [Troubleshooting Notes]1. UI에서 확인한, "INDEXING_FAILURES_EXHAUSTED_RETRIES" 메시지가 실제로 Search Service로그에 기록되어 있는지 확인./var/log/search $ zgrep "INDEXING_FAILURES_EXHAUSTED_RETRIES" * search-manager.log:cohttp://m.vmware.nsx.management.search.common.exceptions.SearchException: INDEXING_FAI.. 공감수 0 댓글수 0 2024. 7. 18.
[NSX] The memory usage on Edge node <UUID> has reached 85% which is at or above the high threshold value of 80%. NSX의 Edge Node에서 발생하는 Memory Alarm은 2가지 유형으로 구분해 볼 수 있습니다.하나는 주요 프로세스 중 하나인 Datapath가 사용하는 여러 가지 Pool 중에 특정 Pool의 사용량이 임계치를 넘어서는 경우 발상하는 Alarm과 OS가 사용하는 Available Memory가 부족했을 때 발생하는 Alarm이 두 번째입니다. 본 케이스는 OS의 Available Memory가 부족했을 때 발생하는 Alarm의 원인 분석을 어떻게 진행했는지 알아보도록 하겠습니다. [Symptom]NSX Manager UI에 다음과 같은 "Edge Memory Usage High" Alarm 발생 [Troubleshooting Notes]1. OS Memory 사용 현황 확인/var/log/vm.. 공감수 0 댓글수 0 2024. 7. 9.
[NSX] Additional session is not created when multiplexing is enabled although virtual servers have the different service ports NSX의 Load Balancer를 사용할 때, 서로 다른 Virtual Server가 동일한 Server Pool을 사용하도록 설정할 수 있습니다.또한, Server Pool에 Back-end Server에서 Listening 하고 있는 Port를 지정하지 않고, Virtual Server에 Default Pool Member Ports 값을 대신 지정하여 사용할 수도 있습니다. 문제는 위와 같은 환경 구성을 사요할 때, Server Pool에 Multiplexing 기능을 활성화 하는 경우 예기치 않은 문제가 발생하는 경우가 있어 이에 대해 공유하고자 합니다. [Symptom]Virtual Server :443 -> Server Pool :80 으로 통신하는 세션에 Virtual Server :809.. 공감수 0 댓글수 0 2024. 7. 4.
[NSX] How to remove a stale ingress policy created by NCP Tanzu, Openshift 등 Kubernetes 환경에서 NCP(NSX Container Plugin)를 활용하면 Kubernetes에 만들어진 Object들을 NSX에서 확인할 수 있습니다. 이번 케이스는 고객사에서 VM 내에 TKGI를 사용하다 운영 중인 VM을 제거하고, 신규로 TKGm을 구축하였는데, TGKI에서 사용하던 Object들이 NSX에 남아 있게 된 사례입니다. 문제는 고객이 특정 Object를 제거하려고 했지만, DELETE Method API를 제공하지 않는터라 원하는 Object를 정리할 수 없는 상황이었습니다. 이 Object를 어떻게 정리했는지 살펴보겠습니다. 1. 먼저 유사한 환경 구성을 위해서 TKGS(vSphere with Tanzu)를 설치 2. 이 후 별도의 Na.. 공감수 0 댓글수 0 2024. 7. 2.
[NSX] WebSocket 서버 구성 및 Client 접속 테스트 NSX Load Balancer는 WebSocket을 위한 HTTP Upgrade를 지원합니다.Supported Load Balancer Featureshttps://docs.vmware.com/en/VMware-NSX-T-Data-Center/3.2/administration/GUID-91F2D574-F469-481A-AA39-CD6DBC9682CA.html • HTTP upgrade - For applications using HTTP upgrade such as WebSocket, the client or server requests for HTTP Upgrade, which is supported. By default, NSX-T Data Center supports and accepts HTT.. 공감수 0 댓글수 0 2024. 6. 21.
[NSX] NSX-T host configuration shows Validation Errors with error code "9564" Transport Node에 대해서 "Symtpom" Section에 기재한 오류 메시지가 발생하는 경우가 있어, 이를 해결한 방법을 알아보겠습니다. [Symptom]단일 클러스터 내 모든 Transport Node에 대해서 다음과 같은 오류 메시지 발생9564: Unable to fetch host hardware and network compute information associated with from inventory. Either the CM-Inventory Service is not running, or inventory information is missing. [확인 내용]1. KB94655에 기재된 대로 Transport Node에 대해 TNP(Transport Node Profil.. 공감수 0 댓글수 1 2024. 6. 10.
[NSX] how ARP works between non-overlay and overlay ARP는 Ethernet Networking에서 통신을 위해 가장 중요한 요소 중 하나 입니다.ARP가 동작하는 방식은 일반적인 상황에서 많이 알려져 있기 때문에 많은 분들이 Request/Reply가 동작하는 방식에 대해서 익숙할 것으로 생각합니다. 이 ARP가 NSX가 제공하는 Overlay 환경에서는 Broadcast와 같은 BUM Traffic을 줄여 Network을 효과적으로 사용할 수 있도록 하기 위해 다소 차이가 있습니다. 이에 일반적인 환경과 비교하여 Overlay 환경에서는 ARP가 어떻게 동작하는지 살펴보겠습니다. VM1 정보 : IP1 / MAC1 / ESXi Host1VM2 정보 : IP2 / MAC2 / ESXi Host2 Non-overlay IP networkingVM1이 IP.. 공감수 0 댓글수 1 2024. 6. 9.
[NSX] LB traffic fails intermittently (2) https://haewon83.tistory.com/221 에서 테스트를 위한 환경을 구축했습니다.이제 Client에서 LB에 연결한 후 어떤 조건에서 Connection이 끊기는 상황이 발생할 수 있는지 확인해보겠습니다. 1. Nginx 파일 다운로드 구성우선 Back-end Server로 구성해놨던, Nginx를 통해 파일을 다운로드 할 수 있도록 아래 설정을 추가하고 Nginx를 재시작 합니다.※ 테스트를 위해서 사전에 selinux는 비활성화 하시길 권고드립니다.location /downloads/ { >>>>>>>>>>>>>>>>>>>>>> 웹브라우저에서 접근 시 사용할 경로 root /home/jhaewon/; >>>>>>>>>>>>>>>>>>>>>> 실제 파일이 위치하는 경로의 상위 디.. 공감수 0 댓글수 0 2024. 6. 2.
[NSX] LB traffic fails intermittently (1) 3.2.4 Release Note에서 Report된 Bug 내역 중 LB와 관련된 LB Connection 끊김 현상과 관련하여 구성 환경 및 문제 재현 단계를 알아보겠습니다. VMware NSX-T Data Center 3.2.4 Release Noteshttps://docs.vmware.com/en/VMware-NSX/3.2.4/rn/vmware-nsxt-data-center-324-release-notes/index.html Fixed Issue 3288062: There is intermittent Load Balancer traffic failure. 우선, 고객사와 동일한 환경 구성을 위해서 다음 그림처럼 내부 Lab에 구성을 합니다. 아래 구성의 주요 항목은 다음과 같습니다.1) Servi.. 공감수 0 댓글수 0 2024. 6. 2.
[NSX] fast-path thread vs. non-fast-path thread NSX의 Edge appliance에서 Running 되는 여러 Thread 들 중 주요 Thread는 2개의 Category로 구분할 수 있습니다.하나는 Packet Processing을 위해서 사용되는 fast-path thread이고 다른 하나는 아래에서 설명해드릴 dp-fp 로 시작하지 않는 프로그램들로 non-fast-thread라고 불립니다. 특히, fast-path thread의 경우에는 성능을 위해서 전체 core 중 특정 core에서만 scheduling 되어 사용될 수 있도록 pinning 설정을 이용하고 있습니다. 이렇게 설정된 내용을 어떻게 확인할 수 있는지 알아보겠습니다. 우선, fast-path thread의 실제 이름은 dp-fp로 시작합니다.개별 thread마다 dp-fp 이.. 공감수 0 댓글수 0 2024. 5. 28.
[NSX] top-cpu difference between vm and baremetal edge NSX 환경에서 가장 중추적인 역할을 하는 요소 중 하나가 Edge 입니다.이 Edge는 ESXi Hypervisor 환경 위에 VM으로 배포될 수도 있고, 일반 x86 서버에 Baremetal 형식으로 배포될 수도 있습니다. 이렇게 서로 다른 두 환경에서 배포가 될 수 있는데, 동일하게 High CPU 현상이 발생할 때는 봐야하는 Metric이 다를 수 있는 부분에 유의해야 합니다. 간단하게 설명하자면, VM 형태로 배포된 Edge의 경우에는 OS에서 제공하는 도구인 top 명령어를 통해 datapath 프로세스의 개별 CPU 사용량을 확인하면 되지만, Baremetal의 경우에는 top 에서 확인할 수 있는 CPU 사용량은 항상 고정되어 있어 CPU 사용량을 확인하기에는 유용하지 않습니다. 아래 실례.. 공감수 0 댓글수 0 2024. 5. 27.
[NSX] How to convert unresolved address to function and line number 내부에서 Symbol을 이용한 Debugging을 진행하는 경우가 간혹 있습니다.이러한 경우, Debug용 Package를 별도로 Download 받거나 또는 datapath의 Performanace 분석을 위해 고객사에 해당 파일을 전달하여 수집하는 경우도 있습니다. 문제는 고객사에 해당 파일을 전달하여 자료를 수집하는데도 정상적으로 Address가 Function Name으로 Resolve 되지 않는 경우 내부에서 수동으로 해당 Address를 변환해야 하는 경우도 생깁니다. 이러한 경우, addr2line 도구를 이용하여 Base Address와 Function Address를 참조하여 올바른 Function Name으로 변환을 시도해 볼 수 있습니다. 아래는 datapathd 프로세스에 대해 진행.. 공감수 0 댓글수 0 2024. 5. 18.
[NSX] How to decode "Trace the drop packet" message NSX Edge에서 Packet Drop이 발생한 경우 syslog에 "Trace the drop packet"과 함께 Base64로 Encode된 값이 기록됩니다.이 값을 Decode 해보면 src/dst ip address 등 drop 된 packet에 대한 정보를 확인할 수 있습니다.이를 수동으로 진행하는 방법을 알아보겠습니다. 아래 예제는 Windows OS에서 실행하였습니다.1. 우선 python이 설치되어 있어야 합니다. 2. pip 도구로 scapy를 설치합니다.C:\Users\jhaewon>pip install scapy Collecting scapy Downloading scapy-2.5.0.tar.gz (1.3 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━.. 공감수 0 댓글수 0 2024. 5. 10.
[NSX] What is "Transport Nodes" in NSX Manager UI? NSX Manager가 Cluster 구성 되어 있을 때, 각 NSX Manager별로 UI에서 Transport Node 수가 상이하게 보이는 현상이 있어 이에 대한 내용을 소개 합니다. [문제 증상]NSX Manager가 Three Node로 Cluster 구성된 상황에서 각 개별 NSX Manager에 직접 접속할 때 다음과 같이 Transport Node의 수가 Manager 별로 다르게 표현됩니다.실제로는 전체 Transport Node는 7개인 상황입니다. 1번 Manager : 4 2번 Manager : 3 3번 Manager : 0 [확인 내용]1. NSX Manager UI에서 Transport Nodes를 확인할 때 Browser 개발자 도구로 확인해보면 다음과 같은 API가 호출됩니다.. 공감수 0 댓글수 0 2024. 5. 9.
[NSX] High CPU 분석을 위한 perf tool 사용 방법 NSX의 중요 Component인 Edge Appliance의 경우 Ubuntu OS에 DPDK를 구현한 방식으로 구성되어 있습니다.이 Edge Appliance의 가장 중요한 프로세스는 datapathd 인데, 해당 프로세스가 Scheduling 되는 Core에서 High CPU Usage 현상이 발생하는 경우 Packet Drop등의 장애로 이어질 수 있습니다. 이런 경우, OS Troubleshooting 할 때와 동일하게 CPU Sampling이 필요합니다.제가 Microsoft 재직 시절, 동일한 Troubleshooting을 할 때는 Windows OS에서 Process Monitor나 Performance Toolkit(xperf)를 이용하여 CPU Sampling을 했었는데, Linux의 .. 공감수 0 댓글수 0 2024. 5. 2.
[NSX] Network Namespace in NSX Namespace 기술은 NSX에서도 사용됩니다.내부 LAB 환경에서 실제로 어떻게 구성되어 있고 이를 확인하는 방법을 알아보겠습니다. 우선 Network Namespace의 정의는 Wiki에 다음과 같이 기술되어 있습니다.https://en.wikipedia.org/wiki/Linux_namespacesNetwork (net)Network namespaces virtualize the network stack. On creation, a network namespace contains only a loopback interface.Each network interface (physical or virtual) is present in exactly 1 namespace and can be moved b.. 공감수 0 댓글수 1 2024. 4. 25.
[NSX] The number of current sessions of virtual server doesn't match with summation of current sessions across pool members. NSX에서 LB를 사용하는 환경에서 Connection이 종료되지 않은 상태에서 Virtual Server의 IP Address(VIP)나 Port를 변경하는 경우, Virtual Server에 남아 있는 Current Session 값이 초기화 되지 않는 현상이 있습니다. 현재 본 이슈는 Bug로 판명되어 Load Balancer 개발팀에서 Code를 Fix 중이며, Workaround로는 LB를 Hosting하는 Docker를 재시작 하기 위해서 Edge를 Maintenance Mode로 전환했다가 해제하는 방법을 가이드 드리고 있습니다. [Symptom] NSX Load Balancer에서 Virtual Server와 Pool에서 보이는 Current Session의 수는 동일한데, Pool 하위의.. 공감수 0 댓글수 0 2024. 4. 14.
Understanding of Address(Segmentation and Paging) 주소에는 다음과 같은 기준이 사용 Code Stack Data Code의 몇 번지, Data의 몇 번지가 정확한 표현 Code, Stack, Data 별로 별도의 영역이 지정 Program을 동작(해석)하는 역할은 CPU(Microprocessor)가 담당하며, 해석되는 항목 중 하나가 Address CPU 안에는 Address를 이해하기 위해서 몇 가지 Register가 위치 : CS(Code Segment), SS(Stack Segment), DS(Data Segment) Register Address 표현 할 때는 Segment Register를 반드시 활용해야 함 CS의 0x1234 offset, SS의 0x5678 offset과 같은 표현이 정확한 주소 표현 어떤 Segment는 정의한 후 Ba.. 공감수 0 댓글수 1 2024. 4. 7.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.