Unable to deploy telegraf agent remotely

 

Aria Operations를 사용하시는 경우 telegraf agent를 개별 VM에 설치하시어 보다 자세한 정보들을 수집할 수가 있습니다.

오늘은 telegraf agent를 Horizon VDI 구성 요소 중 하나인 UAG VM에 설치할 때 실패하는 현상에 대해서 알아보겠습니다.

 

[구성 환경]
Aria Operations
3 Cloud Proxies
UAG / euc-unified-access-gateway-v22.12.0.0-21063638

 

[문제 증상]

Aria Operations에서 UAG Virtual Machine을 대상으로 telegraf agent 설치 시도 시 실패

 

[진행 내역]

1. telegraf agent를 수동으로 설치 시도 시 정상적으로 Agent 연결 가능

https://docs.vmware.com/en/VMware-Aria-Operations/8.12/Configuring-Operations/GUID-BE255718-AFA2-4EC1-BFEA-50DF01B4CD6C.html

 

수동 설치 시 가장 주안점으로 두어야 할 것은 Guest OS에서 Cloud Proxy로부터 telegraf agent 설치 스크립트인 telegraf-utils.sh 파일을 정상적으로 다운로드 가능한지임

# wget --no-check-certificate https://<CloudProxy>/downloads/salt/telegraf-utils.sh

다운로드가 정상적으로 되지 않는 경우 Guest OS와 Cloud Proxy간 필요 포트 오픈 여부 확인 필수

timeout 10 bash -c "</dev/tcp/{cloudproxy_fqdn_or_virtual_IP}/4505" echo $?   timeout 10 bash -c "</dev/tcp/{cloudproxy_fqdn_or_virtual_IP}/4506" echo $?   timeout 10 bash -c "</dev/tcp/{cloudproxy_fqdn_or_virtual_IP}/443" echo $?

 

또한, UAG Appliance VM의 경우에는 아래 명령어를 반드시 실행해서 /tmp 디렉토리에 필요한 권한을 부여해야 함

# mount -o remount,exec /tmp

 

2. 수동으로 telegraf agent 다운로드 및 설치를 확인하였기 때문에, 원격으로 설치 시 어떤 오류가 발생하는지 확인 필요

우선, Cloud Proxy에 등록된 Application Management Pack의 Adapter 로그를 확인

# /storage/log/vcops/log/adapters/APPOSUCPAdapter/APPOSUCPAdapter_<adapter id>.log 파일에서 telegraf agent 설치 시 다음과 같은 오류 확인

 

"com.vmware.ucp.util.guestoperations.exec.GuestOperationsExecutor.error - Failed to connect to vCenter"

 

즉, telegraf agent 설치 요청 시 Application Management Pack의 Adapter가 vCenter에 연결하는데 실패하기 때문에 telegraf agent 설치 작업이 실패하는 것으로 확인

 

보다 자세한 Log 확인을 위해서 Application Management Pack의 Adapter 로그의 수준을 올린 후 동일하게 테스트

Administration > Support Logs > telegraf agent를 배포하는 Cloud Proxy > COLLECTOR > Gear 버튼 클릭

 

 

기존에 확인한 오류 메시지의 Package가 com.vmware.ucp.util.guestoperations.exec.GuestOperationsExecutor.error 이므로 com.vmware.ucp를 이용하여 로그 레벨 조정

 

 

위와 같이 로그 레벨을 설정한 후에 다시 동일하게 원격에서 telegraf agent 설치 시도 후 adapter 로그 확인

# /storage/log/vcops/log/adapters/APPOSUCPAdapter/APPOSUCPAdapter_<adapter id>.log 로그 확인 시, SSL 관련 Exception Call Stack 확인

 

 

최근에 UAG Virtual Machine이 위치한 vCenter의 MACHINE_SSL 인증서가 갱신되었기 때문에 이 부분을 의심하고, adapter의 연결성 검증을 통해 adapter가 가지고 있는 vCenter 인증서 정보 갱신 시도

 

 

위와 같이 adapter가 가지고 있는 vCenter 관련 인증서 정보가 갱신된 후에 telegraf agent 설치 시도 시 정상적으로 설치되는 것으로 확인

 

※ 참고로, 원격으로 UAG에 telegraf agent를 설치하는 경우에도 수동으로 설치할 때와 마찬가지로 사전에 아래 명령어로 /tmp 디렉토리에 권한 추가가 반드시 필요

# mount -o remount,exec /tmp

 

 

[참고 자료]

Telegraf Installation for UAG Servers With Version 21 and Above Fails

https://docs.vmware.com/en/Management-Packs-for-vRealize-Operations/2.5.1/Horizon/GUID-6DCCF557-3FEF-41A3-A0AB-9F5317025A8B.html

 

Communication with Cloud Proxy and End Point VMs

https://docs.vmware.com/en/VMware-Aria-Operations/SaaS/Configuring-Operations/GUID-481DF98A-203C-415A-BD02-E816C8334408.html