The Resource [NFS Datastore] is in use (unmount 불가)

증상

The resource [NFS Datastore] is in use.

Datastore Unmount 실행 시 해당 메시지를 vSphere Client에 송출하고 Datastore가 unmount 되지 않음

원인

평균적으로 vCLS VM이 NFS 데이터스토어에 쌓이는 경우 발생

해결방안

vCLS를 철회모드 (Retreat Mode)로 전환하여야 함

1. vSphere Client에 로그인
2. vCLS를 비활성화 하여야 하는 클러스터로 이동
3. 브라우저의 URL에서 Cluster Domain ID를 복사.
   브라우저의 URL에서 콜론 왼쪽에 있는 숫자를 복사하여야 함 domain-c(숫자)
   실제 보여지는 모양은 domain-c8:xxxxxxxxx 처럼 나오나 이중 domain-c8 만 카피하여야 함
4. vCenter Server 구성 탭으로 이동
5. 고급 설정에서 설정편집
6. 새 항목을 생성하여 config.vcls.clusters.domain-c(숫자).enabled를 추가, 숫자는 위에서 복사한 숫자 사용
7. 값을 False로 설정
8. 저장

vCLS 모니터링 서비스는 30초 간격으로 실행됩니다. 1분 내에 클러스터의 모든 vCLS VM이 정리되고 클러스터 서비스 상태가 성능 저하됨 으로 설정됩니다. 클러스터에 DRS가 활성화된 경우 작동이 중지되고 클러스터 요약에 추가 주의가 표시됩니다. DRS가 활성화되어 있더라도 vCLS가 철회 모드에서 제거되어 재구성될 때까지 DRS가 작동하지 않습니다.

vSphere HA는 호스트 장애 시나리오 동안 최적의 배치를 수행하지 않습니다. HA는 DRS에 따라 배치 권장 사항을 수행합니다. HA는 여전히 VM의 전원을 켤 수 있지만 이러한 VM의 전원이 덜 최적의 호스트에서 켜질 수 있습니다.

클러스터에서 철회 모드를 제거하려면 7단계의 값을 True로 변경합니다.

만약 위의 방법으로도 마운트 해제가 되지 않는 다면 강제 해제 필요

1. SSH를 통해 Datastore에 연결 가능한 ESXi로 접속
2. esxcli storage nfs list 명령으로 NFS 데이터스토어 이름 확인
3. SIOC 서비스 중지
   /etc/init.d/storageRM stop
4. 호스트 우클릭 > 스토리지 > 스토리지 다시검색 또는
   vmkfstools -V 를 이용하여 스토리지 다시 검색
5. 리스캔이 끝나면 SIOC 서비스 시작
   /etc/init.d/storageRM start
6. 커맨드를 통해 NFS 데이터스토어
   unmount esxcli storage nfs remove -v [NFS Datastore]
7. 실행 후 다음과 같은 error 메시지가 나오는지 확인
   Unable to complete Sysinfo operation. Please see the VMkernel log file for more details.: Sysinfo error: BusySee VMkernel log for details.
8. /var/log/vmkernel.log 에서 다음과 같은 error메시지가 나오는지 확인
   WARNING: NFS: 2104: NFS1 has open files, cannot be unmounted.

• 메시지가 나온다면 다음의 방법으로 해결
  1. 명령 입력하여 NFS마운트의 UUID 확인 후 복사 (하늘색 글자)
     vmkfstools -Ph -v10 /vmfs/volumes/NFS1
     
     NFS-1.00 (Raw Major Version: 0) file system spanning 1 partitions.
     File system label (if any): NFS1
     Mode: public
     Capacity 86.5 GB, 86.5 GB available, file block size 4 KB, max supported file size 16777216 TB
     Disk Block Size: 512/512/0
     UUID: 003e96eb-9f51034a-0000-000000000000
     Logical device: 192.168.10.120 /mnt/Prod/NFS1
     Partitions spanned (on "notDCS"):
                   nfs:003e96eb-9f51034a -----> UUID
     NAS VAAI Supported: NO
     Is Native Snapshot Capable: NO
     OBJLIB-LIB: ObjLib cleanup done.
     WORKER: asyncOps=0 maxActiveOps=0 maxPending=0 maxCompleted=0
     
     
  2. 리스트 된 UUID 값으로 다음의 명령
     lsof | grep **003e96eb-9f51034a**
     2101956 sh cwd -1
  3. 프로세스 Kill
     kill -9 2101956
  4. NFS 삭제됨

참고문헌

https://docs.vmware.com/kr/VMware-vSphere/7.0/com.vmware.vsphere.resmgmt.doc/GUID-F98C3C93-875D-4570-852B-37A38878CE0F.html

클러스터를 철회 모드로 전환

https://kb.vmware.com/s/article/2008507

Removing an inaccesible NFS datastore with SIOC enabled fails (2008507)