[Ubuntu 22.04.3 Server LTS] QEMU/KVM passthrough & 중첩 가상화

 

 

 

[한빛미디어]이것이 우분투 리눅스다 : 우분투 리눅스 설치부터 네트워크와 서버 구축 운영까지

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

 

 

 

🚀 QEMU/KVM passthrough & 중첩 가상화

    🔽 개요

        📦 소개

이번에 해 볼 작업은 현재 사용중인 호스트 서버 우분투의 가상화 기능을 가상 머신에도 부여하고, 그래픽 카드도 사용할 수 있도록 작업해 보려고 해요.

QEMU/KVM Passthrough는 호스트 시스템의 하드웨어 자원을 가상 머신에 직접 할당하는 기술이에요.
이것은 주로 가상 머신에서 가상화된 하드웨어 대신 실제 하드웨어를 사용하려는 경우에 사용되고 있어요.
주니와 같이 주로 그래픽 카드(GPU)와 네트워크 어뎁터, 오디오, 미디어 장치 등에 대한 Passthrought가 많이 사용되고 있어요.

참고로 Passthrough을 사용하면 해당 PCI 장치를 서버에서 사용하는 것이 아니고, 가상 머신에서 이 장치를 단독으로 사용할 수 있게 해 주는 것이에요. (PCI 장치를 가상화 호스트에 PIC 장치로 인식하고, 단독으로 사용.)

해당 기능을 사용하면 어떤 점이 좋을까요?

- 고성능 그래픽 가상화: 가상 머신에서 게임 또는 그래픽 인텐시브한 응용 프로그램을 실행할 때, GPU Passthrough를 사용하면 높은 성능을 얻을 수 있음.

- 접근성 및 호환성: 특정 하드웨어 장치의 드라이버 지원을 활용하고, 호스트와 가상 머신 간의 높은 호환성 제공.

- 접근 제어: 특정 가상 머신에만 특정 하드웨어를 할당할 수 있기 때문에 자원 간 충돌을 방지하고, 보안 강화.

- 특별한 사용 사례: 게임 가상화, GPU 가속 머신 러닝, 그래픽 디자인 작업 등과 같은 특수한 사용 사례에서 유용.

 

그렇다면 중첩 가상화(Nested Virtualizaion)은 무엇일까요?

중첩 가상화는 가상 머신 내부에서 또 다른 가상 머신을 실행하는 기술을 말해요. 즉, 가상 머신 내부에서 가상화 솔루션을 사용하여 또 다른 가상 머신을 호스팅하는 것을 말한답니다. 이것은 보통 가상 머신 내부에서 Hypervisor(하이퍼바이저)를 실행하는 경우에 사용하고 있어요.

그렇다면 어떤 특 장점을 가지고 있을까요?

- 테스트 및 개발 환경: 중첩 가상화는 가상 머신 개발 및 테스트 환경에서 유용. 가상 머신 내부에서 또 다른 가상 머신을 실행하여 소프트웨어를 안전하게 테스트하고, 개발할 수 있음.

- 서버 가상화 테스트: 중첩 가상화를 사용하면 서버 가상화 환경을 테스트하고, 다양한 가상 머신 상황을 시뮬레이션 할 수 있음.

- 자원 격리: 중첩 가상화를 사용하면 여러 가상 환경을 격리하고, 독립적으로 관리.

다만, 주의할 점은 중첩 가상화가 일반적으로 높은 성능을 요구하지 않고, 호스트 시스템의 하드웨어 및 하이퍼바이저에 따라 지원 여부가 달라질 수 있어요. 일부 하이퍼바이저와 하드웨어 조합에서는 중첩 가상화를 사용할 수 없을 수도 있어요.

정리하자면 QEMU/KVM Passthrough는 실제 하드웨어 자원을 가상 머신에 할당하는 기술이고, 중첩 가상화는 가상 머신 내에서 또 다른 가상 머신을 실행하는 기술이에요.

주니는 이를 통해 이 전에 만들었던 윈도우 10에 해당 기술을 할당하고, 블루 스택 (GPU 및 가상화 기능 필요)을 사용할 수 있도록 구성해 보려고 해요.

 

 

    🔽 KVM - Passthrough

        📦 구성

최초 이 기능을 사용하기 위해서는 BIOS 설정에서 VT-d (Intel) 혹은 AMD IOMMU (AMD) 관련 Option을 Enable(활성)해 주어야 해요.

최초 우분투 호스트 서버에서 Kernel(커널) Boot(부트) Parameter(파라미터)에 IOMMU를 활성화 하도록 grub 설정 파일을 수정하도록 할게요.

cp /etc/default/grub /etc/default/grud.back

먼저 위와 같이 설정 파일을 백업해 두었어요.

위 명령어를 통해 PCI ID를 확인해 줄 수 있어요.
위에서 PCI ID는 10de:24c9와 10de:228b에요.

vim /etc/default/grub 변경 전

위 설정 파일에서 10번째 줄을 손 봐주려고 해요.

vim /etc/default/grub 변경 뒤

주니는 Intel CPU이기 때문에 위와 같이 변경해 주었어요.

 

 

update-grub

위 명령어를 이용하여 수정한 /etc/default/grub 설정 파일을 실행하여 반영해 주었어요.

grub-mkconfig -o /boot/grub/grub.cfg

또는 위의 명령어를 사용할 수도 있어요.

 

sh -c 'echo "blacklist nvidia" >> /etc/modprobe.d/blacklist.conf'
sh -c 'echo "blacklist nvidia_uvm" >> /etc/modprobe.d/blacklist.conf'
sh -c 'echo "blacklist nvidia_drm" >> /etc/modprobe.d/blacklist.conf'
sh -c 'echo "blacklist nvidia_modeset" >> /etc/modprobe.d/blacklist.conf'
sh -c 'echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf'

그런 뒤 위 명령어로 호스트 서버에서 nVidia Driver를 Disable(비활성화) 해 주었어요.
참고로 이렇게 하면 호스트 서버에서는 그래픽 카드를 사용할 수 없게 돼요.

 

여기까지 한 뒤 서버 재부팅을 진행해 주었어요.

 

lspci -nnk

위 명령어로 PCI 장치 중 Passthrough 할 장치의 ID를 확인해 주어야 해요.

주니가 Passthrough할 nVidia RTX 3060 Ti는 위와 같이 PCI ID가 10de:24c9(VGA)이고, 10de:228b(Audio) 인 것을 확인할 수 있어요.

 

vim /etc/modprobe.d/vfio.conf

 

options vfio-pci ids=10de:24c9,10de:228b
softdep nvidia pre: vfio-pci

반응형

그런 뒤 위와 같이 vfio.conf를 만들고, 위와 같이 내용을 입력해 주었어요.
(PCI ID가 여러개인 경우 콤마(,)로 구분하여 입력)

 

update-initramfs -u

위 명령어를 통해 initramfs 갱신을 해 주었어요.
만약 부팅에서 initramfs 기반 배포판이 아니거나, 우분투가 아닌 경우 이 과정은 다소 다를 수 있어요.

여기까지 되었으면 서버를 재부팅해 주어야 해요.

 

echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf

위와 같이 vfio에서 디바이스를 처리하지 않는 경우 안전하지 않은 구성/중단을 허용해야 할 수 있어요.

 

 

 

 

    🔽 QEMU/KVM 가상 머신 관리자

        📦 Use virtual machine GPU Config

이제 가상 머신 관리자를 통해 이 전에 만든 윈도우 10 가상 머신에 GPU를 인식 시켜 볼게요.

최초 가상 머신 설정 화면에서 맨 밑에 Add Hardware를 눌러줄거에요.

PCI Host Device -> NVIDIA ...

그리고 위와 같이 GPU 장치를 찾아 선택한 뒤 Finish를 눌러줄게요.

그럼 위와 같이 PCI 장치가 추가 되는 걸 확인할 수 있어요.

가상 머신을 켜고, 확인해 본 결과 위와 같이 그래픽 카드가 추가된 걸 확인할 수 있어요.

 

 

    🔽 KVM - Nested Virtualizaion

        📦 구성

이번엔 중첩 가상화에 대한 구성을 해볼게요.
중첩 가상화는 하드웨어 가상화를 제공하는 대부분의 최신 프로세서 제품군에서 지원하고 있어요.
CPU 아키텍처가 Intel인지 AMD인지에 따라 cat 명령을 사용하여 하이퍼바이저에서 중첩이 이미 활성화 되었는지 확인할 수 있어요.

cat /sys/module/kvm_intel/parameters/nested

주니의 서버 CPU는 Intel 계열이라 위와 같이 명령어를 입력해 주었어요.
만약 AMD 계열이라면 아래 명령어를 사용할 수 있어요.

cat /sys/module/kvm_amd/parameters/nested

 

위와 같이 명령어 결과는 Y 혹은 N으로 출력되고, Y가 표시되면 준비가 되었다는 의미이고,
이미 중첩 가상화 준비가 끝났다는 걸 의미해요.

하지만, N이라면 KVM 커널 모듈을 통해 중첩 가상화를 활성화해 주어야 해요.

중첩된 KVM 가상화를 활성화하는 방법

설정 방법은 위 방법을 따라해보면 좋을 거 같아요.

virsh edit <가상 머신 이름>

그런 뒤 가상 머신 속성을 손 봐줘야 하는데, 26번재 줄에 CPU 라고 되어 있는 Tag 부분에
주니처럼 host-passthrough이라고 변경해주어야 해요.

 

 

 

 

우분투 리눅스 : 시스템 & 네트워크

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

 

 

 

 

 

🧐 참고 자료

GitHub - lateralblast/kvm-nvidia-passthrough: Nvidia GPGPU Pass-Through with KVM