$ sudo apt-get update
$ sudo apt-get upgrade

$ sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target

BIOS 설정에서 C-state 제한을 걸어서 최대 절전모드를 진입하지 않도록 할 수도 있습니다. 이 경우 C1 ~ C3E 까지만 허용하고 이상의 상태조정은 제한하도록 하시면 됩니다.

만약 최대 절전모드를 다시 허용하려면 다음과 같이 할 수 있습니다.
$ sudo systemctl unmask sleep.target suspend.target hibernate.target hybrid-sleep.target

• 참고) BIOS 설정에서 C-state에 대하여 : Intel C-State Technology

처음 설치시 첫 등록한 관리자 계정에서 다음과 같이 실행합니다. (위 최대 절전모드 해제한 경우 기본적으로 불필요)

$ setterm --blink off --blank 0 --powersave off --powerdown 0 --store
$ sudo setterm --blink off --blank 0 --powersave off --powerdown 0 --store

• ntp daemon 설치

  $ sudo apt-get install ntp
  

• "/etc/ntp.conf" (Ubuntu 22.10 부터는 "/etc/ntpsec/ntp.conf") 에 하기 항목 추가/수정

  server 0.asia.pool.ntp.org
  server 1.asia.pool.ntp.org
  server 2.asia.pool.ntp.org
  server 3.asia.pool.ntp.org
  

• ntp daemon 을 재시작

  $ sudo systemctl restart ntp.service
  

• timezone 설정 (대한민국 시간대로 설정)

  $ sudo timedatectl set-timezone Asia/Seoul
  
  또는
  
  $ sudo dpkg-reconfigure tzdata
  

$ sudo systemctl get-default
graphical.target
$ sudo systemctl set-default multi-user.target
Created symlink /etc/systemd/system/default.target → /lib/systemd/system/multi-user.target.

• swap을 비활성화 (메모리가 충분히 큰 경우만)
  • "/etc/fstab" 에서 swap 설정부분을 모두 주석처리하고 "sudo swapoff -a" 명령으로 비활성화 합니다.
• swap 비율을 낮추는 설정 (메모리가 충분치는 않아서 swap을 비활성화하기 어려운 경우)
  • "/etc/sysctl.conf" 에 "vm.swappiness" 값을 50 ~ 60 사이로 추가합니다. 50에 가까울수록 swap 비율을 낮추게 됩니다. (필자는 55정도로 설정)
    • "/etc/sysctl.conf" 에 변경된 사항을 반영하기 위해서는 재부팅하거나 하기 명령을 실행해주면 반영됩니다.

      $ sudo sysctl -p
      

• ZRAM을 활성화 (메모리가 충분하지 않다면 활성화를 권장합니다. 필자 경험상으로는 메모리 사용률 확보와 함께 평균적인 응답성이 좋아지는 것 같습니다.)
  • 참고: ZRAM (압축메모리) 를 이용한 SWAP 확보 방법

    $ sudo apt-get install zram-config
    ...
    $ sudo systemctl start zram-config.service
    $ sudo cat /proc/swaps
    Filename                                Type            Size            Used            Priority
    /swap.img                               file            3907580         0               -2
    /dev/zram0                              partition       1953160         0               5
    

=> 만약 기존부터 운영하던 서버인 경우에는 설치 및 부팅에 문제가 발생할 가능성을 무시하기 어렵기 때문에 이 과정은 생략하세요.
=> !!! HWE Kernel이 의미하는 바를 잘 모르시겠다면 이 과정은 건너뛰세요.

=> Ubuntu 20.04 LTS 인 경우
$ sudo apt install --install-recommends linux-generic-hwe-20.04

=> Ubuntu 22.04 LTS 인 경우
$ sudo apt install --install-recommends linux-generic-hwe-22.04

=> 아래는 netplan 설정파일 예시입니다. (lan0 가 eth0를 bridge로 구성한 것입니다.)
=> 참고) SR-IOV 가 현재로써는 네트워크 처리 성능이 가상화 환경에서는 제일 좋은거 같습니다.
=> 참고) 이 밖에도 macvlan, VXLAN, Bonding, ... 등의 구성을 이해하는 것도 좋습니다.
$ cat /etc/netplan/50-cloud-init.yaml

# netplain config file
network:
    ethernets:
        eth0:
            optional: true
            dhcp4: false
            dhcp6: false
            accept-ra: false
#    wifis:
#        wlan0:
#            access-points:
#                <wireless ssid>:
#                    password: <my wireless passphase>
#            optional: true
#            dhcp4: false
#            dhcp6: false
#            accept-ra: false
    bridges:
        lan0:
            optional: true
#            macaddress: <bridge mac address>
            interfaces: [eth0]
            mtu: 1500
            parameters:
                stp: false
                forward-delay: 4
                hello-time: 2
                max-age: 20
            dhcp4: false
            dhcp6: false
            accept-ra: false
            addresses: [192.168.0.4/24]
            nameservers:
                addresses: [1.1.1.1,1.0.0.1,168.126.63.1,168.126.63.2,8.8.8.8,8.8.4.4]
            routes:
            - to: 0.0.0.0/0
              via: 192.168.0.254
              metric: 1
    version: 2

$ sudo apt-get remove --purge nano

• nano 편집기는 누구나 쉽게 사용하기에 좋은 편집기입니다. vim 또는 ed 편집기를 사용하기 어려우시면 nano 편집기를 사용하시는게 좋습니다.

$ sudo apt-get remove --purge vim-tiny
$ sudo apt-get install vim

• vim 편집기는 굉장히 많은 기능을 가지고 있습니다. vim tiny 패키지는 이 중에서 최소한의 사항만 필요하질 때 사용하는 것이고 vim 의 많은 기능을 다루실 수 있다면 vim tiny 보다는 vim 패키지가 유용합니다.

$ sudo apt-get remove --purge ed

• ed 패키지는 라인단위 편집기입니다.

$ sudo apt-get remove --purge cloud-init

• cloud 환경에서 각 환경에 맞는 기초 구성을 해주는 패키지입니다. 자신의 서버가 cloud 환경에서 구동한다면 제거하지 않으시는게 좋습니다.

$ sudo apt-get remove --purge unattended-upgrades

• 무시하기 어려운 보안 패키지 업그레이드등을 자동으로 해주는 패키지입니다. 하지만 업그레이드를 직접 자주 하실 때는 제거하셔도 괜찮습니다. 업그레이드에 신경을 안쓰신다면 지우지 않는게 좋습니다.

$ sudo apt-get remove --purge snapd

• snap 패키지를 사용하지 않으신다면 삭제하셔도 괜찮습니다.
• firefox 나 chromium-browser 등을 snap으로 설치하여 사용할 계획이시라면 삭제하지 마세요.

$ sudo apt-get remove --purge modemmanager

• 요즘 모뎀 쓰지 않으시므로 삭제를 권장합니다.

$ sudo apt-get remove --purge sane-utils colord

• 스캐너 기능을 사용하지 않으시면 불필요하므로 삭제합니다.

# 삭제는 권장하고 싶지는 않습니다. 주의가 필요합니다.
$ sudo apt-get remove --purge mdadm

또는

# 이 명령을 수행하고 물어보는 것을 모두 No 로 하시면 비활성화하게 됩니다. (이 명령에 의해서 "/etc/default/mdadm" 파일이 변경되고 initramfs이 갱신됩니다.)
$ sudo dpkg-reconfigure mdadm

$ sudo apt autoremove --purge

• KVM(libvirt) 와 QEMU 및 그에 종속적인 기본 패키지 설치
  • Ubuntu 배포판 버젼이 18.04 이하인 경우

    $ sudo apt-get install qemu-kvm libvirt-bin ovmf ubuntu-vm-builder bridge-utils
    

  • Ubuntu 배포판 버젼이 20.04 이상인 경우

    $ sudo apt install qemu-kvm ovmf bridge-utils libvirt-daemon-system
    

• openvswitch로 네트워크를 구성하고자 하는 경우 openvswitch-switch 를 설치 (선택사항)

  $ sudo apt install openvswitch-common openvswitch-switch
  

• 만약 TPM 모듈이 없고 TPM을 요구하는 Windows11등의 OS를 가상화 환경으로 설치하고 싶으신 경우 다음과 같이 swtpm-tools 를 설치하여 TPM을 에뮬레이션할 수 있도록 할 수 있습니다.

  $ sudo add-apt-repository ppa:stefanberger/swtpm-focal && sudo apt update              # 20.04 이하 버젼인 경우에만 필요
  
  $ sudo apt install swtpm-tools
  

• 추가적으로 ARM archtecture에 대한 에뮬레이션을 원하신다면 다음과 같이 추가로 QEMU arm 지원을 추가할 수 있습니다. (선택사항, Android나 Raspberry pi 등을 ARM archtecture 로 에뮬레이션하고 싶다면 설치하세요.)

  $ sudo apt install qemu-user-static qemu-system-arm qemu-efi-aarch64
  

  • 참고) 여기서 qemu-user-static 은 다른 아키텍쳐로 빌드된 실행파일들을 내 서버에서 실행할 수 있게 해주는 패키지입니다.
• 만약 OpenGL render 기반 가속기능을 사용할 계획이신 경우 libegl1 패키지를 설치합니다. (선택사항)

  $ sudo apt install libeql1
  

  • 그리고 사용하고자 하는 계정에 render 그룹 권한을 추가해줍니다.

    $ sudo adduser `id -un` render
    Adding user '<username>' to group 'render' ...
    

• 특정 계정에게 libvirt 사용권한을 할당하려면 다음과 같이 group에 userid 를 추가해줍니다. (만약 현재 로그인한 계정에서 추가했다면 다시 로그인해야 권한이 반영됩니다.)

  $ sudo adduser `id -un` libvirt
  Adding user '<username>' to group 'libvirt' ...
  

  • 예전 배포판의 경우 group 이 libvirt 가 아닌 libvirtd 일 수 있습니다. "/etc/group"에서 확인하여 해당하는 group 에 추가하여야 합니다.
• KVM + QEMU 설치 확인
  • Intel VT-x 와 AMD-V 중에서 H/W 가속이 지원 가능한 경우 0보다 큰 값이 출력됩니다.

    $ egrep -c '(vmx|svm)' /proc/cpuinfo
    

• KVM+QEMU 관리 UI 프로그램인 virt-manager 설치 (강력추천, 윈도우상의 "시스템" 메뉴에 보시면 "Virtual Machine Manager"가 설치되며 이를 실행하여 손쉽게 가상환경을 다루실 수 있습니다.)

  $ sudo apt-get install virt-manager
  

  • virt-manager 에서 원격지의 KVM+QEMU 서버를 SSH를 경유하여 관리하고자 한다면 하기와 같이 ssh-askpass-gnome package를 추가로 설치합니다.

    $ sudo apt-get install ssh-askpass-gnome
    

• 올바르게 설치되었다면 다음과 같이 나올겁니다.

  $ virsh list --all
   Id Name                 State
  ----------------------------------
  
  $
  

• 만약 설치에 문제가 있다면 다음과 비슷하게 나올겁니다.

  $ virsh list --all
  libvir: Remote error : Permission denied
  error: failed to connect to the hypervisor
  $
  

$ sudo apt-get install virtualbox

$ sudo apt-get install docker.io
$ sudo apt-get install docker-compose-v2

• 자신의 계정을 docker 사용 group에 추가하려면 다음과 같이 실행합니다.

  $ sudo usermod -a -G docker $(whoami)
  

• 참고) "/etc/docker/daemon.json" 을 적절히 아래와 같이 수정하여 firewalld/iptables 등을 고려할 필요가 있을 수 있음. (아래의 설정내용은 예시이며 각 환경에 따라서 전문적으로 수정할 필요성 있음)

  {
          "data-root": "/var/lib/docker",
          "bridge":"br0",
          "fixed-cidr":"192.168.0.240/29",
          "default-gateway":"192.168.0.254",
          "dns":["192.168.0.3","168.126.63.1","168.126.63.2"],
          "mtu":1500,
          "ipv6":false,
          "iptables":false,
          "ip-forward": false,
          "ip-masq": false
  }
  
  OR
  
  {
          "data-root": "/var/lib/docker",
          "bip": "198.18.1.1/24",
          "userland-proxy": false
  }
  
  OR
  
  {
          "data-root": "/var/lib/docker",
          "bip":"198.18.1.1/24",
          "iptables":false,
          "ip-forward":false,
          "ip-masq":false,
          "userland-proxy":true
  }
  
  OR
  
  {
          "data-root": "/var/lib/docker",
          "log-driver": "json-file",
          "log-opts": {
                  "max-size": "10m",
                  "max-file": "4",
                  "labels": "production_status",
                  "env": "os,customer"
          },
          "bip":"198.18.1.1/24",
          "iptables":false,
          "ip-forward":false,
          "ip-masq":false,
          "userland-proxy":true
  }
  

  • libvirt와 docker 를 함께 운영하는 경우 docker 의 daemon.json 에서는 iptables를 false 로 하고 userland-proxy를 true 로 하는게 필자 경험상 필요해보입니다.
• 추가적으로 multi architecture/platform docker build 환경 (docker buildx) 을 위해서 다음과 같이 추가적인 설치과정이 필요합니다. 결국 하기 명령은 docker 의 CLI plugin 으로 buildx 를 추가하는 것으로 이해하시면 됩니다. (선택사항)

  => Ubuntu 20.04 이전 버전인 경우
  $ DOCKER_BUILDKIT=1 docker build --platform=local -o . https://github.com/docker/buildx.git
  $ mkdir -p ~/.docker/cli-plugins
  $ mv buildx ~/.docker/cli-plugins/docker-buildx
  $ docker buildx create --use                                   /* 자세한 사용법은 'docker buildx create --help' 로 확인 후 적절히 추가 옵션을 주어 사용하실 수 있습니다. */
  
  => Ubuntu 22.04 이상 버전인 경우
  $ sudo apt install docker-buildx
  

  • docker buildx 가 일부 문제(bug)가 있을 경우 다음과 같은 조치가 되어야 할 수 있습니다. 이 명령은 default 대신 새로운 빌더를 추가하여 사용하게 되는 명령입니다. (선택사항, 특정 architecture/platform 빌드시에만 문제가 발생하는 경우 시도해볼만 합니다.)

    $ docker run --rm --privileged multiarch/qemu-user-static --reset -p yes
    $ docker buildx create --name multiarch --driver docker-container --use
    $ docker buildx inspect --bootstrap
    

  • docker buildx 로 Dockerfile 은 다음과 같이 build 및 push를 할 수 있습니다. (선택사항, 참고, platform은 자신의 구성환경 및 목표에 맞게 지정하여 빌드)

    $ docker buildx build --no-cache --push --platform linux/amd64,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/riscv64,linux/s390x --tag "<image-tag-name>" .
    

$ sudo apt install firewalld
$ sudo apt install dnsmasq
$ sudo systemctl enable --now firewalld
$ sudo systemctl restart libvirtd

• firewalld 의 firewall-cmd 명령에 대한 개략적인 사용법

  => forward 를 허용하려면 (최신 버젼에서 추가된 옵션) : firewall-cmd [--permanent] [--zone=<zone>] --add-forward
  => 특정 인터페이스를 zone 에 합류 시키려면 : firewall-cmd [--permanent] [--zone=<zone>] --add-interface=<interface-name>
  => 특정 서비스를 zone 에 허용하려면 : firewall-cmd [--permanent] [--zone=<zone>] --add-service=<service-name>
  => 특정 포트를 zone 에 허용하려면 : firewall-cmd [--permanent] [--zone=<zone>] --add-port=<portid>[-<portid>]/<protocol>
  => IKE/NAT-T 허용 : firewall-cmd [--permanent] [--zone=<zone>] --add-service=ipsec
  => IPSec policy (out) 에 따른 허용 : firewall-cmd [--permanent] --direct --add-rule ipv4 nat POSTROUTING 0 -m policy --dir out --pol ipsec -j ACCEPT
  => IPSec policy (in) 에 따른 MSS 조정 : firewall-cmd [--permanent] --direct --add-rule ipv4 mangle PREROUTING 0 -m policy --pol ipsec --dir in -p tcp -m tcp --tcp-flags SYN,RST SYN -m tcpmss --mss 1281:1536 -j TCPMSS --set-mss 1280
  => IPSec policy (out) 에 따른 MSS 조정 : firewall-cmd [--permanent] --direct --add-rule ipv4 mangle POSTROUTING 0 -m policy --pol ipsec --dir out -p tcp -m tcp --tcp-flags SYN,RST SYN -m tcpmss --mss 1281:1536 -j TCPMSS --set-mss 1280
  => IPSec 출발지 대역만 Masquerade : firewall-cmd [--permanent] --direct --add-rule ipv4 nat POSTROUTING 0 -s 192.168.0.0/24 -j MASQUERADE
  => IPSec 목적지 대역만 Masquerade : firewall-cmd [--permanent] --direct --add-rule ipv4 nat POSTROUTING 0 -d 192.168.0.0/24 -j MASQUERADE
  => ESP 프로토콜 허용 : firewall-cmd [--permanent] [--zone=<zone>] --add-rich-rule='rule protocol value="esp" accept'
  => AH 프로토콜 허용 : firewall-cmd [--permanent] [--zone=<zone>] --add-rich-rule='rule protocol value="ah" accept'
  => IPCOMP 프로토콜 허용 : firewall-cmd [--permanent] [--zone=<zone>] --add-rich-rule='rule protocol value="ipcomp" accept'
  => IPEncap 프로토콜 허용 : firewall-cmd [--permanent] [--zone=<zone>] --add-rich-rule='rule protocol value="ipencap" accept'
  => 특정 출발지 대역 거부 : firewall-cmd [--permanent] [--zone=<zone>] --add-rich-rule='rule family="ipv4" source address="<address>/<prefix>" drop'
  => 특정 목적지 대역 거부 : firewall-cmd [--permanent] [--zone=<zone>] --add-rich-rule='rule family="ipv4" destination address="<address>/<prefix>" drop'
  => 특정 목적지 대역과 포트를 거부 : firewall-cmd [--permanent] [--zone=<zone>] --add-rich-rule='rule family="ipv4" destination address="<address>/<prefix>" port="23" protocol="tcp" drop'
  => 특정 포트 개방 (DNAT) : firewall-cmd [--permanent] [--zone=<zone>] --add-forward-port='port=<portid>:proto=<protocol>:toport=<portid>:toaddr=<to-address>'
  => Masquerade 허용 : firewall-cmd [--permanent] [--zone=<zone>] --add-masquerade
  => 특정 출발지 대역만 masquerade : firewall-cmd [--permanent] [--zone=<zone>] --add-rich-rule='rule family="ipv4" source address="<address>/<prefix>" masquerade'
  => 기본 정책을 REJECT가 아닌 DROP으로 처리하는 경우 : firewall-cmd [--permanent] [--zone=<zone>] --add-rich-rule='rule priority="32767" drop'
  

• GeoIP DB를 사용하여 특정 국가별 차단등을 관리하고자 한다면 다음과 같이 설치 및 몇가지 제반사항을 진행해야 합니다. (선택적 권고사항, 참고링크(https://codepre.com/how-to-block-ip-addresses-from-countries-with-geoip-addon-in-iptables.html))
  • Ubuntu 배포판 버젼이 18.04 이하인 경우

    $ sudo apt install xtables-addons-common libtext-csv-xs-perl perl
    $ cd /usr/lib/xtables-addons/
    $ sudo ./xt_geoip_dl
    $ sudo mkdir -p /usr/share/xt_geoip/
    $ sudo cp -f /usr/lib/xtables-addons/dbip-country-lite.csv /usr/share/xt_geoip/
    $ cd /usr/share/xt_geoip/
    $ sudo perl /usr/lib/xtables-addons/xt_geoip_build dbip-country-lite.csv
    554102 entries total
    ...
    $ sudo rm -f /usr/share/xt_geoip/dbip-country-lite.csv
    

  • Ubuntu 배포판 버젼이 22.04 이상인 경우 (Ubuntu 22.04부터는 /usr/libexec/xtables-addons/ 경로로 변경되었습니다.)

    $ sudo apt install xtables-addons-common libtext-csv-xs-perl perl
    $ cd /usr/libexec/xtables-addons/
    $ sudo ./xt_geoip_dl
    $ sudo mkdir -p /usr/share/xt_geoip/
    $ sudo cp -f /usr/libexec/xtables-addons/dbip-country-lite.csv /usr/share/xt_geoip/
    $ cd /usr/share/xt_geoip/
    $ sudo perl /usr/libexec/xtables-addons/xt_geoip_build dbip-country-lite.csv
    554102 entries total
    ...
    $ sudo rm -f /usr/share/xt_geoip/dbip-country-lite.csv
    

  • firewalld 를 사용하는 경우 이제 다음과 같은 명령을 통해서 출발지 IP주소가 중국(CN), 러시아(RU), 북한(KP)에 속하는 경우 차단할 수 있습니다.

    $ sudo firewall-cmd --permanent --direct --add-rule ipv4 filter INPUT 0 -m geoip --src-cc CN,RU,KP -j DROP
    $ sudo firewall-cmd --reload
    $ sudo cat /etc/firewalld/direct.xml
    <?xml version="1.0" encoding="utf-8"?>
    <direct>
      <rule ipv="ipv4" table="filter" chain="INPUT" priority="0">-m geoip --src-cc CN,RU,KP -j DROP</rule>
    </direct>
    

• "/etc/default/grub" 파일을 편집기로 열어 GRUB_CMDLINE_LINUX_DEFAULT 항목을 다음과 같이 수정합니다.
  • Intel CPU 인 경우

    ...
    GRUB_CMDLINE_LINUX_DEFAULT="intel_iommu=on iommu=pt kvm.ignore_msrs=1 rd.driver.pre=vfio-pci vfio_iommu_type1.allow_unsafe_interrupts=1"
    ...
    

  • AMD CPU 인 경우

    ...
    GRUB_CMDLINE_LINUX_DEFAULT="amd_iommu=on iommu=pt kvm.ignore_msrs=1 rd.driver.pre=vfio-pci vfio_iommu_type1.allow_unsafe_interrupts=1"
    ...
    

  • 각 항목은 다음과 같은 의미를 가지고 있으며 자신의 환경에 맞는 옵션만 사용하시면 됩니다.
    • "intel_iommu=on" : Intel CPU 에서 IOMMU를 활성화 하는 기본 옵션입니다.
    • "amd_iommu=on" : AMD CPU 에서 IOMMU를 활성화 하는 기본 옵션입니다.
    • "iommu=pt" : 성능향상을 위한 좀더 세분화 옵션입니다.
    • "kvm.ignore_msrs=1" : KVM에서 MSR을 무시하는 옵션입니다.
      • 다음의 경로와 관련 있습니다. => "/sys/module/kvm/parameters/ignore_msrs"
    • "kvm.report_ignored_msrs=0" : KVM에서 MSR무시를 알리지 않는 옵션입니다.
      • 다음의 경로와 관련 있습니다. => "/sys/module/kvm/parameters/report_ignored_msrs"
    • "rd.driver.pre=vfio-pci" : ramdisk 로부터 vfio-pci module 을 올리도록 합니다. (Ubuntu 기반 배포판의 경우 꼭 추가해주어야 합니다.)
    • "vfio_iommu_type1.allow_unsafe_interrupts=1" : MSR 을 허용해주는 것으로 우선 이 옵션을 빼고 해보시고 MSR관련 오류가 나온다면 이 옵션을 추가해주시면 됩니다. (단, 이 옵션은 실행하는 가상호스트가 신뢰할 수 있을 때만 사용하셔야 합니다. 신뢰할 수 없는 가상호스트인 경우 이 옵션을 사용하지 않는게 좋습니다.)
• 편집완료된 "/etc/default/grub" 설정파일을 다음과 같이 실행하여 반영합니다.

  $ sudo update-grub
  

  • 또는 다음의 명령도 동일한 명령입니다.

    sudo grub-mkconfig -o /boot/grub/grub.cfg
    

• 만약 주 화면과 passthrough 할 그래픽 카드가 동일한 드라이버를 사용한다면 이 과정에 주의가 필요합니다.
• SR-IOV Network 카드의 경우는 이 과정이 필요 없습니다.
• nVidia 그래픽/비디오 카드의 경우 다음과 같이 blacklist 로 nouveau 드라이버를 지정하여 로드되지 않도록 할 수 있습니다.
  • "/etc/modprobe.d/blacklist-nouveau.conf" 파일을 만들고 다음과 같이 편집하여 저장합니다.

    blacklist nouveau
    options nouveau modeset=0
    

$ sudo lspci -nnk
...
<bus> <name> [<ID>]
...

• nVidia Quadro FX1800 그래픽 카드인 경우 PCI ID가 "10de:0638"(VGA) 인것을 확인할 수 있습니다.

  $ sudo lspci -nnk
  ...
  07:00.0 VGA compatible controller [0300]: NVIDIA Corporation G94GL [Quadro FX 1800] [10de:0638] (rev a1)
  ...
  

• nVidia GT730 그래픽 카드인 경우 PCI ID가 "10de:1287"(VGA)과 "10de:0e0f"(Audio) 인것을 확인할 수 있습니다.

  $ sudo lspci -nnk
  ...
  07:00.0 VGA compatible controller [0300]: NVIDIA Corporation GK208B [GeForce GT 730] [10de:1287] (rev a1)
  ...
  07:00.1 Audio device [0403]: NVIDIA Corporation GK208 HDMI/DP Audio Controller [10de:0e0f] (rev a1)
  ...
  

• nVidia GT1030 그래픽 카드인 경우 PCI ID가 "10de:1d01"(VGA)과 "10de:0fb8"(Audio) 인것을 확인할 수 있습니다.

  $ sudo lspci -nnk
  ...
  07:00.0 VGA compatible controller [0300]: NVIDIA Corporation GP108 [GeForce GT 1030] [10de:1d01] (rev a1)
  ...
  07:00.1 Audio device [0403]: NVIDIA Corporation GP108 High Definition Audio Controller [10de:0fb8] (rev a1)
  ...
  

options vfio-pci ids=<ID>[,<...>]
#options vfio-pci disable_vga=1

• nVidia Quadro FX1800 그래픽 카드인 경우

  options vfio-pci ids=10de:0638
  options vfio-pci disable_vga=1
  

• nVidia GT730 그래픽 카드인 경우

  options vfio-pci ids=10de:1287,10de:0e0f
  options vfio-pci disable_vga=1
  

• nVidia GT1030 그래픽 카드인 경우

  options vfio-pci ids=10de:1d01,10de:0fb8
  options vfio-pci disable_vga=1
  

$ sudo update-initramfs -u

$ sudo reboot

$ sudo dmesg | grep -i -e DMAR -e IOMMU             # 또는 => sudo dmesg | grep -E "DMAR|IOMMU" 
[    0.016937] ACPI: DMAR 0x00000000BF77E0C0 000110 (v01 AMI    OEMDMAR  00000001 MSFT 00000097)
[    0.017009] ACPI: Reserving DMAR table memory at [mem 0xbf77e0c0-0xbf77e1cf]
[    0.217765] DMAR: IOMMU enabled
[    0.462452] DMAR-IR: This system BIOS has enabled interrupt remapping
[    0.897740] DMAR: Host address width 40
[    0.897744] DMAR: DRHD base: 0x000000fbffe000 flags: 0x1
[    0.897755] DMAR: dmar0: reg_base_addr fbffe000 ver 1:0 cap c90780106f0462 ecap f020f6
[    0.897760] DMAR: RMRR base: 0x000000000ed000 end: 0x000000000effff
[    0.897763] DMAR: RMRR base: 0x000000bf7ed000 end: 0x000000bf7fffff
[    0.897766] DMAR: ATSR flags: 0x0
[    0.897788] DMAR: No SATC found
[    0.897796] DMAR: dmar0: Using Queued invalidation
[    0.907806] DMAR: Intel(R) Virtualization Technology for Directed I/O
...

$ sudo dmesg | grep -i vfio 
[    8.015119] VFIO - User Level meta-driver version: 0.3
[    8.034941] vfio-pci 0000:07:00.0: vgaarb: changed VGA decodes: olddecodes=io+mem,decodes=io+mem:owns=none
[    8.052303] vfio_pci: add [10de:0638[ffff:ffff]] class 0x000000/00000000
[  567.518237] vfio-pci 0000:07:00.0: enabling device (0140 -> 0143)
[127997.152879] vfio-pci 0000:07:00.0: enabling device (0400 -> 0403)

[PNG image (210.02 KB)]

• passthrough 로 Windows 가상머신 장치관리자에 해당 장치가 보이게 됩니다.
  

  [PNG image (24.75 KB)]

$ qemu-img --help |grep "Supported formats"
Supported formats: blkdebug blkreplay blkverify bochs cloop dmg file ftp ftps host_cdrom host_device http https iscsi iser luks nbd null-aio null-co parallels qcow qcow2 qed quorum raw rbd replication sheepdog throttle vdi vhdx vmdk vpc vvfat

$ virsh --help

$ virsh list --all
 Id    Name                           State
----------------------------------------------------
 -     Windows                        shut off
...

$ virsh start [--console] <Name>
$ virsh shutdown <Name>
$ virsh destroy <Name>
$ virsh reboot <Name>

$ virsh console <Name>
...
=> ^] (Ctrl+']') 키를 누르면 Attach된 console에서 빠져나올 수 있습니다.

• UEFI(Universal Extensible Firmware Interface) 방식의 부팅 설치를 할 것인지 CSM(Compatibliity Support Module) 방식의 부팅 설치를 할 것인지에 따라서 USB 이미지를 만드는 방법 및 BIOS 설정 등에서 차이가 있습니다.

• UEFI(Universal Extensible Firmware Interface, 최신 부팅 방식) 방식의 USB 부팅 디스크
  • 파티션은 GPT(GUID Partition Table) 형식을 선택합니다. (참고: 파티션의 이해)
  • 파일시스템 포맷은 지원 가능한 아무거나 선택할 수 있으나 편의상 FAT(권장) 또는 FAT32를 선택합니다.
  • 아주 옛날 하드웨어인 경우 UEFI 부팅을 지원하지 않을 수 있습니다만 요즘은 거의 지원합니다.
    • BIOS설정에서 UEFI 관련 항목을 활성화 해주셔야 합니다.
• CSM(Compatibliity Support Module, 예전 부팅 방식) 방식의 USB 부팅 디스크
  • 파티션은 MBR(Master Boot Record) 형식을 선택합니다. (참고: 파티션의 이해)
  • 파일시스템 포맷은 FAT(권장) 또는 FAT32를 선택합니다.
• USB 부팅 디스크를 만든 후 해당 USB 디스크 드라이브에서 *.cfg (grub.cfg, isolinux.cfg, txt.cfg, syslinux.cfg) 등을 찾아 Kernel boot parameter 로 'vga=normal console=tty0 console=ttyS0,115200n8' 이 되도록 적절한 수정을 하고 저장합니다.
  • UEFI 방식의 경우는 grub.cfg 만 찾아서 수정하시면 됩니다.
  • 중요한 것은 USB 부팅 디스크로 부팅시에 Linux kernel의 boot parameter 로 'console=ttyS0,115200n8' 가 주어지도록 하는게 핵심입니다.
    • syslinux 기반의 경우 syslinux.cfg 에서 'SERIAL 0 115200 0'가 추가되어야 합니다.
  • 참고) How to install Ubuntu using serial console(https://github.com/ynkjm/ubuntu-serial-install) (내용이 최신 배포판과는 다소 다를 수 있으나 맥락은 동일합니다.)
    • isolinux/txt.cfg

      default install
      label install
        menu label ^Install Ubuntu Server
        kernel /install/vmlinuz
        append vga=normal initrd=/install/initrd.gz -- console=tty0 console=ttyS0,115200n8 nosplash debug -
      

    • syslinux.cfg

      CONSOLE 0
      SERIAL 0 115200 0
      
      default menu.c32
      prompt 0
      menu title UNetbootin
      timeout 100
      
      label unetbootindefault
      kernel /ubnkern
      append vga=normal initrd=/ubninit nomodeset askmethod console=tty0 console=ttyS0,115200n8
      

    • boot/grub/grub.cfg

      menuentry "Install Ubuntu Server" {
          set gfxpayload=keep
          linux   /install/vmlinuz  file=/cdrom/preseed/ubuntu-server.seed vga=normal console=tty0 console=ttyS0,115200n8 ---
          initrd  /install/initrd.gz
          }
      

$ cat /etc/modprobe.d/kvm.conf
options kvm_intel nested=Y