基于QEMU-aarch64学习UEFI(EDK2)-2安装操作系统
二、基于qemu固件安装操作系统
1、virt-manager安装
UEFI固件编译完成后，我们使用qemu-system-aarch64程序，手动输入命令运行了QEMU_EFI.fd固件，其实就是相当于创建了一个虚拟机，因为qemu-system-aarch64收到输命令创建设备麻烦，现在我们使用virt-manager调用我们的QEMU_EFI.fd固件，安装aarch64的操作系统。
如果没有安装virt-manager，可以通过命令安装软件，sudo apt install virt-manager。
安装完成后运行程序。
2、创建虚拟机
我们创建一个虚拟机，可以看到调用的两个固件路径分别是/usr/share/AAVMF/AAVMF_CODE.fd和/var/lib/libvirt/qemu/nvram/centos8-aarch64_VARS.fd。
我们把这个固件重命名一下是无法打开的，所以我们可以确定是该固件。
接着我们先用默认的固件测试安装操作系统，这里以openEuler-22.03测试。
openEuler安装过程内存较小，启动很慢。内存设置4G大小，重新安装可以进入安装界面。
我们换Ubuntu22.04安装。
设置用户名密码
安装完成后，可以进入系统且登录：
lspci查看设备，
dmidecode -t0查看bios信息，是2015年的。
2.1 Ubuntu系统开机等待时间长问题解决
安装Ubuntu22.04会卡在systemd-networkd-wait-online服务超时这里，等待2分多钟，我们进入系统修改一下超时时间。
sudo systemctl edit systemd-networkd-wait-online.service
#输入
[Service]
TimeoutStartSec=3
保存后会在下面这个路径生成一个override.conf文件。
然后重启，即可解决。
3、virt-manager日常使用
虚拟机创建完成，我们日常使用，可以通过virsh来开启关闭虚拟机。
我们关闭虚拟机后，可以通过sudo virsh list --all命令查看所有虚拟机。
然后开机命令是：sudo virsh start centos8-aarch64
连接虚拟机：sudo virsh console centos8-aarch64
ctrl+]退出
开机的时候连接虚拟机：sudo virsh start centos8-aarch64 --console
4、更换虚拟机固件
虚拟机创建完成后，我们可以正常进入系统，下面更换我们自己的固件。
sudo virsh edit centos8-aarch64
打开配置文件把pflash修改一下。
修改为：
然后重启虚拟机。
sudo virsh start centos8-aarch64 --console
发现直接替换报错，记录了大小。
4.1、修改固件大小
修改固件大小，参考
https://blog.csdn.net/weixin_42758299/article/details/115460776
$sudo qemu-img info /work/study/uefistudy/edk2-202211/Build/ArmVirtQemu-AARCH64/DEBUG_GCC5/FV/QEMU_EFI.fd
image: /work/study/uefistudy/edk2-202211/Build/ArmVirtQemu-AARCH64/DEBUG_GCC5/FV/QEMU_EFI.fd
file format: raw
virtual size: 2 MiB (2097152 bytes)
disk size: 2 MiB
$ qemu-img resize -f raw /work/study/uefistudy/edk2-202211/Build/ArmVirtQemu-AARCH64/DEBUG_GCC5/FV/QEMU_EFI.fd 64M
Image resized.
$
可以看到虚拟大小变为了64M，我们再启动虚拟机。
sudo virsh start centos8-aarch64 --console
可以看到程序已经在运行了，这个是我们的应用程序，因为前面太快，没有输出bios阶段的信息，重启就会发现是我们的UEFI程序。
但是这样感觉不方便，还是得回去研究qemu-system-aarch64命令启动速度快方便调试。
5、virt-manager转为qemu命令启动虚拟机
因为我最开始尝试用qemu命令自己创建虚拟机，结果发现无法引导系统，才采用virt-manager方式管理，现在反过来我把virt-manager的虚拟机配置文件转换为qemu命令看看。
首先查看我们的虚拟机，命令sudo virsh list
看到我们的虚拟机名称为“centos8-aarch64”，这就是上面我们创建的虚拟机名称。
接着我们把这个虚拟机的xml文件导出，使用命令：sudo virsh dumpxml centos8-aarch64 > centos8-aarch64.xml
最后我们把xml文件转为qemu参数，命令：sudo virsh domxml-to-native qemu-argv centos8-aarch64.xml
结果发现命令很多参数，如果嫌麻烦可以继续使用virt-manager管理。
经过研究，可以引导系统的命令如下：
sudo qemu-system-aarch64 \
-blockdev '{"driver":"file","filename":"/usr/share/AAVMF/AAVMF_CODE.fd","node-name":"libvirt-pflash0-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-pflash0-format","read-only":true,"driver":"raw","file":"libvirt-pflash0-storage"}' \
-blockdev '{"driver":"file","filename":"/var/lib/libvirt/qemu/nvram/centos8-aarch64_VARS.fd","node-name":"libvirt-pflash1-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-pflash1-format","read-only":false,"driver":"raw","file":"libvirt-pflash1-storage"}' \
-machine virt-4.2,accel=tcg,usb=off,dump-guest-core=off,gic-version=2,pflash0=libvirt-pflash0-format,pflash1=libvirt-pflash1-format \
-cpu cortex-a57 -m 1536 -overcommit mem-lock=off -smp 2,sockets=2,cores=1,threads=1 -uuid f02ab96c-f3ba-4b0c-8bc6-e29598906c1c \
-display none -no-user-config -nodefaults \
-rtc base=utc -no-shutdown -boot strict=on \
-device pcie-root-port,port=0x8,chassis=1,id=pci.1,bus=pcie.0,multifunction=on,addr=0x1 \
-device pcie-root-port,port=0x9,chassis=2,id=pci.2,bus=pcie.0,addr=0x1.0x1 \
-device pcie-root-port,port=0xa,chassis=3,id=pci.3,bus=pcie.0,addr=0x1.0x2 \
-device pcie-root-port,port=0xb,chassis=4,id=pci.4,bus=pcie.0,addr=0x1.0x3 \
-device pcie-root-port,port=0xc,chassis=5,id=pci.5,bus=pcie.0,addr=0x1.0x4 \
-device pcie-root-port,port=0xd,chassis=6,id=pci.6,bus=pcie.0,addr=0x1.0x5 \
-device pcie-root-port,port=0xe,chassis=7,id=pci.7,bus=pcie.0,addr=0x1.0x6 \
-device pcie-root-port,port=0xf,chassis=8,id=pci.8,bus=pcie.0,addr=0x1.0x7 \
-device pcie-root-port,port=0x10,chassis=9,id=pci.9,bus=pcie.0,addr=0x2 \
-device pcie-pci-bridge,id=pci.10,bus=pci.8,addr=0x0 \
-device qemu-xhci,p2=15,p3=15,id=usb,bus=pci.2,addr=0x0 \
-device virtio-scsi-pci,id=scsi0,bus=pci.3,addr=0x0 \
-device virtio-serial-pci,id=virtio-serial0,bus=pci.4,addr=0x0 \
-blockdev '{"driver":"file","filename":"/work/study/uefistudy/arm64-os.img","node-name":"libvirt-2-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-2-format","read-only":false,"driver":"qcow2","file":"libvirt-2-storage","backing":null}' \
-device virtio-blk-pci,scsi=off,bus=pci.5,addr=0x0,drive=libvirt-2-format,id=virtio-disk0,bootindex=1 \
-blockdev '{"driver":"file","filename":"/work/jammy-live-server-arm64.iso","node-name":"libvirt-1-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-1-format","read-only":true,"driver":"raw","file":"libvirt-1-storage"}' \
-device scsi-cd,bus=scsi0.0,channel=0,scsi-id=0,lun=0,device_id=drive-scsi0-0-0-0,drive=libvirt-1-format,id=scsi0-0-0-0 \
-device virtio-gpu-pci,id=video0,bus=pci.10,addr=0x1 \
-device virtio-balloon-pci,id=balloon0,bus=pci.6,addr=0x0 \
-msg timestamp=on \
-serial stdio \
这里需要修改的有操作系统镜像位置、硬盘位置，即qemu-img create -f qcow2 arm64-os.img 20G命令创建的文件。
安装完成系统后的arm64-os.img大小如下：
5.1 精简启动命令
sudo qemu-system-aarch64 -name guest=centos8-aarch64,debug-threads=on \
-blockdev '{"driver":"file","filename":"/usr/share/AAVMF/AAVMF_CODE.fd","node-name":"libvirt-pflash0-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-pflash0-format","read-only":true,"driver":"raw","file":"libvirt-pflash0-storage"}' \
-blockdev '{"driver":"file","filename":"/var/lib/libvirt/qemu/nvram/centos8-aarch64_VARS.fd","node-name":"libvirt-pflash1-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-pflash1-format","read-only":false,"driver":"raw","file":"libvirt-pflash1-storage"}' \
-machine virt-4.2,accel=tcg,usb=off,dump-guest-core=off,gic-version=2,pflash0=libvirt-pflash0-format,pflash1=libvirt-pflash1-format \
-cpu cortex-a57 -m 1536 -overcommit mem-lock=off -smp 2,sockets=2,cores=1,threads=1 -uuid f02ab96c-f3ba-4b0c-8bc6-e29598906c0c \
-nodefaults \
-device qemu-xhci -device usb-kbd \
-device virtio-gpu-pci \
-serial stdio \
-device usb-mouse \
-device virtio-scsi-pci,id=scsi0 \
-drive if=none,format=qcow2,file=/work/study/uefistudy/arm64-os.img,id=hd0 \
-device scsi-hd,bus=scsi0.0,lun=1,drive=hd0 \
5.2 挂载ISO命令
sudo qemu-system-aarch64 -name guest=uefi-study,debug-threads=on \
-blockdev '{"driver":"file","filename":"/usr/share/AAVMF/AAVMF_CODE.fd","node-name":"libvirt-pflash0-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-pflash0-format","read-only":true,"driver":"raw","file":"libvirt-pflash0-storage"}' \
-blockdev '{"driver":"file","filename":"/var/lib/libvirt/qemu/nvram/centos8-aarch64_VARS.fd","node-name":"libvirt-pflash1-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-pflash1-format","read-only":false,"driver":"raw","file":"libvirt-pflash1-storage"}' \
-machine virt-4.2,accel=tcg,usb=off,dump-guest-core=off,gic-version=2,pflash0=libvirt-pflash0-format,pflash1=libvirt-pflash1-format \
-cpu cortex-a57 -m 1536 -overcommit mem-lock=off -smp 2,sockets=2,cores=1,threads=1 \
-nodefaults \
-device qemu-xhci \
-device usb-kbd \
-device virtio-gpu-pci \
-serial stdio \
-device usb-mouse \
-device virtio-scsi-pci,id=scsi0 \
-drive if=none,format=qcow2,file=/work/study/uefistudy/arm64-os.img,id=hd0 \
-device scsi-hd,bus=scsi0.0,lun=1,drive=hd0 \
-drive if=none,format=raw,file=/work/jammy-live-server-arm64.iso,id=cd0 \
-device scsi-cd,bus=scsi0.0,lun=0,drive=cd0 \
5.3 替换UEFI路径
使用5.1中的命令，仅修改uefi路径，结果报错，我们重新修改qemu_efi的文件大小
sudo qemu-img resize -f raw QEMU_VARS.fd 64M
然后重新运行，直接进入shell，无法引导系统。
sudo qemu-system-aarch64 -name guest=uefi-study,debug-threads=on \
-blockdev '{"driver":"file","filename":"/work/study/uefistudy/edk2-202211/Build/ArmVirtQemu-AARCH64/DEBUG_GCC5/FV/QEMU_EFI.fd","node-name":"libvirt-pflash0-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-pflash0-format","read-only":true,"driver":"raw","file":"libvirt-pflash0-storage"}' \
-blockdev '{"driver":"file","filename":"/work/study/uefistudy/edk2-202211/Build/ArmVirtQemu-AARCH64/DEBUG_GCC5/FV/QEMU_VARS.fd","node-name":"libvirt-pflash1-storage","auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-pflash1-format","read-only":false,"driver":"raw","file":"libvirt-pflash1-storage"}' \
-machine virt-4.2,accel=tcg,usb=off,dump-guest-core=off,gic-version=2,pflash0=libvirt-pflash0-format,pflash1=libvirt-pflash1-format \
-cpu cortex-a57 -m 1536 -overcommit mem-lock=off -smp 2,sockets=2,cores=1,threads=1 \
-nodefaults \
-device qemu-xhci -device usb-kbd \
-device virtio-gpu-pci \
-serial stdio \
-device usb-mouse \
-device virtio-scsi-pci,id=scsi0 \
-drive if=none,format=qcow2,file=/work/study/uefistudy/arm64-os.img,id=hd0 \
-device scsi-hd,bus=scsi0.0,lun=1,drive=hd0 \
然后回过头找原因，我们使用最简单的命令启动我们安装好的系统，其中固件路径是安装包自带的。
sudo qemu-system-aarch64 \
-m 1G -cpu cortex-a57 -M virt -smp cpus=2 \
-bios /usr/share/AAVMF/AAVMF_CODE.fd \
-device virtio-gpu-pci \
-device qemu-xhci \
-device usb-kbd \
-device usb-mouse \
-device virtio-scsi-pci,id=scsi0 \
-drive if=none,format=qcow2,file=/var/lib/libvirt/images/centos8-aarch64.qcow2,id=hd0 \
-device scsi-hd,bus=scsi0.0,lun=1,drive=hd0 \
-serial stdio \
发现可以启动操作系统，那么，这样的话，就是我自己编译的UEFI固件有问题。
5.4 解决自己编译的QEMU固件报错问题
我们的报错：
Synchronous Exception at 0x0000000092ED8428
...
...
PC 0x0000478BDFEC (0x0000478A4000+0x00019FEC) [ 1] DxeCore.dll
PC 0x0000BC7103EC
...
PC 0x0000478BDFEC (0x0000478A4000+0x00019FEC) [ 1] DxeCore.dll
PC 0x0000BFCE4370 (0x0000BFCD4000+0x00010370) [ 2] BdsDxe.dll
PC 0x0000BFCE6104 (0x0000BFCD4000+0x00012104) [ 2] BdsDxe.dll
PC 0x0000478C0C28 (0x0000478A4000+0x0001CC28) [ 3] DxeCore.dll
[ 1] /work/study/uefistudy/edk2-202211/Build/ArmVirtQemuStudy/DEBUG_GCC5/AARCH64/MdeModulePkg/Core/Dxe/DxeMain/DEBUG/DxeCore.dll
[ 2] /work/study/uefistudy/edk2-202211/Build/ArmVirtQemuStudy/DEBUG_GCC5/AARCH64/MdeModulePkg/Universal/BdsDxe/BdsDxe/DEBUG/BdsDxe.dll
[ 3] /work/study/uefistudy/edk2-202211/Build/ArmVirtQemuStudy/DEBUG_GCC5/AARCH64/MdeModulePkg/Core/Dxe/DxeMain/DEBUG/DxeCore.dll
...
ESR : EC 0x21 IL 0x1 ISS 0x0000000E
Instruction abort: Permission fault, second level
Stack dump:
...
ASSERT [ArmCpuDxe] /work/study/uefistudy/edk2-202211/edk2/ArmPkg/Library/DefaultExceptionHandlerLib/AArch64/DefaultExceptionHandler.c(333): ((BOOLEAN)(0==1))
继续分析问题，我们下载最新的Ubuntu edk2源代码包，https://packages.ubuntu.com/source/lunar/edk2
其源码也是edk2-stable202211，与我们使用的一致，但是编译时候多了一些规则，我们参考看看。
查看rule里面的编译命令，发现多了一些define宏定义。
但是我们编译，结果同样无法引导系统。
继续查找，发现在Debian文件夹中的patches中有一些patch。
我们大胆猜测，小心求证，把patch中的变量自己修改一下，由0xC000000000007FD5改为0xC000000000007FD5，如下图，然后我们重新编译固件，运行qemu。
gEfiMdeModulePkgTokenSpaceGuid.PcdDxeNxMemoryProtectionPolicy|0xC000000000007FD1
运行命令：
sudo qemu-system-aarch64 \
-m 4G -cpu cortex-a57 -M virt -smp cpus=2 \
-bios /work/study/uefistudy/edk2-202211/Build/ArmVirtQemu-AARCH64/DEBUG_GCC5/FV/QEMU_EFI.fd \
-device virtio-gpu-pci \
-device qemu-xhci \
-device usb-kbd \
-device usb-mouse \
-device virtio-scsi-pci,id=scsi0 \
-drive if=none,format=raw,file=/work/openEuler-22.03-LTS-aarch64-dvd.iso,id=cd0 \
-device scsi-cd,bus=scsi0.0,lun=0,drive=cd0 \
-serial stdio \
发现居然可以引导系统了。
然后换回加载我们之前安装好的系统盘，不加载光驱，命令如下，发现我硬盘引导项，继续查找原因。
sudo qemu-system-aarch64 \
-m 4G -cpu cortex-a57 -M virt -smp cpus=2 \
-bios /work/study/uefistudy/edk2-202211/Build/ArmVirtQemu-AARCH64/DEBUG_GCC5/FV/QEMU_EFI.fd \
-device virtio-gpu-pci \
-device qemu-xhci \
-device usb-kbd \
-device usb-mouse \
-device virtio-scsi-pci,id=scsi0 \
-drive if=none,format=qcow2,file=/work/study/uefistudy/arm64-os.img,id=hd0 \
-device scsi-hd,bus=scsi0.0,lun=1,drive=hd0 \
-serial stdio \
map -r命令也不行，
继续找原因，我们升级edk2到stable202302看看。
然后发现我们上面修改的patch仍然没有合并，所以我们手动修改：
编译完成后，我们引导系统，发现可以正常进入。
sudo qemu-system-aarch64 \
-m 4G -cpu cortex-a57 -M virt -smp cpus=2 \
-bios /work/study/uefistudy/edk2-202211/Build/ArmVirtQemu-AARCH64/DEBUG_GCC5/FV/QEMU_EFI.fd \
-device virtio-gpu-pci \
-device qemu-xhci \
-device usb-kbd \
-device usb-mouse \
-device virtio-scsi-pci,id=scsi0 \
-drive if=none,format=qcow2,file=/work/study/uefistudy/arm64-os.img,id=hd0 \
-device scsi-hd,bus=scsi0.0,lun=1,drive=hd0 \
-serial stdio \
所以我们后续以edk2-stable202302为基础代码进行修改。
提交一下代码：
5.5 问题原因
分析PcdDxeNxMemoryProtectionPolicy变量，是设置内存保护策略，EfiLoaderData位表示EfiLoaderData内存类型数据可以执行，修改后清除EfiLoaderData位，表示不处理该内存类型，grub可以正常引导内核。
我们查看该patch提交时间和原因，如下图：大概意思就是之前GRUB的BUG已经修复，然后现在改回正常状态。
6、最终命令
经过一顿折腾，我们得出结论是EDK2代码的问题，所以后续我们调试命令参考如下：
sudo qemu-system-aarch64 \
#CPU、内存相关配置
-m 4G -cpu cortex-a57 -M virt -smp cpus=2 \
#固件路径
-bios /work/study/uefistudy/edk2-202211/Build/ArmVirtQemu-AARCH64/DEBUG_GCC5/FV/QEMU_EFI.fd \
#gpu
-device virtio-gpu-pci \
#usb
-device qemu-xhci \
-device usb-kbd \
-device usb-mouse \
#scsi
-device virtio-scsi-pci,id=scsi0 \
#硬盘位置
-drive if=none,format=qcow2,file=/work/study/uefistudy/arm64-os.img,id=hd0 \
-device scsi-hd,bus=scsi0.0,lun=1,drive=hd0 \
#本地文件夹映射
-drive file=fat:rw:./filedir/,media=disk,if=virtio,format=raw \
#串口
-serial stdio \
本地文件夹映射需要自己新建一个文件夹，我这里以filedir为例。
进入UEFI的shell可以看到该文件夹的内容，后续我们开发的程序可以直接通过该文件夹映射到UEFI中，使用该方式较方便。
7、小结
至此，我们基于edk2-stable202302版本代码，编译了QEMU_EFI.fd，并通过qemu-system-aarch64程序加载了UEFI，最后成功引导了aarch64的操作系统。后续我们基于此进行EDK2的程序开发学习。
8、基于ATF固件引导OS
ARM架构安全启动安装ATF流程，我们之前单纯启动的是BL33阶段的UEFI，下面我们试一下加入ATF固件。
下载ATF代码：
git clone https://github.com/ARM-software/arm-trusted-firmware.git
使用一个最新的归档版本，如V2.8。
参考下面链接进行编译，这里用到的QEMU是ArmVirtPkg/ArmVirtQemuKernel.dsc文件。
https://github.com/ARM-software/arm-trusted-firmware/blob/master/docs/plat/qemu.rst
我们首先编译UEFI，在UEFI-TOOLS中添加一个模块。
然后开始编译./uefi-tools/edk2-build.sh -b DEBUG armvirtqemukernel
进入目录开始编译ATF固件：
make BL33=/work/study/uefistudy/edk2-202211/Build/ArmVirtQemuKernel-AARCH64/DEBUG_GCC5/FV/QEMU_EFI.fd \
CROSS_COMPILE=aarch64-linux-gnu- \
PLAT=qemu \
all fip \
#调试等级按需设置
DEBUG=1 LOG_LEVEL=50 \
编译完成在build/qemu/release生成bl1.bin和fip.bin，此时需要将这两个固件合成一个，作为BIOS启动。
dd if=bl1.bin of=flash.bin bs=4096 conv=notrunc
dd if=fip.bin of=flash.bin seek=64 bs=4096 conv=notrunc
启动固件，用下面命令，多了一个serure=on其他同之前的命令。
qemu-system-aarch64 \
-machine virt,secure=on \
-device virtio-gpu-pci \
-cpu cortex-a57 \
-smp 2 \
-m 1024 \
-bios /work/study/uefistudy/arm-trusted-firmware/build/qemu/release/flash.bin \
-d unimp \
-serial stdio \
-device qemu-xhci \
-device usb-kbd \
-device virtio-scsi-pci,id=scsi0 \
-drive if=none,format=qcow2,file=/work/study/uefistudy/arm64-os.img,id=hd0 \
-device scsi-hd,bus=scsi0.0,lun=1,drive=hd0 \
可以看到BIOS固件正常启动，且打印BL1和BL2 BL31阶段的信息。
同样可以进入操作系统
