pve5.3直通a卡显卡安装mojave14
本帖最后由 wxzmz 于 2019-4-6 15:06 编辑我的配置主板华硕P8Z77 ，cpu I52500，内存16G ddr3，240G ssd，矿渣显卡rx570 8G
因为esxi上面mac12以上的版本无法做到A卡的直通驱动，折腾了很久无果，就尝试了一下pve的A卡mac12以上的直通免驱，pve的安装不说了，网上一大堆，最新版的pve显卡直通比较麻烦，我专门写了一段放2楼了，应该先做pve直通，再安装mojave，pve已经直通显卡的就不要看了。
1，上传iso镜像，获取oskpve -local-内容把mojave的iso以及clover-r4674-amd64.iso上传上去我用的是macOS Mojave 10.14 18A391 LazyInstaller.iso
Mac上运行附件smc_read，获取mac的osk内容为下面引号内一句话，保留备用，全部mac机器都是一样的“our*******ComputerInc”，
2，新建虚拟机 名称随意，比如macmo，vmid就用系统分配的比如100 操作系统iso映像选clover-r4674-amd64.iso，类别选其他 硬盘总线设备 sata缓存write back或者write back（不安全） cpu 核4个，类别Penryn 内存大小大家随意，我用12288，12G 网卡默认e1000
3，修改虚拟机配置 虚拟机选项确保平板指针-是；bios改成ovmf（uefi） 硬件，添加efi磁盘，储存选一下，然后点ok；添加cd/dvd，ide不变，选中mojave.iso
修改/etc/pve/qemu-server/100.conf （100就是你前面分配的vmid） 结尾新增这两行，machine: q35args: -device isa-applesmc,osk="THE-OSK-YOU-EXTRACTED-GOES-HERE" -smbios type=2 -cpu Penryn,kvm=on,vendor=GenuineIntel,+invtsc,vmware-cpuid-freq=on,+pcid,+ssse3,+sse4.2,+popcnt,+avx,+aes,+xsave,+xsaveopt,check
ps:这里的用第一步获取的osk，就是前面获取的“our*******ComputerInc”引号内的这段话替换掉THE-OSK-YOU-EXTRACTED-GOES-HERE
找到这行 ide2: local:iso/clover-r4674-amd64.iso,media=cdrom 把media=cdrom改成cache=unsafe
把e1000改成e1000-82545em 然后保存
回到选项-引导改成disk-ide2就是clover硬盘
这是我的100.conf,其中hostpci和sub是后面直通加的
4，修补pve shell运行 echo 1 > /sys/module/kvm/parameters/ignore_msrs 运行 echo "options kvm ignore_msrs=Y">>/etc/modprobe.d/kvm.conf && update-initramfs -k all -u 然后重启pve 下载pve-edk2-firmware_1.20181023-1_all.deb，上传到pve的tmp目录安装，shell进tmp目录运行 dpkg -i pve-edk2-firmware_1.20181023-1_all.deb apt-mark hold pve-edk2-firmware 然后最好重新运行一下 update-grub update-initramfs -u -k al 重启pve
5，修改mac启动 mac虚拟机点启动，快速点控制台，看到pve画面出来，快速鼠标点一下pve的logo画面，然后迅速按esc键，进device manager----ovmf platformconfiguration 分辨率改成1024-768F10保存，一路esc退到主页，选reset，
然后先不进四叶草，先停止虚拟机。
ps：先进控制台再点启动，主控制台是连不上的画面的
修改/usr/share/qemu-server/pve-q35.cfg，添加 driver = "usb-kbd" bus = "ehci.0" port = "2"作者原话该文件不要添加任何多余空格，保持原格式。
6，显卡直通硬件-添加pci设备-01:00.0以及01:00.1，2个显卡设备，pci-express可以不选，主GPU先不选，选了就没控制台画面了，就没那个虚拟显卡了
7，安装mojave然后点启动mac，（点启动前，确保左边栏不在控制台上，否则主控制台是连不上的，就要点右上角的控制台，新开个页面才能进控制台）。进控制台
这时应该可以看到四叶草的启动画面了，直通显示器应该有pve的logo了，就可以安装了，如果点安装后花屏，出现很多个小屏，请点停止虚拟机，用第5步方式，进 device manager----ovmf platformconfiguration 确保已经分辨率改成1024-768，如果已经是1024*768了，再选一下reset就行了。
安装过程就很简单，点安装，控制台就黑屏了，直通显示器就会出现pve图标了，等一小会mojave安装画面出现直通显示器上，鼠标要控制的话，先点黑屏的控制台，就可以在直通显示器上移动控制了
8，你的电脑和直通机不在一起，安装不方便？虚拟机先开机着，不继续安装，在直通机上插好usb键盘鼠标，然后shell运行：ps这里的100就是你mac虚拟机的vmid编号qm monitor 100info usbhost我的返回信息Bus 2, Addr 4, Port 1.6, Speed 1.5 Mb/sClass 00: USB device 046d:c31c, USB KeyboardBus 2, Addr 3, Port 1.5, Speed 12 Mb/sClass 00: USBdevice 046d:c24e, G500s Laser Gaming Mouse然后quit退出qmShell运行qm set 100 -usb1 host=046d:c31cqm set 100 -usb2 host=046d:c24e
ps这里的100是我的vmid，改成你的，046d:c31c，046d:c24e这2个改成你自己前面info usbhost获取的
然后停止虚拟机，再启动虚拟机，直通机上的鼠标键盘都能用了然后mojave安装过程就不多说了
我的2张A卡6850在pve用13.5上安装免驱，直接点亮 矿渣Rx570 8G 在14安装直接点亮免驱
祝大家好运
全程参考老外的https://www.nicksherlock.com/2018/06/installing-macos-mojave-on-proxmox/这个安装的，可以直接按这个安装，无视我的安装过程
本帖最后由 wxzmz 于 2019-4-21 00:52 编辑
pve显卡的直通
pve安装就不说了，我安装是的5.3安装完我先修改文件/etc/apt/sources.list.d/pve-enterprise.list ，把唯一的哪行内容注释掉，然后Shell运行apt-getupdate && apt-get upgrade 升级了一下，时间较长
显卡直通参考2个官方文档https://pve.proxmox.com/wiki/Pci_passthroughhttps://10.10.*.*:8006/pve-docs/chapter-qm.html#qm_pci_passthrough
10.10.*.*改成你pve主机的ip,这才是最新的文档
简单来说就是1.修改/etc/default/grub文件“GRUB_CMDLINE_LINUX_DEFAULT="quiet"改成GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
2.shell运行“update-grub”
3.修改/etc/modules文件新增
vfiovfio_iommu_type1vfio_pcivfio_virqfd
保存
4.shell运行update-initramfs -u -k all然后重启pveps：PVE官网主页文档没有，只有pve主机的最新文档有而且最新文档特别提示 pve对模块的修改后，都要重新运行这个命令后重启才能生效，巨坑
5.shell运行lspci -v找到你的显卡地址 一般独立显卡都是01:00.0以及01:00.1
6.shell运行lspci -n -s 01:00我的显卡返回01:00.0 0300: 1002:67df (rev ef)01:00.1 0403: 1002:aaf0然后运行echo "options vfio-pci ids=1002:67df,1002:aaf0" > /etc/modprobe.d/vfio.conf就是把options vfio-pci ids=1002:67df,1002:aaf0加到vfio.conf文件“1002 67df aaf0”改成你自己的
7.修改/etc/modprobe.d/pve-blacklist.conf加上blacklist nvidiafbblacklist nouveaublacklist nvidiablacklist radeonblacklist amdgpu
8，最后运行update-initramfs -u -k all然后重启pve
结束后面就是跟esxi一样 可以web页面添加pci显卡设备直通了，pci-express可以选上 主gpu先不要选上，选上的话控制台就黑屏了
多谢楼主分享！！！ 正在按照楼主的一步步的来弄，目前已经装上PVE了，也按步骤做了，但是还是卡在直通这一步了，换了好几块卡了，要么黑屏，要么花屏，不直通的话完美，分辨率也比Esxi下好，就是直通这步卡了，准备再重新弄一个干净的PVE，按楼主的办法再来一次。 首先确定显卡是直通是正确的，怎么确定呢，你启动虚拟机后，直通显示器会有pve的logo，以及一些文字
其次，你换卡就要把先把vfio.conf里面添加的前面卡的数据删了，然后重新做pve显卡直通5-8步骤，第7步驱动黑名单就不要重复添加了，可以省略
还有特别注意图形界面的 主GPU 选项，打上后主控制台启动就是黑屏的，就是直通显卡做主显示器了
PS：今天把mojavo 14升级到14.4，然后重启竟然是直通显示器是黑屏的
然后把pci-expree和主GPU打上勾，重启mojave画面出来了
所以你可以尝试一下主gpu打上勾
在13.5的时候，控制台显示器和直通显示器都能点亮，都能相互镜像控制
把主板声卡的pci设备也直通给了mojave，查了p8z77的主板声卡是al892，注入id1，voodoo声卡直接驱动了
固定majove的ip，共享里面打开远程管理和远程登录，win系统下安装个vnc viewer，就可以远程控制虚拟机mac了，远程音频也正常
然后clover设置默认mac系统盘自带启动，把pve主机的显示器 键鼠全拔了，直接pve界面控制mac开关，win远程vnc控制pve主机上的majove，发现分辨率只有1024*768，没显示器的原因
淘宝个 HDMI接口的显示器模拟器，15元，（也有dp接口），直接插rx570的HDIM接口，分辨率默认1080P，也可以调到2k 4K,不过还是1080P最流畅了。
至此，pve虚拟机下面的mac安装调试完毕，以后全部远程控制pve虚拟机mac的工作
[ 本帖最后由 wxzmz 于 2019-4-2 01:29 编辑 ]
网上找了下制作iso的脚本和app，在mojave 14下面基本失效了
偶尔看到个老外的教程，试了下14.4完全ok
https://blog.petehouston.com/download-and-convert-macos-mojave-installer-into-iso-file/
给需要的虚拟机朋友们，可以自己制作mojave的iso了
说说 制作步骤
1.先去http://dosdude1.com/mojave/下载最新版macOS Mojave Patcher，
mac 13 14.4最新版本都可以运行 macOS Mojave Patcher
菜单栏-tools-download macOS-YES
然后选中 Downloads，右下角Select Save Location 确认
然后等待下载完成 就可以把macOS Mojave Patcher关了
2.终端依次输入
hdiutil create -o /tmp/Mojave -size 8000m -layout SPUD -fs HFS+J
hdiutil attach /tmp/Mojave.dmg -noverify -mountpoint /Volumes/install_build
sudo ~/Downloads/Install\ macOS\ Mojave.app/Contents/Resources/createinstallmedia --volume /Volumes/install_build
PS:这条命令，老外的连接里面有点小问题/Downloads/前面少了个~，原文运行会出错
然后把桌面上的install macos mojave的磁盘推出
hdiutil convert /tmp/Mojave.dmg -format UDTO -o ~/Downloads/Mojave
mv ~/Downloads/Mojave.cdr ~/Downloads/Mojave.iso
运行完在下载目录就是生成的最新的mojave安装光盘
好帖子，收藏了！ 好帖子，准备上手安装
楼主，我直通显卡是成功了，但是貌似没有驱动的样子，显卡也是免驱的rx580,直通显示器黑屏，本机报告中显卡信息显示，但是没有具体的驱动信息 fengboyboy 发表于 2019-4-2 12:56 https://www.pcbeta.com/static/image/common/back.gif
楼主，我直通显卡是成功了，但是貌似没有驱动的样子，显卡也是免驱的rx580,直通显示器黑屏，本机报告中显卡 ...
1.显卡直通是否成功，就是在mojave虚拟机启动后，直通显示屏应该要有pve的logo以及读取一堆efi信息最终落在clover选择画面
我把我的conf文件贴出来，你比较一下
args: -device isa-applesmc,osk="ourhardworkbythesewordsguardedpleasedontsteal(c)AppleComputerInc" -smbios type=2 -cpu Penryn,kvm=on,vendor=GenuineIntel,+invtsc,vmware-cpuid-freq=on,+pcid,+ssse3,+sse4.2,+popcnt,+avx,+aes,+xsave,+xsaveopt,check
bios: ovmf
boot: cdn
bootdisk: sata0
cores: 4
cpu: Penryn
efidisk0: local-lvm:vm-100-disk-0,size=4M
hostpci0: 01:00.0,x-vga=1,pcie=1
hostpci1: 01:00.1,x-vga=1,pcie=1
hostpci2: 00:1b.0
hostpci3: 00:14.0,pcie=1
ide2: local:iso/clover-r4674-amd64__.iso,cache=unsafe,size=256M
machine: q35
memory: 12288
name: MacMojave
net0: e1000-82545em=02:EB:28:4B:EF:95,bridge=vmbr0
numa: 0
onboot: 1
ostype: other
sata0: local-lvm:vm-100-disk-3,cache=unsafe,size=60G
scsihw: virtio-scsi-pci
smbios1: uuid=c98541d4-93b9-4033-8544-3e8df360081e
sockets: 1
usb1: host=046d:c31c
usb2: host=046d:c24e
vmgenid: d4bc0c34-5810-47ac-aa6b-313bb99f345e
其中
hostpci2是我直通的板载声卡
hostpci3是我直通主板usb3.0
usb1 usb2分别对应我的直通鼠键
2.检验PVE显卡直通最好的检验就是装一个win10，然后把显卡直通给win10，是否成功
但是网上又没有中文的PVE下面win10直通显卡教程，写一篇太烦太累了
你将就着看看英文安装win10教程吧
https://jonspraggins.com/the-idiot-installs-windows-10-on-proxmox/
以及中文的用Proxmox搞定gpu穿透
https://blog.51cto.com/sery/2161368?cid=716548
结合起来把显卡直通给win10，看能不能驱动起来，win10是否正常
3。最终mac启动完成后，直通显示器黑屏的话，可以把主gpu和pci选上试试，
4，majove版本还有关系，最好先用macOS Mojave 10.14 18A391 LazyInstaller.iso安装先，然后再尝试14.4
5，我把老外的clover覆盖升级成4910，尝试一下
wxzmz 发表于 2019-4-2 17:33 https://www.pcbeta.com/static/image/common/back.gif
1.显卡直通是否成功，就是在mojave虚拟机启动后，直通显示屏应该要有pve的logo以及读取一堆efi信息最终落 ...
感谢楼主，我试试 支持支持6666 fengboyboy 发表于 2019-4-2 18:48 https://www.pcbeta.com/static/image/common/back.gif
感谢楼主，我试试
你可以这样 先把PCI-Expree 的勾打上尝试 安装
最终稳定后 把主gpu选上 wxzmz 发表于 2019-4-1 13:45 https://www.pcbeta.com/static/image/common/back.gif
[ 本帖最后由 wxzmz 于 2019-4-2 01:29 编辑 ]
网上找了下制作iso的脚本和app，在mojave 14下面基本失效了 ...
没有mac实物的可以操作吗？ wxzmz 发表于 2019-4-2 17:33 https://www.pcbeta.com/static/image/common/back.gif
1.显卡直通是否成功，就是在mojave虚拟机启动后，直通显示屏应该要有pve的logo以及读取一堆efi信息最终落 ...
win10显示错误43是什么问题？ 核对一下
一。安装pve的时候 bios的一些设置安装前bios里面cpu的虚拟化技术或者vt-x，vt-d确保开启状态，当然首先的确定你的cpu以及主板支持vt bios里面的csm 开着 bios里面的secure boot安全启动是 选 other os其他操作系统启动的时候 我选的是uefi pve硬盘
二。依次检查直通是否正确1/etc/default/grub 文件是否如下GRUB_CMDLINE_LINUX_DEFAULT="quietintel_iommu=on" 2/etc/modules是否如下 # at boot time, one per line. Linesbeginning with "#" are ignored.vfiovfio_iommu_type1vfio_pcivfio_virqfd 3/etc/modprobe.d/vfio.conf文件是否如下options vfio-pci ids=1002:67df,1002:aaf0 （改成你自己的） 4/etc/modprobe.d/pve-blacklist.conf是否如下# nidiafb see bugreporthttps://bugzilla.proxmox.com/show_bug.cgi?id=701blacklist nvidiafbblacklist radeonblacklist nouveaublacklist nvidiablacklist amdgpu 确认后再运行一下update-grubupdate-initramfs-u -k all重启主机
三。把local cursor 勾去掉能有效的去除鼠标双影，同时鼠标在控制台移动慢一点就行了，我通常都是远程桌面控制，不存在鼠标问题。win10的远程桌面用显卡硬编码设置好是非常流畅的
四。win10网卡驱动一装好，就会自动update安装显卡驱动了，一般A卡 N卡，他都会帮你自动装上，你耐心等几分钟，win10的显卡驱动就自动装好了，直通显示器就会显示了。然后重启后可以去amd或者nv网站下载最新的驱动安装。当然我网络通后 马上去拉自己nas上下好的驱动，然后把网卡禁用，重启安装会更快一点。
pjjgarden 发表于 2019-4-5 19:23 https://www.pcbeta.com/static/image/common/back.gif
win10显示错误43是什么问题？
1 各个majover版本不一样，安装情况不一样，我开始用macOS Mojave 10.14 18A391 LazyInstaller.iso，https://bbs.pcbeta.com/forum.php?mod=viewthread&tid=1795372&highlight=cdr就是14这个版本，不需要把直通显卡的主GPU选上，但是后来安装14.4，我用7楼的自己做的，在安装到最后部分重启的时候，你不选主gpu直通屏是黑屏的，只能先停止虚拟机，把直通的2个pci设备都加上主gpu。其实最好的是macOS High Sierra 10.13.5 Lazy Installer CDR https://bbs.pcbeta.com/viewthread-1787663-1-1.html这个版本安装，无需选主gpu，而且控制台虚拟显示器和直通显示器是同时可以显示，包括镜像，可以先尝试简单的13.5。
2 安装majove时候 当你在clover选中安装光盘后安装，控制台是画面冻结不变的，直通显示器画面也会冻结的，耐心等待1-2分钟读取安装光盘
3 安装引导盘 用一楼老外的clover-r4674-amd64.iso或者11楼我覆盖升级成4910的iso，后面你可以按老外的教程把efi分区拷贝过去，在硬盘的efi修改各种clover设置。当然你也可以安装更高版本的clover在硬盘的efi分区，但是注意最新版clover里面的efi驱动如果有不兼容的起不来，用iso里面的efi驱动替换掉
4，关于OVMF的修复，作者又升级了pve-edk2-firmware_1.20190312-1_all.deb
多谢楼主分享！！！