[清华NB]Apple Silicon的AI应用
得益于PyTorch可以直接把cuda改mps就能直接Apple Silicon核显加速和清华团队的LCM-LoRA，8G丐版MacBook Pro也可以流畅运行SDXL模型，出一张图差不多一分钟，如果你下载一个Draw Things，支持CoreML，Apple Silicon的AMX加速单元和NPU，8G丐版MacBook Pro 25秒左右出一张图，个人用来入门和练习AI绘画已经没有问题了，苹果都没提过这个AMX单元，查了一下资料，很有料。虽然比不上4090可以开始生成实时视频，但是这内存+显存一共8G的ARM机器也算是一个里程碑了。最最关键的，想想A20 Pro是不是可以手机生成实时视频呢，新时代来了兄弟们。对于想从事AI工作，冲击一下高薪的大学生，3，4个同学合资24000就能弄一台96G内存的M2 MAX本地跑大语言模型，家庭不富裕的孩子也是一条不错的选择。
清华大学是不差钱的，但是期待苹果的低价AI方案能帮助到更多的国内AI团队，继续有类似LCM-LoRA的好东西不断推出！
PS：吐槽一下国内的娱乐至死，清华这么NX的LCM-LoRA竟然是从老外那里听说的，国内的报道呢？假光刻机都能上热搜，这个正经的科技成果没消息。
不错，点个赞。 现在amd显卡能不能跑AI？
xuxianzhi888 发表于 2023-11-26 13:13 https://bbs.pcbeta.com/static/image/common/back.gif
现在amd显卡能不能跑AI？
能
字数补丁 xinxinlinux 发表于 2023-11-26 13:18 https://bbs.pcbeta.com/static/image/common/back.gif
能
字数补丁
能用是哪款软件，我想玩玩。但不知怎么搞。能否给个链接吗？谢谢 cuda改mps就能直接用，B站有UP主有介绍，清华那个AI模型也在开源网站放出来了 xuxianzhi888 发表于 2023-11-26 13:13 https://bbs.pcbeta.com/static/image/common/back.gif
现在amd显卡能不能跑AI？
AMD的目前是最没特色的，N家有cuda，Apple有AMX，NPU，GPU组合拳，不过苹果软硬结合，后劲可能会比N家强 kcltt 发表于 2023-11-27 00:03 https://bbs.pcbeta.com/static/image/common/back.gif
AMD的目前是最没特色的，N家有cuda，Apple有AMX，NPU，GPU组合拳，不过苹果软硬结合，后劲可能会比N家强
是的amd不知啥时候能发力啊。 xuxianzhi888 发表于 2023-11-27 06:23 https://bbs.pcbeta.com/static/image/common/back.gif
是的amd不知啥时候能发力啊。
AMD目前ROCm就很好，唯一缺点就是Windows支持性稀烂，得要linux 2.4万块钱也能买一张4090了，这个不是更简单一些，从CUDA生态迁移是一个很深的坑啊 nazaio 发表于 2023-11-27 08:02 https://bbs.pcbeta.com/static/image/common/back.gif
2.4万块钱也能买一张4090了，这个不是更简单一些，从CUDA生态迁移是一个很深的坑啊
AI算力最费钱的不是硬件成本，是功耗和散热，水费和电费才是成本的大头，搞AI可不是每天玩两个小时游戏，机器几乎是一直满载，比挖矿还费电，一套4090的整机一年下来多少钱？而且那个噪音不是人类能长期承受的，别说大学宿舍估计不会让你这么跑，就算是工作室也要配个单间，综合成本太高了。
更别说水冷随时可能报销整台机器，还要经常清灰。
cuda生态也不是什么牢不可破的东西，反而现在已经开始限制AI的发展，NPU现在是各家都在发力，类似AMX这种多功能加速单元等多种硬件组合加速，加上更高级的算法才是，老黄一家独大的情况2,3年内就没了。 说的我热血沸腾的，想入门，小白可以入门吗 kcltt 发表于 2023-11-27 00:03 https://bbs.pcbeta.com/static/image/common/back.gif
AMD的目前是最没特色的，N家有cuda，Apple有AMX，NPU，GPU组合拳，不过苹果软硬结合，后劲可能会比N家强
想多了，cuda已经形成完整生态链了，而且都经历10多年了。 rice512 发表于 2023-11-27 15:47 https://bbs.pcbeta.com/static/image/common/back.gif
说的我热血沸腾的，想入门，小白可以入门吗
如果只是自己画画图玩，可以，搞训练和开发什么的，高数这个门槛不低 kisazhu 发表于 2023-11-27 17:52 https://bbs.pcbeta.com/static/image/common/back.gif
想多了，cuda已经形成完整生态链了，而且都经历10多年了。
想多？去cuda化上半场都快结束了，Intel的AI产品两年内也能上市了，AI社区苦老黄久已，N家AI专用CPU订货量远不如预期。 kcltt 发表于 2023-11-27 23:59 https://bbs.pcbeta.com/static/image/common/back.gif
想多？去cuda化上半场都快结束了，Intel的AI产品两年内也能上市了，AI社区苦老黄久已，N家AI专用CPU订货量 ...
你在哪儿看的假新闻？nv现在是供不应求完全没对手。 kisazhu 发表于 2023-11-28 09:10 https://bbs.pcbeta.com/static/image/common/back.gif
你在哪儿看的假新闻？nv现在是供不应求完全没对手。
N家的AI专用CPU订货不如预期是他们自己说的，美帝上市公司公开放假消息的可能性不大。
PyTorch和Tensor2对Apple Silicon和Intel新的集成构架（也就是内置NPU和内存，x86平台上算新的，ARM上苹果做了）的支持越来越完善，但是这个Tensor2不向下兼容，所以进度有点慢。
整个AI社区对N家超高的售价，低下的能效比非常的不满，几乎天天在骂，都在等着更好的产品，天下苦N家久已，中小AI团队对整个社区的贡献是巨大的，但是他们买不起也几乎很难买到A100，H100这种专业卡，购买算力也是非常贵的，就算是V100这种已经有点过时的卡，你查查2手的价格是多少，注意，二手的品质和矿卡是一样的，随时爆炸。
去年M2解决了显存调度问题以后，整个AI社区都炸了，180G的800GB/s的显存，只要不到6000美元，可以本地跑大模型，而且不用专用机房，因为噪音可忽略，电费负担也没了，多少中小AI工作室做梦都笑醒了，尤其是很多开源AI团队，偶尔买一些算力就够了。
以上这些哪个是假新闻？所有东西网上随时可查，量大管饱，不过用百度的话可能难一点。挖矿够耗电的吧，毁显卡的能手，比起AI还是差那么一点点的。在墙内可能体会不深，实际上AI对整个世界的影响是巨大的，而且与日俱增，N家在显卡行业是龙头老大，这不假，但是比起Apple，Intel，MS这些超级巨无霸来说，虽不能说是云泥之别，但也是不在一个量级的。
页:
[1]