kind1501 发表于 2025-2-24 11:24

macOS A卡怎么运行ollama上的deepseek加速

我用的rx6800在win下,ollama加hip显卡驱动,自动就实现了显卡加速,比如运行deepseek r1 32b q2 12g模型文件 ,基本刚好加载到显存,实现20token/s的推理速度。
但是在macos下,运行ollama,同样的模型,只有4-5token/s,看硬件监视,基本是cpu在跑,gpu闲着。
怎么样在黑苹果 下,让a卡主导ai推理?

chinachailei 发表于 2025-2-24 13:02

库克不同意

jiamore 发表于 2025-2-24 13:09

二楼已经解答问题关键点了。

whb1368 发表于 2025-2-24 13:57

言简意赅,无废话,不啰嗦.

haoran61 发表于 2025-2-24 16:48

从两年前开始,独显无论多牛逼,似乎功能都集中在亮机,无论final cut pro还是pr,独显都是稍微出力即止。
似乎这是系统底层调度机制,暂时没办法解决。

kind1501 发表于 2025-2-24 17:28

chinachailei 发表于 2025-2-24 13:02
库克不同意

可恶的库克

kind1501 发表于 2025-2-24 17:29

jiamore 发表于 2025-2-24 13:09
二楼已经解答问题关键点了。

可爱的二楼。

kind1501 发表于 2025-2-24 17:32

haoran61 发表于 2025-2-24 16:48
从两年前开始,独显无论多牛逼,似乎功能都集中在亮机,无论final cut pro还是pr,独显都是稍微出力即止。
...

气人。。。。

lwx1901 发表于 2025-2-24 23:54

因为现在的所有MAC电脑机型已经全部使用M芯片集成GPU,所以macOS操作系统调用的是集成GPU,而且是适配自家集成出品的AI工人智能模型。已经没有独立显卡一说,所以macOS操作系统不会主动去调动独立显卡参与运算。除非APPLE愿意为Intel MAC适配支持DeepSeek模型而优化。

kind1501 发表于 2025-2-25 08:05

lwx1901 发表于 2025-2-24 23:54
因为现在的所有MAC电脑机型已经全部使用M芯片集成GPU,所以macOS操作系统调用的是集成GPU,而且是适配自家 ...

对于win来说,amd提供hip专业驱动,romc编程界面为推理加速。
对macos来说,大概率a卡驱动都不更新了,更不指望提供专业驱动了。
可恶。
页: [1]
查看完整版本: macOS A卡怎么运行ollama上的deepseek加速