硬件、能源、、最终费什么?
4070ts 16g 跑 32b都觉得慢,何况8g
陈伟飞 发表于 2025-2-18 08:48
我13600kf 40608G也试了32.出字慢，但是看了GPU用得不多，基本都是用CPU和内存，最后用了14B大模型，正 ...
CUDA装上，要不然基本不用GPU
生魂足魂玉琉魂 发表于 2025-2-18 00:12
DEEPSEEK之所以爆火就是因为底层逻辑用的是中文思考逻辑，表意更简洁明了，也更接近问题本质。
中文是这 ...
因为我们能在文中插入超链接
czb1994 发表于 2025-2-18 14:19
你这个多少B的模型？
32的
{:5_268:}
我的 4070s 也就能流畅用14b
32b有点卡
ztsoft 发表于 2025-2-18 15:45
CUDA装上，要不然基本不用GPU
CUDA装了，GPU不干活，都是CPU在跑{:9_348:}
生魂足魂玉琉魂 发表于 2025-2-17 22:44
我魔改的显卡跑同样的问题显卡几乎吃满了。
请教如何魔改？
asku 发表于 2025-2-18 22:37
请教如何魔改？
小黄鱼上一堆帮你魔改的人，你去搜搜看看吧！！
DS+Cherry Studio部署的知识库为什么，回答的内容不是投喂的资料？
awork 发表于 2025-2-18 21:18
CUDA装了，GPU不干活，都是CPU在跑
啥显卡呀，参看这个链接里的支持的显卡列表，我的4090D是可以的
https://github.com/qianniuspace/ollama-doc/blob/main/ollama/docs/Ollama%20%E5%AF%B9GPU%20%E6%94%AF%E6%8C%81%E4%BF%A1%E6%81%AF.md
ztsoft 发表于 2025-2-19 08:46
啥显卡呀，参看这个链接里的支持的显卡列表，我的4090D是可以的
https://github.com/qianniuspace/ollama ...
不受支持，4070还比不上4060TI，令人心灰意冷{:9_363:}
也没事，CPU跑个7B的还是没啥问题的，本身ollame默认用的就是Q4的模型，占用资源和算力要求也不高。
我办公电脑10代I5，照样跑的好好的
awork 发表于 2025-2-19 11:47
不受支持，4070还比不上4060TI，令人心灰意冷
我的4060也不支持，难怪都是CPU和内存再跑，都是70%左右，32B出字慢，现在14B还行
awork 发表于 2025-2-19 11:47
不受支持，4070还比不上4060TI，令人心灰意冷
我的4060能理解不支持，但是你4070不支持有点接受不了，哈哈哈
陈伟飞 发表于 2025-2-19 14:34
我的4060也不支持，难怪都是CPU和内存再跑，都是70%左右，32B出字慢，现在14B还行 ...
我的CPU拉满100%，32b很笨，又慢，既然不支持GPU，还不如用online满血版{:9_386:}
70B以下都没啥用
awork 发表于 2025-2-18 21:18
CUDA装了，GPU不干活，都是CPU在跑
你得输入nvcc -V来看CUDA装好没有。
sqsw 发表于 2025-2-19 19:27
你得输入nvcc -V来看CUDA装好没有。
装好了，其实就是GPU型号不受支持。
40系：4090，4080，4070TI，4060TI，其他型号不支持。
awork 发表于 2025-2-20 12:00
装好了，其实就是GPU型号不受支持。
40系：4090，4080，4070TI，4060TI，其他型号不支持。
还能这样？我的1650S都行