Macmini M4丐版本地布置DeepSeek R1大模型，7b不饱和啊
风头正盛的DeepSeek R1用起来真爽，但经常发生在“服务器忙”提示让人糟心。正好新买一个多月的Mac mini M4拥有16G的统一内存，比我那个台式机1063英伟达显卡的内存要多。尝试一下本地布署DeepSeek R1，说干就干！
教程网上一堆，这配置我有自知之明，满血的671b肯定只能梦里想了，70b, 32b，14b, 8b都觉得内存不满足，就选了最入门的7b。
几天用下来，觉得7b对于这台电脑有点轻松，明显loading不足的样子。
不知道大家用mac mini m4最高用到那个模型，还能正常使用？
14B应该差不多吧。再高就不行了 32g的选哪个。。 入门的7b只能练习怎么本地部署的过程，实际 使用还是算了吧 直接14B mini可以14B，但是还是不够看啊，还得是671B 直接用纳米ai里面的满血版，7B的话，和幼儿园孩子差不多。 6800XT 用的32B 食之无味，弃之可惜。。。还不如用豆包，免费，速度还快 7b真不行，我让他列举56个民族，结果啰啰嗦嗦一大堆，最终给我28个，我又让他补全才全部列出来。
wilsonztw 发表于 2025-2-13 13:23
6800XT 用的32B
大佬在什么系统下部署的？用的驱动什么版本？ tuhping 发表于 2025-2-13 10:25
14B应该差不多吧。再高就不行了
丐版能上14b? newcybert 发表于 2025-2-13 17:04
丐版能上14b?
14B 的 deepseek-r1deepseek-r1 才 9G 多一点，16G的统一内存完全足够，一下是一些模型再 M4 丐版上的速度测试：
deepseek-r1:14b 跑起来速度大概 8～10 tokens/s
qwen2.5-1m-abliterated:14b 跑起来约 8～10 tokens/s
qwen2.5-1m-abliterated:7b 跑起来约 15～18 tokens/s
deepseek-coder-v2:16b 跑起来速度 43～45 tokens/s M4 Pro 48G, 试了下32b，用起来也还可以 我部署14b，感觉正好 sxgpic 发表于 2025-2-13 21:23
14B 的 deepseek-r1deepseek-r1 才 9G 多一点，16G的统一内存完全足够，一下是一些模型再 M4 丐版上的速 ...
不是说20~30个token/s才算正常水平么 7B 不推荐啊，一堆部署了 ds 的服务可用 本帖最后由 sxgpic 于 2025-2-14 13:11 编辑
newcybert 发表于 2025-2-14 08:48
不是说20~30个token/s才算正常水平么
我前面贴出的速度测试是开启了节能模式的速度，M4 mini 丐版 Ollama 跑 deepseek-r1:14b 模型约 8～10 tokens/s，关闭节能模式之后会快一些，大约 10～13 tokens/s ，GPU 占用 99%，RAM 占用 85%（没跑模型时只开了个Chrome浏览器打开两个网页，加系统开销 RAM 本身已经占用 30%）。 那回家把7b删了，换14b,得越犭言犬版
页:
[1]
2