4060TI8G-DEEPSEEK使用分享
仅供参考！！！
12600K，32G6000的内存，显卡4060ti8G，
本地部署的deepseek-r1:32b ,峰值显卡使用50%，速度就不是很快了，用时3M，感觉有点便秘。
本地部署的deepseek-r1:14b的时候，显卡峰值能到80%+，数据量小了，速度和token也上来了，看来普通台式机正常也就能流畅用14b。
说句实在，如果不是工作刚需或者爱折腾，不如用现成的服务，易用性和后期维护压根不需要操心 我魔改的显卡跑同样的问题显卡几乎吃满了。
{:5_263:}
啊？4060ti跑得动14b？ 生魂足魂玉琉魂 发表于 2025-2-17 22:44
我魔改的显卡跑同样的问题显卡几乎吃满了。
“记得”这词用得真好：
缘来此景 发表于 2025-2-17 23:48
“记得”这词用得真好：
底层中文逻辑思考的独有优势！！{:5_264:} 生魂足魂玉琉魂 发表于 2025-2-17 23:59
底层中文逻辑思考的独有优势！！
怪不得下个棋都能把对手忽悠瘸咯~~{:5_590:} 缘来此景 发表于 2025-2-18 00:03
怪不得下个棋都能把对手忽悠瘸咯~~
DEEPSEEK之所以爆火就是因为底层逻辑用的是中文思考逻辑，表意更简洁明了，也更接近问题本质。
中文是这世界上最简洁高效的表述文字。你看看国外的那些古典和现代名著，英文原本都是厚厚的一大本，像个大字典般厚重，但一翻译成中文后立马变成了薄薄的一本书。{:5_264:} 生魂足魂玉琉魂 发表于 2025-2-18 00:12
DEEPSEEK之所以爆火就是因为底层逻辑用的是中文思考逻辑，表意更简洁明了，也更接近问题本质。
中文是这 ...
可惜啊，IT界没中文啥事~~
不知道易语言算不算~~
就是DEEPSEEK自身组成代码也没中文啥事~~{:5_590:} 缘来此景 发表于 2025-2-18 00:37
可惜啊，IT界没中文啥事~~
不知道易语言算不算~~
不急，心急吃不了热豆腐。面包会有的，牛奶也会有的。慢慢来吧，步子迈得太大会扯到蛋的！！{:5_264:} 显存爆了内存带宽瓶颈太严重了，用79xtx跑，q4量化，14b：56token/s，32B：27token/s，就是感觉本地部署用处不是特别大。 我13600kf 40608G也试了32.出字慢，但是看了GPU用得不多，基本都是用CPU和内存，最后用了14B大模型，正好 离线模型数据库好像还是2023年7月的，有的更新到2023年11月 显存太低了，32G就流畅了，要不然就7B或者1.5b 目前来说本地使用对于普通用户而言纯粹技术探索 vista@xp 发表于 2025-2-18 08:53
离线模型数据库好像还是2023年7月的，有的更新到2023年11月
离线模型根本就是忽悠人的没啥数据库，至少财经方面全是错误信息。我问股市信息几乎没正确的，比如问啥上市公司的代码，没有一次回答正确的。有的问题结论截然相反，比如我问赤峰黄金的股代码，它回答赤峰黄金没在a股上市，是在香港上市的{:5_261:} Pt_L 发表于 2025-2-17 23:19
啊？4060ti跑得动14b？
我试了一下3060，16G内存，也可以跑跑{:5_273:} 感谢分享。。。
https://herder.cdn.bcebos.com/images/dot.gif “”思考“”用中文，有优势！ 生魂足魂玉琉魂 发表于 2025-2-17 22:44
我魔改的显卡跑同样的问题显卡几乎吃满了。
你这个多少B的模型？