AI的问题问AI哈哈
不如直接使用 AI.COM 了，选中左下角的 深度思考、联网搜索 hicocsco 发表于 2025-2-20 08:27
RTX3090*8，跑761B
是 671B 啊。 angiefans 发表于 2025-2-20 08:44
水神咋啥都懂
水神的含义是，胸无半点墨。 你这图片太业余了！也不说清楚是否有量化，也就是压缩模型(4INT量化，8GB显存可以跑14B模型)。
zgcc 发表于 2025-2-20 09:40
你这图片太业余了！也不说清楚是否有量化，也就是压缩模型(4INT量化，8GB显存可以跑14B模型)。
...
量化是偷工减料的意思么？ rubycon 发表于 2025-2-20 09:54
量化是偷工减料的意思么？
一般都有量化的，默认8INT. 不量化的话显存要求爆高. gujiangjiang 发表于 2025-2-20 08:12
越来越听不懂了，那些什么B什么B的是什么意思？14b 32b是什么意思？指代的是什么？然后那个什么token又是什 ...
DeepSeek会让许多人丢掉饭碗~~~~~~~~~~~ panfw 发表于 2025-2-20 10:15
DeepSeek会让许多人丢掉饭碗~~~~~~~~~~~
终于有懂的人了。 gujiangjiang 发表于 2025-2-20 08:12
越来越听不懂了，那些什么B什么B的是什么意思？14b 32b是什么意思？指代的是什么？然后那个什么token又是什 ...
B是billion，指的是模型里面参数数量，14B就是140亿参数；
token翻译为令牌，可以理解为大模型处理输入输出的最小参数，类似英文字母或者汉字，1token大约等于1-2汉字；比如 I Love you，可以是3个token，再比如playing，可以是play+ing两个token；
蒸馏模型就是利用已有强大的模型，将训练数据提浓，减少数据量、增加数据质量，然后再用这个优化的数据训练参数较小的模型，使其具有大模型近似的能力。
16B int4量化 大约是16*0.5=8g显存
16B int8量化 大约是16*1=16G显存
16B int16量化 大约是16*2=32g显存
gpt告诉我这样估算，deepseek官方的模型是int16的；
另外，如果是int4的话，ai cpu的npu算力还是可以的，新一代不都是40多的算力么，大致上跟中档游戏显卡差不多，但是FP16啥的就不如显卡了 个人玩这个没啥意思。 你问问它89+64等于多少{:5_273:}
页:
1
[2]