3210亿参数塞进单张显卡,26 token每秒跑起来了
本文由CHOICE视讯整理发布:
把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。
免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。
它支持的模型清单不止一个:GLM-5.
3(744B)、GLM-5.
3-Flash(321B)、DeepSeek-V4.
1-Flash(748B)、MiniMax-M3.
1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。
GLM-5.
3-Flash 是这里的主角。
3210亿总参数,能写文章、写代码,也能读取图片内容。
公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;
两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.
6 token 。
token 是模型处理文本的单位,这个数值越大,回答显示得越快。
不过两次测量的条件不同,光看显卡数量没法直接比速度。
并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。
8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。
为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。
模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。
显存不够,就用内存和硬盘顶上。
另一层工夫是量化,把模型数值用更少的比特存下来。
GLM-5.
3-Flash 对应的版本有这么几档: Maya-XS :73.
4GB Maya-S :96.
5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.
3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.
4% ,Maya-S 为 97.
9% ,Maya-L 为 99.
2% 。
这组数字是特定评测题目的相对值,不等于所有问题的正确率。
跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。
最低运行条件是支持的显卡、32GB 主内存加固态硬盘。
但最低条件不等于能启动。
实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。
想省显存,得先看清楚自己卡在哪一档。
对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。
代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。
特别
更多体坛动态,关注CHOICE视讯。