标签： 三值量化

MoziAier 27B-TQ：一张 16GB 显卡本地跑 256K 上下文的中文助手

这是什么，为什么值得关注 11 月 1 日，开源社区发布了 MoziAier 27B-TQ。它最打动人的一点是：把 27B 参数的模型用三值量化压到了 6.98 GiB，一张 16GB 显存的显卡就能在本地跑起 256K 上下文——差不多能一次读完整…