MoziAier 27B-TQ:一张 16GB 显卡本地跑 256K 上下文的中文助手
这是什么,为什么值得关注 11 月 1 日,开源社区发布了 MoziAier 27B-TQ。它最打动人的一点是:把 27B 参数的模型用三值量化压到了 6.98 GiB,一张 16GB 显存的显卡就能在本地跑起 256K 上下文——差不多能一次读完整…
这是什么,为什么值得关注 11 月 1 日,开源社区发布了 MoziAier 27B-TQ。它最打动人的一点是:把 27B 参数的模型用三值量化压到了 6.98 GiB,一张 16GB 显存的显卡就能在本地跑起 256K 上下文——差不多能一次读完整…
把 AI 模型跑在手机和电脑本地:高通 AI Hub 中国版部署入门 云端大模型很强大,但也有绕不开的麻烦:要联网、有延迟、数据得出去一趟。对看重响应速度和数据隐私的场景,把模型直接部署到终端设备上显然更合适。近…
引言 11 月初,百度正式开源了文心 5.5 Flash Base 这个基座大模型。它采用稀疏 MoE 架构,总参数 2800 亿,每生成一个 token 只激活约 140 亿参数,原生支持最长 128K 的训练上下文,经过微调后还能扩展到 100 万 …
Strata 0.2.10 上手:8GB 显存本地跑 128K 上下文大模型 很多想本地跑大模型的人都卡在一个问题上:显存不够。一张入门级显卡往往只有 8GB 显存,跑个 7B 模型都吃力,更别提长文本了。最近开源工具 Strata 更新到 …
Liquid AI LFM3 多模态开源模型上手:单张 GPU 跑文本、视觉与音频 最近 Liquid AI 放出了 LFM3 系列多模态开源模型,让"在本地一张显卡上同时处理文字、图片和声音"这件事变得更现实。它不是一个单独的大模型,而…
大模型现在越做越大,但对个人和中小团队来说,能在本机跑、又够聪明的小模型往往更实用。商汤最近开放的 SenseNova-Loop-9B-Preview,就是这样一个走"循环计算"路线的开源模型,采用 Apache 2.0 许可,能处理文字…