把 AI 模型跑在手机和电脑本地:高通 AI Hub 中国版部署入门
把 AI 模型跑在手机和电脑本地:高通 AI Hub 中国版部署入门 云端大模型很强大,但也有绕不开的麻烦:要联网、有延迟、数据得出去一趟。对看重响应速度和数据隐私的场景,把模型直接部署到终端设备上显然更合适。近…
把 AI 模型跑在手机和电脑本地:高通 AI Hub 中国版部署入门 云端大模型很强大,但也有绕不开的麻烦:要联网、有延迟、数据得出去一趟。对看重响应速度和数据隐私的场景,把模型直接部署到终端设备上显然更合适。近…
引言 11 月初,百度正式开源了文心 5.5 Flash Base 这个基座大模型。它采用稀疏 MoE 架构,总参数 2800 亿,每生成一个 token 只激活约 140 亿参数,原生支持最长 128K 的训练上下文,经过微调后还能扩展到 100 万 …
Strata 0.2.10 上手:8GB 显存本地跑 128K 上下文大模型 很多想本地跑大模型的人都卡在一个问题上:显存不够。一张入门级显卡往往只有 8GB 显存,跑个 7B 模型都吃力,更别提长文本了。最近开源工具 Strata 更新到 …
Liquid AI LFM3 多模态开源模型上手:单张 GPU 跑文本、视觉与音频 最近 Liquid AI 放出了 LFM3 系列多模态开源模型,让"在本地一张显卡上同时处理文字、图片和声音"这件事变得更现实。它不是一个单独的大模型,而…
大模型现在越做越大,但对个人和中小团队来说,能在本机跑、又够聪明的小模型往往更实用。商汤最近开放的 SenseNova-Loop-9B-Preview,就是这样一个走"循环计算"路线的开源模型,采用 Apache 2.0 许可,能处理文字…
最近 Meta 开源了一款叫 Muse Glimmer 30B 的模型,定位挺特别:它不是拿来闲聊的,而是专门给「本地智能体」用的。说人话就是,同一个模型既能看懂图片、又能多步推理、还会自己调用工具,中途失败了还能换条路子…