Strata 0.2.10 上手：8GB 显存本地跑 128K 上下文大模型
Strata 0.2.10 上手：8GB 显存本地跑 128K 上下文大模型 很多想本地跑大模型的人都卡在一个问题上：显存不够。一张入门级显卡往往只有 8GB 显存，跑个 7B 模型都吃力，更别提长文本了。最近开源工具 Strata 更新到 …
标签： 显存优化
共 1 篇文章
Strata 0.2.10 上手：8GB 显存本地跑 128K 上下文大模型 很多想本地跑大模型的人都卡在一个问题上：显存不够。一张入门级显卡往往只有 8GB 显存，跑个 7B 模型都吃力，更别提长文本了。最近开源工具 Strata 更新到 …