百度文心 5.5 Flash Base 开源：普通人也能自己跑起来的国产大模型
引言 11 月初，百度正式开源了文心 5.5 Flash Base 这个基座大模型。它采用稀疏 MoE 架构，总参数 2800 亿，每生成一个 token 只激活约 140 亿参数，原生支持最长 128K 的训练上下文，经过微调后还能扩展到 100 万 …
标签： 文心5.5
共 1 篇文章
引言 11 月初，百度正式开源了文心 5.5 Flash Base 这个基座大模型。它采用稀疏 MoE 架构，总参数 2800 亿，每生成一个 token 只激活约 140 亿参数，原生支持最长 128K 的训练上下文，经过微调后还能扩展到 100 万 …