智东西· 李水青·· 1 天前AI 评分65
百度开源文心5.5 Flash Base，280B总参数、单token激活14B，称同尺寸SOTA
280B总参数、14B激活！百度开源文心5.5 Flash Base，拿下同尺寸SOTA
AI 导读
百度发布并开源文心5.5 Flash Base（ERNIE-5.5-Flash-Base），采用稀疏MoE架构，总参数280B、每个token激活14B，在33.5T tokens上从零预训练。
来源：智东西 · zhidx.com
百度开源文心5.5 Flash Base，280B总参数、单token激活14B，称同尺寸SOTA