标签：单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

释放进一步扩展 transformer 的潜力，同时还可以保持计算效率。 标准 Transformer 架构中的前馈（FFW）层会随着隐藏层宽度的增加而导致计算成本和激活内存的线性增加。在大语言模型（LLM）体量不断增大的现在，稀疏混合专家...