牛透社11月5日消息，腾讯公司宣布推出业界参数规模最大、效果最好的开源MoE大语言模型——Hunyuan-Large。该模型总参数量达到3890亿（389B），激活参数为520亿（52B），训练token数量为7万亿（7T），最大上下文长度为256K。

Hunyuan-Large通过高质量的合成数据增强模型训练，支持处理高达256K的文本序列，显著提升了长文本上下文的处理能力。在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上，Hunyuan-Large在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先，超越了Llama3.1和Mixtral等一流开源模型。