11月
05日
腾讯推出Hunyuan-Large开源大模型
牛透社11月5日消息,腾讯公司宣布推出业界参数规模最大、效果最好的开源MoE大语言模型——Hunyuan-Large。该模型总参数量达到3890亿(389B),激活参数为520亿(52B),训练token数量为7万亿(7T),最大上下文长度为256K。
Hunyuan-Large通过高质量的合成数据增强模型训练,支持处理高达256K的文本序列,显著提升了长文本上下文的处理能力。在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上,Hunyuan-Large在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先,超越了Llama3.1和Mixtral等一流开源模型。