06月
03日
昆仑万维开源2千亿稀疏大模型Skywork-MoE
牛透社6月3日消息,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
Skywork-MoE的模型权重、技术报告完全开源,免费商用,无需申请。
昆仑万维成立于2008年,2015年登陆深交所,目前旗下业务覆盖 AGI 与 AIGC、信息分发、元宇宙、社交娱乐及游戏等多个领域,市场遍及中国、东南亚、非洲、中东、北美、南美、欧洲等地。截至目前,全球平均月活跃用户近 4 亿, 海外收入占比达 86%。昆仑万维秉持“All in AGI与AIGC”战略,致力于实现通用人工智能,现已完成“算力基础设施—大模型算法—AI 应用”全产业链布局。