美东时间8月21日消息，英伟达公司今日发布轻量级语言模型 Mistral-NeMo-Minitron 8B，其代码在 Hugging Face 以开源许可证提供。该模型是 Mistral NeMo 12B 的缩小版，由英伟达与人工智能初创公司 Mistral AI SAS 合作开发，采用剪枝和蒸馏两种机器学习技术。剪枝可减少模型硬件需求，蒸馏则将知识转移到更高效的神经网络，新模型比原模型少 40 亿个参数。英伟达称此方法提高了模型效率，能在英伟达 RTX 驱动的工作站上运行且在多个基准测试中表现出色。其发布在微软开源三个语言模型一天后，这些模型均考虑硬件效率。微软最紧凑模型 Phi-3.5-mini-instruct 有 38 亿个参数，在某些任务上表现优于参数更多的模型。微软还推出了 Phi-3.5-vision-instruct 和 Phi-3.5-MoE-instruct 两个语言模型。