开启多模态思考新时代:昆仑万维开源 R1V 视觉思维链推理模型

xxn 阅读:53532 2025-03-18 18:02:30 评论:0

IT之家 3 月 18 日消息,昆仑万维今日正式开源首款工业界多模态思维链推理模型 Skywork R1V,成为中国第一个开源「多模态推理模型」的企业,即日起开源模型权重和技术报告。

模型权重下载

详细技术报告

据介绍,视觉推理模型是一类能够解决需要思维链(Chain-of-Thought)的视觉任务的模型,通过对视觉信息进行多步逻辑推理与分析,逐步推导出最终结果。这种模型关注图像内容的识别与理解,同时强调通过层层递进的推理路径,实现复杂视觉问题的精准求解,例如视觉逻辑推理、视觉数学问题、图像中的科学现象分析、医学影像的诊断推理等。

在 Reasoning 推理能力方面,Skywork R1V 实现了模型的顶尖逻辑推理与数学分析能力,在权威的 MATH500 和 AIME 基准测试中,Skywork R1V 分别取得 94.0 和 72.0 分;在 Vision 视觉理解能力方面,Skywork R1V 成功地将其文本推理与思维链推导能力迁移到视觉任务中,在 MMMU 与 MathVista 等视觉推理基准中分别取得了 69 和 67.5 分。

昆仑万维称 Skywork R1V 模型拥有三项关键技术创新,IT之家附如下:

文本推理能力的多模态高效迁移

昆仑万维团队首次提出利用 Skywork-VL 的视觉投影器,无需重新训练语言模型和视觉编码器,即可实现文本推理能力的高效迁移到视觉任务,同时保留了优秀的原本推理文本能力(AIME 72.0,MATH500 94.0)。

多模态混合式训练(Iterative SFT+GRPO)

通过结合迭代监督微调(Iterative SFT)和 GRPO 强化学习,分阶段对齐视觉-文本表征,实现跨模态任务的高效融合,极大提升跨模态任务的表现。推动模型在 MMMU 基准达到 69 分的能力,同时在 MathVista 达到 67.5 分,与更大规模的闭源模型基本持平。通过反复迭代地利用高质量数据与高难度数据的组合,实现模型持续的知识巩固与错误纠正,显著提升了多模态推理的精度与泛化性能。

▲ 多模态混合式训练(来源:Skywork R1V 技术报告)

自适应长度思维链蒸馏

团队提出了一种基于视觉-文本复杂度的自适应推理链长度控制机制,动态优化模型推理过程,避免模型“过度思考”,提升推理效率。结合多阶段自蒸馏策略,进一步提升了数据生成与推理过程的质量,促进了模型在复杂多模态任务中的表现。

▲ 自适应长度思维链蒸馏(来源:Skywork R1V 技术报告)

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容