更多精彩 >

昆仑万维开源R1V视觉思维链推理模型,开启多模态思考新时代

2025-03-18 16:09:22   来源:财经网  作者: 

摘要:3月18日,昆仑万维正式开源首款工业界多模态思维链推理模型SkyworkR1V,即日起开源模型权重和技术报告。

3月18日,昆仑万维正式开源首款工业界多模态思维链推理模型Skywork R1V,即日起开源模型权重和技术报告。

1

开启多模态思考新时代

继OpenAI o1和DeepSeek-R1在全球掀起长思考模型热潮后,大模型进入新技术范式。昆仑万维秉持实现 AGI 的初心,积极贡献开源社区,正式开源Skywork R1V多模态视觉推理模型,成为中国第一个开源「多模态推理模型」的企业。

什么是视觉推理模型?

视觉推理模型是一类能够解决需要思维链(Chain-of-Thought)的视觉任务的模型,通过对视觉信息进行多步逻辑推理与分析,逐步推导出最终结果。这种模型不仅关注图像内容的识别与理解,更强调通过层层递进的推理路径,实现复杂视觉问题的精准求解,例如视觉逻辑推理、视觉数学问题、图像中的科学现象分析、医学影像的诊断推理等,从而有效拓展了视觉大模型的应用边界。

无论是日常繁琐的工作任务、复杂的数据分析、难以解答的学术问题,还是前所未见的陌生场景,都可以交给Skywork R1V进行高效处理。

快速体验下来,R1V的视觉理解和推理能力双双在线。这样的模型能力是如何炼成的呢?

强大推理能力,刷新跨模态任务新高度

在Reasoning推理能力方面,Skywork R1V实现了模型的顶尖逻辑推理与数学分析能力。在权威的MATH500和AIME基准测试中,Skywork R1V分别取得了94.0和72.0的高分,明显领先于行业内众多主流模型。Skywork R1V在纯文本复杂推理任务中展现出卓越性能,使其在逻辑推理和数学问题求解领域展现出人类专家级别的水准。

在Vision视觉理解能力方面,Skywork R1V成功地将其强大的文本推理与思维链推导能力高效迁移到视觉任务中。凭借创新的跨模态迁移技术与推理优化框架,Skywork R1V能够高效解决需要多步视觉推理的问题,在MMMU与MathVista等视觉推理基准中分别取得了69和67.5的优异成绩。这些结果不仅明显超越了多个近似大小的开源竞争模型,更达到与规模更大的闭源模型媲美的水准,充分证实了Skywork R1V在需要视觉思维链推理的跨模态任务中的领先优势。

Skywork R1V通过视觉与文本能力的深度融合和视觉思维链推理能力的突破,推动了多模态推理模型的进一步发展,标志着人工智能领域的又一重大进步。

目前,Skywork R1V已全面开源,期望助力全球范围内更多视觉推理任务的学术研究与产业应用探索。

和开源同规模或更大规模模型的对比,Skywork R1V 38B体现出行业显著优异的推理能力,以及领先的多模态视觉理解能力。如下图,与开源同规模或更大规模模型的对比:

2

与闭源头部模型性能对比,R1V 38B模型性能媲美甚至超越更大开源模型以及主流闭源模型。如下图,与开源大尺寸模型与闭源专有模型的对比:

3

三大核心技术创新,引领视觉推理新突破

Skywork R1V能够达到当前的性能高度,依赖于以下三项关键技术创新:

1、文本推理能力的多模态高效迁移

昆仑万维团队首次提出利用Skywork-VL的视觉投影器,无需重新训练语言模型和视觉编码器,即可实现文本推理能力的高效迁移到视觉任务,同时保留了优秀的原本推理文本能力(AIME 72.0,MATH500 94.0)。

2、多模态混合式训练(IterativeSFT+GRPO)

通过结合迭代监督微调(Iterative SFT)和GRPO强化学习,分阶段对齐视觉-文本表征,实现跨模态任务的高效融合,极大提升跨模态任务的表现。推动模型在MMMU基准达到69分的能力,同时在MathVista达到67.5分,与更大规模的闭源模型基本持平。通过反复迭代地利用高质量数据与高难度数据的组合,实现模型持续的知识巩固与错误纠正,显著提升了多模态推理的精度与泛化性能。

图丨多模态混合式训练(来源:Skywork R1V技术报告)

图丨多模态混合式训练(来源:Skywork R1V技术报告)

3、自适应长度思维链蒸馏

团队提出了一种基于视觉-文本复杂度的自适应推理链长度控制机制,动态优化模型推理过程,避免模型“过度思考”,提升推理效率。结合多阶段自蒸馏策略,进一步提升了数据生成与推理过程的质量,促进了模型在复杂多模态任务中的表现。

图丨自适应长度思维链蒸馏(来源:Skywork R1V技术报告)

图丨自适应长度思维链蒸馏(来源:Skywork R1V技术报告)

Skywork R1V在训练过程中创新性地采用了三阶段方法,使得文本端强大的推理能力得以高效迁移至视觉任务上,具体训练流程如下:

1、STEP1 视觉语言表征的初始对齐

训练时首先使用轻量级的视觉适配器(MLP)连接视觉编码器(ViT)与语言模型,在已有的200万条常规多模态数据上进行训练,使得MLP初步学习如何将图像特征映射至语言空间。这一阶段仅训练MLP适配器,视觉编码器和语言模型参数保持冻结不变,快速、高效地实现视觉与语言表征的初步对齐。

2、STEP2 推理能力迁移

利用第一阶段训练好的MLP适配器,直接将视觉编码器与原始的强推理语言模型(R1-distilled-Qwen-32B)连接,形成Skywork-R1V视觉推理模型。虽然此时语言模型的参数发生了改变,但得益于语言模型架构的高度相似性和MLP的泛化能力,重新组装后的模型已能表现出一定的视觉推理能力,初始性能即达到业内同等规模的先进水平。

3、STEP3 视觉与文本模态精准对齐

最后,采用创新的“混合优化框架”,进一步精准对齐视觉和语言模态的表征。这一阶段分为两大步骤:迭代监督微调(Iterative SFT)和群组相对策略优化(GRPO)强化学习。在整个训练过程中,Skywork-R1V还创新性地引入了“自适应长度思维链蒸馏技术”,动态优化推理链长度,防止模型过度思考,从而提升了推理效率和质量。

通过以上的训练策略,Skywork R1V在视觉推理任务上取得突破性进展,并在多个公开评测基准中达到或超过了现有领先模型的性能。

此外,Skywork团队多模态理解模型也在进行"全面贯通"的进化,将视觉多模态扩展为全模态模型,引入语音理解能力。当前,全模态模型往往受限于特定领域不仅需要独立训练多个专业模型,更面临跨模态协同的算力挑战。

基于R1V模型,Skywork团队设计了一种灵活在R1V中扩展语音理解模态的方式,从而实现一个全模态思考大模型,该在单个模型中同时实现图像、视频、语音的全模态理解能力,并在语音和视觉理解评测中斩获多项SOTA成绩。我们将陆续公布测评成绩、开源全模态思考大模型。

持续开源回馈社区,坚定迈向AGI

2023年10月以来,昆仑万维陆续开源了百亿级大语言模型「天工」Skywork-13B系列、数字智能体全流程研发工具包AgentStudio、4000亿参数MoE超级模型、2千亿稀疏大模型Skywork-MoE、推理模型Skywork-o1-Open等。2025年2月18日,昆仑万维同时将SOTA级别的SkyReels-V1和SkyReels-A1进行开源。

在语言生成模型、AI Agent、推理模型、视频生成模型等相继开源、多点开花之后,我们正式开源Skywork R1V多模态推理模型,在文本-视觉多模态推理方向再下一城,成为中国第一家开源多模态思考模型的企业。

中国企业过去一年在AI领域的开源贡献,让全世界AI从业者和开发者享受到了技术共享带来的普惠发展。DeepSeek的开源为AI行业提供了新的发展范本,多项开源成果显著降低了AI技术的应用门槛、促进全球AI技术的民主化。昆仑万维作为中国AI领军企业,我们将持续开源优秀的模型、数据集等,共建开发者生态、加速技术创新、降低应用门槛、推动技术平权和AI行业发展。

此文内容为企业供稿,仅供参考。


猜你喜欢

昆仑万维开源面向AI短剧创作的视频生成模型SkyReels-V1,重塑AI短剧行业格局

昆仑万维创新创业

2月18日,昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOT...

2025-02-18

昆仑万维发布Matrix-Zero世界模型,开启空间智能新时代

昆仑万维创新创业

2月14日,昆仑万维正式推出 Matrix-Zero世界模型,成为中国第一家同时推出3D场景生成和可...

2025-02-14

昆仑万维「天工大模型4.0」o1版(Skywork o1)正式启动邀请测试

昆仑万维智能+

今天,昆仑万维正式推出具有复杂思考推理能力的系列模型——“天工大模型4.0” o1版(Skywork...

2024-11-27

昆仑万维推出“天工大模型4”4o版(Skywork 4o)

昆仑万维智能+

从「天工大模型1.0」的研发到「天工大模型3.0」的发布,再到今天的「天工大模型4.0」阶段,我们坚...

2024-11-20

原创

A股最牛黄金股,横空出世了

一路上涨的黄金,最近又杀疯了。

2025-09-11

全球首创!德氪微发布基于毫米波的隔离通信技术

德氪微

近日,深圳高新技术企业——德氪微电子(深圳)有限公司正式发布全球首颗基于毫米波超短距离通信的数字隔离...

2025-09-11

全球前十老牌黄金外盘交易平台综合排名(2025版)

金融科技黄金交易平台

在风云变幻的全球金融市场中,外盘黄金以其独特的魅力吸引着无数投资者的目光。

2025-09-11

AICPA & CIMA 调查:超半数美企业高管预计美国将出现经济衰退

金融科技AICPA&CIMA

根据AICPA&CIMA最新发布的2025年第三季度《经济前景调查》,美国企业高管对整体经济的看法较...

2025-09-11

讣告:西马克集团企业掌门人及前CEO-海因里希•魏斯逝世,享年83岁

人物海因里希•魏斯

西马克集团悼念海因里希•魏斯先生(Heinrich Weiss)的逝世。

2025-09-11

护航肢残少年逐梦,脑机科技点燃希望之光

创新创业强脑科技

9月6日,余杭仁和中学的学生马天佑有了一只新的手——这个先天性独臂少年,在余杭区残联的推荐下,由珍惜...

2025-09-11

投资伦敦金用什么软件?国际十大主流伦敦金软件推荐!

金融科技伦敦金

在2025年的金融市场中,伦敦金(国际现货黄金)行情突破3550美元/盎司后,日均波动升至3%以上,...

2025-09-11

贵金属网上交易平台哪个好?2025十大网上权威贵金属平台!

金融科技贵金属投资

随着全球经济不确定性加剧,贵金属作为避险与增值兼具的资产,成为越来越多投资者的配置选择。

2025-09-11

十大贵金属正规交易平台(实力榜单)

金融科技贵金属投资

在全球经济波动加剧、投资避险需求攀升的背景下,贵金属作为“硬通货”再度成为投资者资产配置的核心选择。

2025-09-11

投资家网(www.investorscn.com)是国内领先的资本与产业创新综合服务平台。为活跃于中国市场的VC/PE、上市公司、创业企业、地方政府等提供专业的第三方信息服务,包括行业媒体、智库服务、会议服务及生态服务。长按右侧二维码添加"投资哥"可与小编深入交流,并可加入微信群参与官方活动,赶快行动吧。

新锐AI硬件企业微珩科技完成千万级Pre-A轮融资

新锐AI硬件企业微珩科技完成千万级Pre-A轮融资

昂泰微精完成数亿元B轮融资,加速高精度手术机器人平台建设

昂泰微精完成数亿元B轮融资,加速高精度手术机器人平台建设

象生科技连获两轮天使 + 轮融资,产业资本联合加码前沿科技

象生科技连获两轮天使 + 轮融资,产业资本联合加码前沿科技

亲合力生物医药母公司完成近3亿B3轮融资,聚焦肿瘤治疗创新药物

亲合力生物医药母公司完成近3亿B3轮融资,聚焦肿瘤治疗创新药物

投资家网主办:“智造未来-人工智能与机器人”专场路演成功举办

投资家网主办:“智造未来-人工智能与机器人”专场路演成功举办

投资家网联合深圳市龙岗区人工智能(机器人)署于9月28日联合主办“智造未来——人工智能与机器人”专场...

分化浪潮中的坚守与突破 | 第19届中国投资年会,即将启幕

分化浪潮中的坚守与突破 | 第19届中国投资年会,即将启幕

在时代的浩渺长河中,“分化”宛如一条隐匿的脉络,贯穿于万物的生长、发展与变迁。从生命的进化到文明的演...

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会于2025年4月9日在匈牙利布达佩斯盛大启幕。