北大等发布多模态版o1!首个慢思考VLM将开源,视觉推理超闭源
北大等出品,北大布多版o闭源首个多模态版o1开源模型来了——
代号LLaVA-o1,模态慢思基于Llama-3.2-Vision模型打造,将开觉推郑州市某某涂装工程厂超越传统思维链提示,源视实现自主“慢思考”推理。理超
在多模态推理基准测试中,北大布多版o闭源LLaVA-o1超越其基础模型8.9%,模态慢思并在性能上超越了一众开闭源模型。将开觉推
新模型具体如何推理,源视直接上实例,理超比如问题是北大布多版o闭源:
减去所有的小亮球和紫色物体,剩下多少个物体?选项:A. 4,模态慢思B. 8,将开觉推C. 2,源视D. 6
传统提示词方法还是理超老路子,让Llama-3.2-11B-Vision-Instruct打个样就是郑州市某某涂装工程厂:
第一步减去所有的小亮球;
第二步减去所有紫色物体;
最后给出答案,鉴于我们已经移除了所有的小亮球,而且一开始就没有紫色物体,正确答案是C. 2;
哐哐一顿输出,得出错误结果。
我们再来看LLaVA-o1的推理过程:
总结阶段:问题是什么?我应该怎么做?
注释阶段:我能从这张图片中知道什么?
推理阶段:如何一步一步解决问题?
结论阶段:最终答案是什么?
是不是明显不同。这就对了,LLaVA-o1超越传统COT思维链,采用了结构化、多步骤推理。
简单说,它将推理过程划分为四个阶段,并在每一阶段采用优中选优策略来为下一阶段提供响应。
难怪看完最新效果,网友们直呼:推理 is all you need!
看来,让模型思考更多在多模态领域也同样适用——
“第一个能自发、系统推理的视觉语言模型”
前一阵,o1模型的发布又带火了COT思维链这一推理模式。(像人类一样步步思考)
于是,让模型思考更多是否会提高模型能力成为新的研究热点。
这不,除了像o1这样的通用大语言模型,北大团队还瞄上了多模态这一领域——
他们超越传统COT思维链,采用结构化、多步骤推理,一举推出多模态版o1模型——LLaVA-o1。
作者先澄清了一下, 虽然最近的VLM模型有类似名称,但LLaVA-o1是建立在Llama-3.2-Vision模型之上,而不是LLaVA。
那么,学会逐步推理的LLaVA-o1有多大提升呢?
根据论文介绍,仅用一个包含10万训练样本的数据集,LLaVA-o1在多模态推理基准测试中超越了其基础模型8.9%,并且在性能上超越了更大的模型。
甚至包括一些闭源模型,如Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。
针对这一提升,团队也发现了背后的关键原因:
结构化响应显著提高了模型的系统推理能力
为了使LLaVA-o1更加结构化和系统化,团队设计了4个标签来帮助模型识别当前的推理阶段,并使用GPT-4o来生成LLaVA-o1-100k数据集。
- <摘要>:该模型简要解释了接下来的任务
- <标题>:它描述了图像中的重要细节(如果有)
- <理由>:它详细分析了这个问题
- <结论>:它基于分析提供最终答案
借助这些标签,LLaVA-o1将推理过程划分为四个明确的阶段:总结(Summary)、视觉解释(Caption)、逻辑推理(Reasoning)和结论生成(Conclusion)。
与思维链提示不同,LLaVA-o1独立参与了这些连续阶段。
不过需要提醒,在LLaVA-o1的推理过程中,前三个阶段都在内部处理(对用户隐藏),而最终结论阶段才是用户可以看到并直接与之交互的。
采用这种设计,可以使模型在不向用户暴露复杂推理细节的情况下,提供清晰和准确的答案。
接下来,LLaVA-o1通过监督微调和阶段级光束搜索方法(stage-level beam search method)来进一步提升推理能力和推理时间的可扩展性。
这里我们重点说一下团队创新提出的阶段级光束搜索方法。
简单说,团队为每个阶段(用标签标记)生成多个响应,并选择其中最佳的一个进入下一阶段。
更具体的,这是一种用于推理时间扩展(Inference-time scaling)的技术,与传统方法不同,阶段级光束搜索专注于模型推理过程中的每个独立阶段。
在这种方法中,模型在每个推理阶段生成多个候选结果,然后从中选择最佳的结果继续下一个阶段的推理。
由于它允许模型在每个阶段进行选择和优化,从而提高了整体推理的质量。
通过这种分阶段的搜索策略,LLaVA-o1能够更有效地进行推理,尤其是在处理复杂的多模态推理任务时。
最后,通过对Llama-3.2-11B-Vision-Instruct模型的微调,结果显示:
LLaVA-o1在多模态推理基准测试上使用10万个训练样本和简单的推理时间扩展方法,实现了8.9%的性能提升,超越了同等规模以及更大或闭源的模型。
北大、鹏城实验室等团队出品
简单认识一下研究背后的团队,论文作者一共6人,下面一一介绍。
Guowei Xu,目前本科就读于清华姚班,对强化学习、机器人和科学领域的AI应用感兴趣。
去年入学以来,他已在国际学术会议上参与发表多篇论文,并获得2024新生一等奖。
Peng Jin(金鹏),曾在清华大学获得学士学位,目前是北大三年级博士生,师从袁粒。
他对文本-视频检索、跨模态表示学习以及多模态大语言模型感兴趣,从2022年9月至今,已有11篇论文被顶会接收。
和他同样北大博三,师从袁粒的,还有Hao Li(李昊),不过李昊之前毕业于北大计算机科学系。
李昊对多模态学习、视觉理解和化学科学人工智能感兴趣,至今已在国际顶会上发表了20多篇论文,总谷歌学术引用量300+。
而他们的老师袁粒,量子位的读者想必都很熟悉了。
袁粒目前是北大深圳研究生院助理教授,专注于多模态深度学习研究方向,一作论文单篇被引用千余次。
屡屡登上热搜的ChatExcel、ChatLaw等垂直领域产品,都是出自他的团队。
另外两位作者:
Yibing Song(宋奕兵),目前是阿里达摩院研究员/研究经理,之前还是复旦大学的一名教师,并在腾讯AI实验室担任高级研究员。
他当前主要对多模态AI感兴趣,至今发表了50多篇顶级论文,而且被斯坦福大学选为全球前2%的科学家之一。
Lichao Sun,目前是美国莱赫大学计算机科学与工程系助理教授。
在此之前,他于2020年在伊利诺伊大学芝加哥分校获得计算机科学博士学位。
他还是多项奖项的获得者,包括2024年微软加速基础模型研究奖、2024年OpenAI研究员奖和NSF CRII奖。
接下来,团队宣布LLaVA-o1的代码、预训练权重、数据集等即将全部开源。
感兴趣的童鞋可以蹲一波了~
(责任编辑:休闲)
-
据韩国媒体9日报道,一艘韩国渔船当天在庆州附近海域与一艘运沙船相撞后倾覆,目前已发现的7人全部心肺停止。 据报道,当地时间约5时43分,这艘载有8人的渔船与运沙船在庆尚北道庆州市甘浦港东南约6公 ...[详细]
-
10月17日,外交部发言人毛宁主持例行记者会。 法新社记者提问,朝鲜近日称,已修改宪法,明确将韩国定义为“敌对国家”。外交部对此有何评论?毛宁 资料图。图源:外交部网站 毛宁表示,中方关注半岛 ...[详细]
-
随着气温的持续下降,每一个生活细节都可能对心脏产生深远影响。特别是对于血压、血脂、血糖异常的人群而言,秋冬季更是心脏保健的关键时期。随着天气转凉,以下几个生活小细节务必引起高度重视。心电图 。王畅摄7 ...[详细]
-
“老年斑”作为一个通俗概念,是不少疾病的统称,如脂溢性角化病、黄褐斑等。它并非老年人的专利,尤其是近年来,越来越趋于年轻化,甚至40岁以下的人也备受困扰。老年斑,可能是内脏衰老的征象医学上,“老年斑” ...[详细]
-
当地时间11日晚,以色列国防军发布消息称,根据与黎巴嫩真主党达成的停火协议,当天上午部队已撤出黎巴嫩南部的希亚姆地区,黎巴嫩武装部队士兵将与联合国驻黎巴嫩临时部队一起部署在该地区。 以色列军方表 ...[详细]
-
@TuTouSuo™️*小红书账号:秃头研究所新传考研/秃头研究所Monsters*如果你觉得自己读论文太过于盲目,不知道从哪里开始;如果你也想要通过碎片化的时间来补充和拓展知识储备;如果你想要一份直 ...[详细]
-
@TuTouSuo™️*小红书账号:秃头研究所新传考研/秃头研究所Monsters*如果你觉得自己读论文太过于盲目,不知道从哪里开始;如果你也想要通过碎片化的时间来补充和拓展知识储备;如果你想要一份直 ...[详细]
-
直播吧10月16日讯 就在刚刚,皇马官方公布了今天的球队训练照,深陷强奸传闻的姆巴佩目前正常随队训练中。皇马官方表示:“我们的球队正在皇马城进行新的训练,安切洛蒂的球队正在备战西甲第10轮比赛,他们将 ...[详细]
-
新华社快讯:据韩国纽西斯通讯社11日报道,韩国警方特别调查团已经进入韩国联合参谋本部。点击进入专题: 韩国“紧急戒严”风波 ...[详细]
-
一批评就崩溃, 一累就放弃, 可怕的「小学生现象」正在压垮无数孩子
很多家长说,孩子上了小学,变了。变得输不起,不顺心就发脾气,遇到课业难题轻易放弃,生活中做事也磨磨蹭蹭,甚至动不动就跟大人顶嘴。但对这个阶段的孩子而言,一味地说教唠叨反而会激起他们的逆反心理。6-12 ...[详细]