这项由南边科技大学、香港科技大学、香港科技大学（广州）、香港理工大学以及LIGHTSPEED蚁集开展的盘问，以预印本神态发布于2026年6月，论文编号为arXiv:2606.02388，有酷好深远了解的读者可通过该编号查询完整论文。
当咱们驳斥AI智能体的时候，脑海中浮现的时时是那种大致自主操作网页、在凭空房间里完成任务、或者帮你搜索信息的"数字助手"。锻真金不怕火这类助手的主流方式，叫作念强化学习——说白了，即是让AI束缚尝试，作念对了就给奖励，作念错了就扣分，冉冉学会哪些行为能拿到高分。这套逻辑听起来很像锻真金不怕火小狗：作念对了给零食，作念错了不给。
然则问题来了：小狗作念了某个动作之后，它会坐窝看到环境的响应——你皱了眉头，或者振作性摸了摸它。但用强化学习锻真金不怕火的AI智能体，接受到的只是"任务完成"或"任务失败"这么的最终评分。至于它每一步操作到底对寰宇酿成了什么影响，它险些一无所知。这就像一个厨师只知说念临了这说念菜被评了几分，却完全不澄澈是哪一步下盐、哪一步翻炒出了问题。旷日持久，厨师可能偶尔作念出佳肴，但永远不会信得过露出烹调的旨趣。
盘问团队恰是从这个痛点启航，刻毒了一个叫作念PaW的锻真金不怕火框架。PaW是"Policy and World modeling co-training"的缩写，直译过来即是"计谋与寰宇建模协同锻真金不怕火"。它的中枢想路绵薄而高明：AI智能体在锻真金不怕火过程中本来就会产生多数"熟识纪录"，每一札纪录都包含了"作念了什么动作"以及"之后环境变成了什么花样"。这些信息过去只被用来狡计分数，而PaW把它们变成了额外的学习材料，让智能体同期学会"量度下一步会发生什么"。不需要额外的数据汇聚，不需要单独建树一个模拟器，也不会在本色使用时增多任何狡计背负——过剩的学习就发生在底本的锻真金不怕火过程中，顺遂完成。
一、AI智能体的"只知说念放置，不懂过程"逆境
要露出为什么PaW的出现很抨击，得先搞澄澈现存锻真金不怕火方式的局限在何处。
圭臬的强化学习锻真金不怕火，就像让一个学生反复作念模拟考题，然后只告诉他最终收获，不给任何领略。学生会渐渐摸澄澈哪类题型容易得分，但他对知识自己的露出可能依然破败。在AI智能体的场景里，这种颓势体现得更为较着：智能体可能学会了某个"规定"——比如在特定情境下输入某个提醒时时能拿高分——但它并不信得过露出这个提醒会对环境产生什么影响。一朝遭遇了略微目生的场景，或者某个操作产生了不可逆的后果，它就会堕入杂沓。
盘问团队把这种缺失定名为"寰宇建模才智"的穷乏。所谓寰宇建模，说穿了即是：给智能体一个刻下气象和一个探求给与的动作，它能量度出接下来环境会变成什么样。这听起来像是东说念主类的知识——你知说念掀开雪柜门，雪柜里的东西就会披露在你眼前；你知说念搜索"玄色小号T恤"，网页会复返一堆经营商品。但AI智能体如若穷乏这种预判才智，就会像一个对寰宇运转毫无宗旨的东说念主一样，只可靠反复试错蕴蓄劝诫。
为了弥补这个缺口，学术界还是有一些探索。一类法子是单独锻真金不怕火一个"寰宇模子"，手脚模拟器来生成伪善的锻真金不怕火轨迹，或者在推理时扶持谋略。这类法子的代价是：你需要额外一套模子、额外一套锻真金不怕火历程，推理时还要多走一遍模拟设施，系统复杂度大幅上涨。另一类法子是先给模子注重寰宇建模才智，再启动强化学习锻真金不怕火，相配于分两个阶段完成。这相痛快味着更多的时辰和资源参加，况兼两阶段的合营自己即是个艰巨事。
PaW的想路则完全不同。盘问团队发现，强化学习的锻真金不怕火过程中其实早已藏着多数的寰宇建模素材，只是没东说念主用过它们。
二、被忽视的"免费课本"：锻真金不怕火轨迹里的矿藏
每一次智能体实施锻真金不怕火任务，都会留住一段"轨迹纪录"，形式大约如下：刻下气象 → 实施了什么动作 → 获取了什么奖励 → 环境变成了什么新气象。传统的强化学习只使用前三项——气象、动作、奖励——来更新智能体的计谋。而阿谁"环境变成了什么新气象"，也即是动作之后的不雅测放置，一直被白白丢弃。
盘问团队的中枢洞悉在于：每一条轨迹中的"动作→新不雅测"配对，自然即是一份寰宇建模的锻真金不怕火样本。只消让智能体学会把柄刻下气象和动作来量度下一步的不雅测，它就在熟识露出环境动态。而这份熟识材料，每一轮锻真金不怕火都在免费产生，完全不需要额外汇聚。
具体到技能已毕，PaW的作念法是：在原有的强化学习耗损函数（也即是饱读动智能体选择高分动作的探求）以外，添加一个扶持的寰宇建模耗损函数，条款吞并个模子还要学会量度下一步的不雅测文本。两个探求共用吞并套模子参数，在吞并个锻真金不怕火设施里同期优化。由于谈话模子自然的"因果详细力"机制——后头的翰墨不行影响前边的量度——寰宇建模部分的监督信号不会搅扰计谋决策部分的学习，两者认贼为子。而在本色使用时，模子只需要往常生成动作，完全不需要额外的模拟设施，莫得任何推理支拨。
这就好比一个学厨的学徒，既在熟识"下一步该作念什么操作"，又在熟识"这个操作之后锅里会发生什么变化"，两件事同期学，用的是吞并套熟识材料，用时不变，却多学了一门作业。
不外，正如真实的锻真金不怕火场景里总有各式搅扰要素，这份"免费课本"也远非齐全干净。盘问团队发现了三个必须处分的本色问题，并为此辞别遐想了对应的处分决策。
三、三说念工序，让"免费课本"真碰巧用
第一个问题是：不是整个的动作都值得学。
在某些任务里，智能体会反复实施吞并类高度细则的操作，比如在凭空房间里一遍又一随处走向探求物体。这类动作的放置险些是不错完全料到的，对学习环境动态莫得太大匡助，反而会让模子把太多元气心灵花在近似的、低信息量的样本上。
PaW的第一个遐想是"基于动作熵的数据筛选"。所谓"动作熵"，不错露出为智能体在选择这个动作时有多纠结——如若它险些笃定地要选某个动作，熵就低；如若它对好几个选项都拿不准，熵就高。熵高的动作讲明这个决策点更要道、更复杂，滚球中国官方网站入口其对应的环境响应也更值得学习。PaW会从每轮锻真金不怕火产生的整个轨迹里，只挑出熵最高的那一部分调遣样本来作念寰宇建模锻真金不怕火，默许比例是保留75%的高熵样本，丢弃低熵的近似操作。这么既检朴了狡计资源，又保证了寰宇建模样本的质地。
第二个问题是：不雅测文本里时时羼杂着"噪声"。
论文中举了两个活泼的例子。在凭空家务任务ALFWorld里，相同是"掀开雪柜1"这个动作，在不同的环境实例里，掀开之后看到的东西完全不同——一次内部有杯子、番茄和酒瓶，另一次内部是碗、鸡蛋和马克杯。这种随即性意味着不雅测自己就不是完全可量度的。而在网购任务WebShop里，搜索放置里会羼杂多数商品编号（比如"B09QQP3356"这么的ASIN码）和品牌称呼，这些字符完全随即，根柢无法从语义上量度。
如若用圭臬的交叉熵耗损来锻真金不怕火寰宇建模，模子会被动消费多数元气心灵去"记取"这些随即字符，因为交叉熵耗损对低概率量度的刑事职责成倍放大，一个险些不可能猜中的随即编号会产生极大的梯度信号，把模子的优化标的带歪。论文中的分析自满，在WebShop的场景下，交叉熵耗损中高达32%的梯度份额来自那些被界说为"噪声"的词元，而MAE耗损唯有14%。
可提现游戏平台中国官网PaW的第二个遐想是用"截断MAE耗损"替代圭臬交叉熵。MAE耗损（均统统错误耗损）对低概率量度的刑事职责是线性的而非指数级的，自然对难以量度的词元更宽宏。在此基础上，盘问团队还加入了一个置信度截断机制：如若模子对某个词元的量度概率还是超过了阈值（默许0.2），就觉得这个词元还是学得迷漫好了，径直从耗损狡计中排斥，不再施加梯度压力。这么一来，模子会专注于那些"还没学会但值得学"的不雅测词元，既不会在随即噪声上浪艰巨气，也不会反复免强我方去"过度记挂"还是掌捏的内容。
第三个问题是：寰宇建模的扶持锻真金不怕火和强化学习的主锻真金不怕火之间，力量需要动态均衡。
如若给寰宇建模探求缔造一个固定的、较大的权重，它可能会压过稀少的奖励信号，让强化学习失去主导。但如若权重太小，扶持锻真金不怕火又险些莫得放置。更要道的是，不同的任务组在不同阶段对寰宇建模的需求是不同的——那些奖励很差、任务险些全部失败的锻真金不怕火组，正处于最需要露出环境动态的阶段；而那些还是大部分得胜的锻真金不怕火组，只需要陆续精化计谋就好。
PaW的第三个遐想是"奖励自得当耗损均衡"。每一组锻真金不怕火轨迹都有一个平均答复，盘问团队把柄这个平均答复动态狡计寰宇建模的权重：平均答复越低，权重越大；平均答复越高（接近满分），权重越小，让强化学习探求当然占主导。这个机制就像一位贤达的造就，对基础差的队员多花时辰老师战术旨趣，对还是打得很好的队员则让他们更多地在实战中历练妙技，而不是反复和煦论。
三个遐想组合在一都，形成了完整的PaW框架，百人牛牛电子app官方版并被编写成一个松弛的锻真金不怕火算法：每轮锻真金不怕火，先网罗轨迹，然后筛选高熵调遣样本，用截断MAE狡计寰宇建模耗损，用奖励自得当悉数救助权重，临了和强化学习耗损合并，同期更新模子参数。整个这个词历程不需要额外的模子推理，也不需要额外的数据网罗，比拟基础强化学习只增多了约2.1%的锻真金不怕火时辰和2.4%的GPU内存占用。
四、三个战场，PaW的实战收获单
盘问团队在三类不同的任务上评测了PaW的放置，使用的基础模子涵盖了不同限制和系列，强化学习算法也不啻一种。
第一个战场是凭空家务任务ALFWorld。这个环境里，智能体需要在凭空房间中完成六类家务，包括把某件物品捡起放到指定场合、在灯下查验物品、清洗物品、加热物品、冷却物品，以及一次性捡起两件物品。任务最长可达50步，每一步的操作都会对环境气象产生影响，是典型的长序列决策任务。
在1.5B参数限制的Qwen2.5模子上，搭配GRPO算法，PaW把举座得胜率从70.0%培植到了77.9%，培植了7.9个百分点。搭配更先进的GIGPO算法，举座得胜率从87.6%培植到90.4%，培植2.8个百分点。在7B参数限制的更大模子上，GRPO搭配PaW从77.6%培植到80.6%，GIGPO搭配PaW从90.8%培植到91.8%。培植幅度随模子才智增强而有所收窄，这是合理的——越蛮横的模子自己还是更接近天花板，培植空间当然更小。
第二个战场是网购任务WebShop。这个环境里，智能体需要在一个包含11万多件商品的凭空电商平台上，把柄用户的购物需求搜索并购买合适的商品，任务最长15步。这个场景的特殊性在于商品页面包含多数随即文本，恰是前边提到的"噪声不雅测"最严重的场合，亦然截断MAE耗损阐扬作用的中枢场景。
放置自满，PaW在WebShop上带来了更大的培植。1.5B模子上，GRPO搭配PaW的得胜率从60.6%跃升至68.6%，培植8.0个百分点；GIGPO搭配PaW从66.2%培植至75.3%，培植9.1个百分点。7B模子上，两种算法辞别培植4.0和2.9个百分点。
第三个战场是多轮搜索问答任务。这类任务条款智能体通过多轮调用搜索引擎来答复问题，遮蔽了七个不同的问答数据集，包括单跳问答（一次搜索能答复的）和多跳问答（需要屡次搜索、综合推理才能答复的）。在3B和7B限制的Qwen2.5模子上，PaW对GRPO和GIGPO都带来了褂讪的培植，平平分培植幅度在0.9到3.0个百分点之间。
除了这三个主要战场，盘问团队还挑升测试了PaW在不同强化学习算法和不同模子家眷上的泛化才智。PPO算法搭配PaW，WebShop得胜率从59.1%培植到65.2%，培植6.1个百分点；RLOO算法搭配PaW从56.7%培植到61.2%，培植4.5个百分点。在模子家眷方面，Qwen3-1.7B搭配PaW培植8.8个百分点，更大的Qwen2.5-14B培植2.4个百分点。这些数据标明PaW不依赖于某种特定算法或模子架构，而是一种宽广适用的增强法子。
五、当平庸强化学习透顶失效，PaW依然能救场
盘问中最引东说念主热心的一个发现，是PaW在"平庸强化学习根柢学不动"的极点场景下的推崇。
用Llama3.2-3B模子在WebShop上作念GRPO锻真金不怕火，放置锻真金不怕火了150步，模子的得胜率永远在0隔邻逗留——险些整个的任务都失败了，奖励信号额外稀少，相配于学生作念了150说念题，每次都是零分，完全不知说念我方到底何处出了错。在这种情况下，强化学习失去了不错学习的信号，锻真金不怕火堕入停滞。
加入PaW之后，情况发生了戏剧性的升沉。尽管任务奖励依然珍稀，寰宇建模的耗损却提供了密集的学习信号——模子每一步都在尝试量度"实施这个动作之后，购物网站会自满什么"，这个熟识不依赖任务是否得胜，只消有气象-动作-新气象的三元组就能进行。通过这种方式，模子渐渐蕴蓄了对环境运转方式的露出，最终启动产生得胜的购物轨迹，为强化学习提供了正向奖励信号，锻真金不怕火得以陆续鼓励。最终得胜率从险些为零的4.0%跃升至62.2%，培植了惊东说念主的58.2个百分点。
这个放置揭示了PaW的一个额外价值：它不单是是对还是在学的强化学习的镌脾琢肾，还不错在稀少奖励的不毛场景下饰演"引路东说念主"的脚色，匡助智能体从零启动找到学习的标的。
六、消融实践：三个遐想不可偏废
盘问团队还作念了一系列消融实践，挑升考据PaW三个中枢遐想的各自孝敬。
如若把奖励自得当权重去掉，改为对整个锻真金不怕火组使用固定的权重1，ALFWorld得胜率从77.9%着落到75.5%，WebShop从68.6%着落到67.0%。两项任务都着落了，讲明自得当权重确乎有助于均衡扶持锻真金不怕火和主锻真金不怕火之间的联系。
更大的影响来自耗损函数的选择。如若把截断MAE耗损换回圭臬的交叉熵耗损，ALFWorld得胜率从77.9%骤降至68.5%，WebShop从68.6%骤降至57.2%——后者致使比莫得PaW的基础GRPO（60.6%）还要差。这个放置非常昭彰：在有噪声不雅测的环境里，伪善的耗损函数不仅帮不上忙，反而会遭殃主任务的学习。交叉熵耗损对随即噪声词元的过度刑事职责，会把模子的优化资源引向伪善的标的，导致计谋学习受损。
盘问团队还测试了熵选择比例α和截断阈值ρ两个超参数的明锐性。放置自满，在较宽的参数界限内（α从0.25到1.0，ρ从0.0到0.8），PaW都能带来比基础GRPO更好的收获，最好值辞别在α=0.75和ρ=0.2隔邻。这意味着PaW对超参数不是特地明锐，不需要详尽救助也能服务。
说到底，PaW作念的事情不错用一句话空洞：它发现了强化学习锻真金不怕火过程中被耐久忽视的"边角料"，把它们变成了有价值的学习材料，匡助智能体在熟识"作念什么"的同期顺带学会了"作念了会怎样"。这种双管都下的锻真金不怕火方式，不需要额外的本钱，却带来了实着实在的才智培植。
关于平庸东说念主而言，这项盘问的意旨在于：异日那些帮你购物、帮你查贵寓、帮你操作电脑的AI助手，可能会因为类似的锻真金不怕火方式而变得愈加贤达郑重，不仅知说念该作念什么，还信得过露出每一步操作会带来什么后果——而这种露出，恰是让AI助手在复杂、真实的任务中不出错的要道。
虽然，盘问团队也坦诚地指出了刻下框架的局限。PaW现在只学习"下一步的不雅测"，关于更长久的多步影响链条，还莫得显式建模。在某些任务里，一个动作的信得过影响可能要好几步之后才会体现，这部分才智还需要异日的服务来探索。此外，锻真金不怕火轨迹中可能存在多数近似的旅途，这会使寰宇建模的学习样本产生偏差，如何引入各样性采样亦然一个值得深远的标的。感酷好的读者不错通过arXiv:2606.02388查阅完整论文，了解整个技能细节。
Q&A
Q1：PaW框架是什么，和平庸强化学习锻真金不怕火有什么不同？
A：PaW是一种计谋与寰宇建模协同锻真金不怕火框架。平庸强化学习只用"作念了什么动作、得了些许分"来更新模子，而PaW额外哄骗了锻真金不怕火过程中产生的"动作之后环境变成什么样"这一信息，让模子同期学会量度下一步的环境气象。整个这个词过程共用吞并套锻真金不怕火数据，不需要额外的模子或数据汇聚，推理时也莫得任何额外支拨。
Q2：截断MAE耗损为什么比交叉熵耗损更得当寰宇建模锻真金不怕火？
A：在网购、家务等真实环境里，不雅测文本中包含多数随即字符（如商品编号、品牌名等），根柢无法从语义上量度。圭臬交叉熵耗损对这类低概率量度的刑事职责会成倍放大，导致模子把多数优化资源花在"记噪声"上，反而搅扰了主任务的计谋学习。截断MAE耗损对低概率词元的刑事职责是线性的，加上置信度截断机制，只热心"还没学会且值得学"的内容，幸免了这种搅扰，实践自满替换耗损函数后WebShop得胜率培植超过11个百分点。
Q3：PaW在强化学习完全学不动的情况下确凿有用吗？
A：有实考据据维持。用Llama3.2-3B模子在WebShop上作念平庸GRPO锻真金不怕火，锻真金不怕火150步后得胜率仍接近零，奖励信号额外稀少，锻真金不怕火堕入停滞。加入PaW后，寰宇建模耗损提供了密集的学习信号——每一步都在量度环境变化，不依赖任务是否得胜。模子借此蕴蓄了对环境的露出百人牛牛电子app官方版，渐渐产生得胜轨迹，最终得胜率从4.0%跃升至62.2%，培植了58.2个百分点。