创意任务解决率95%，让视觉AI自己练习，还能把经验带到视频
当AI完成一项任务后，它能留下些什么？
来自北京航空航天大学、香港中文大学和新加坡国立大学的研究团队，近期推出了OmniHarness。他们提出的思路是：让视觉智能体主动进行练习，并检查自身成果，然后将有效的操作流程保存下来。
这样一来，当面对新的需求时，AI手中便多了一份经过实践检验的方法。
论文地址：https://arxiv.org/abs/2609.16057
项目主页：https://omniharness.github.io/
代码与运行说明：https://github.com/OmniHarness/OmniHarness
创意任务解决率高达95%
在ComfyBench创意任务中，OmniHarness的解决率达到了95%，比表格中表现最佳的对照系统SymbOmni高出27.5个百分点。当采用Codex GPT-4o配置时，其总体解决率为92.5%。
表格中的“Pass”指标用于判断流程能否顺利执行，而“Resolve”则衡量最终输出是否满足任务的具体要求。
OmniHarness的两种配置在“Pass”指标上都达到了100%，ComfyMind和SymbOmni同样做到了这一点。它们之间的真正区别在于，那些能够成功运行的流程，最终交出了多少份合格的结果。
当推理骨干网络同样设定为GPT-4o时，OmniHarness的总体解决率为89.5%，而ComfyMind为83%；在创意任务上，两者的表现分别为95%和57.5%。
这些数据表明，除了模型本身的能力之外，经验如何被调用、工具如何被组织，也是值得关注的因素。
采用Codex进行规划后，OmniHarness的总体解决率从89.5%提升至92.5%，复杂任务的解决率则从76.7%提升至83.3%。不同的规划配置，对应着多步任务的不同表现。
不过，这种优势也有其边界：在复杂任务上，83.3%的解决率仍未超过ComfyMind的85%，并非在所有子集上都保持领先。
这些成绩，对应着怎样的应用场景？
输入可以简单到只是一张花朵涂鸦。
涂鸦被重绘成一朵写实的红花，而这种风格又被用于生成一整片花田。
两次生成过程通过中间图像连接起来。
如果换成四格漫画，任务就变成了讲述一个完整的周日早晨：醒来、看手机、发现是周日、继续躺平。画面中的动作和文字都必须服务于这个剧情。
再换成海报和书封，主题、标题和版式又构成了一组需要同时满足的要求。
而餐桌编辑任务则更为精细：需要移除叉子，或者将其替换成勺子，同时还要尽量保留周围的食物、杯子以及桌面布局。
在修改目标对象的同时，也要顾及周围的环境。
成功一次之后，如何留住经验？
创作需求总是在变化。红花可能换成其他物体，重绘之后可能还需要调整布局。一次成功的经验如何帮助到下一次？
OmniHarness采用了符号策略学习的方法，将那些经过验证的成功流程，整理成能够应用于一类任务的通用策略。
以花田任务为例来理解：花朵和颜色可以被替换，但“先重绘草图，再借助参考图生成新画面”这种连接方式，可以成为一套可调整的方法。
保存的策略包含工作流模板、适用条件以及资源依赖关系，而当前图片、具体描述等实例输入则会被剥离出去。
后续调用时，系统会先检查策略是否适用，然后再绑定新的输入，并根据要求调整步骤或组合多条策略。
出题、检查、积累，经验如何循环起来？
第一步，把练习选在值得探索的地方。
自主练习发生在下游任务被明确之前。
如果只做熟悉的题目，就难以填补能力上的空缺；而挑战过于遥远，又缺乏方法支撑。系统会结合练习记录与现有能力，让探索有迹可循。
每轮默认生成10道候选题目，并依据“新颖性”与“能力边界评分”的乘积来决定练习哪一道：
本轮候选任务组成一个集合。
新颖性衡量的是该任务是否很少被练习过；能力边界评分则反映当前能力是否为探索提供了适度的支撑。
同类情境练习得越多，新颖性得分就越低：
系统会记录任务所需的能力，并统计对应“情境-能力”组合的练习次数。对于图生图任务，系统以源图来区分不同情境；而对于文生图任务，则共享一个统一的标记。
得分按所需能力取平均值，以避免能力项列得多的任务自然占据优势。
每项能力由适用且未停用的流程中，可靠性最高的那个提供支持；而可靠性则通过95% Wilson置信区间下界来估计。
整道题的能力估计，取所有能力项中的最低值：
这相当于先看短板：即使大部分步骤都很熟练，但只要有一处缺乏可靠方法，仍然会拖累整体的完成情况。
随后，系统将能力估计值转换成选题分数：
当能力估计值处于中间水平时，得分达到最高；当估计值趋近于0或1时，得分都会下降。因此，练习会偏向那些有基础但仍有挑战的任务。
表达能力支持程度，这套评分是一种选题的启发式方法。
第二步，让检查跟上每一次执行。
系统会安排步骤和依赖关系，将代码编译成ComfyUI工作流，然后检查流程能否运行、各步骤的效果以及最终目标是否达成。
以花田任务为例：假如红花已经偏离了要求，而下一步仍然继续沿用，那么偏差也可能进入新生成的画面。
失败后，系统会定位问题并进行局部修复，尽量保留已经验证成功的部分；必要时，会请求子智能体协助，在重试预算内再次进行检查。
第三步，让成功与失败都成为下一次决策的依据。
验证成功的流程会被抽象并存入库中；失败案例则会记录证据、原因以及修正方法。等价的流程会被合并，可靠性会随着调用次数的增加而更新，经验也会继续影响选题和执行。
策略还需要接受后续的检验。新的成败记录，会持续影响它的可靠性与调用优先级。
经验换个使用者，还管用吗？
团队将自主练习后的策略库冻结，再将其适配到其他智能体的知识接口。宿主智能体保留原有的控制流程，模型本身也不进行微调。
交付的内容既包含成功流程的模板，也包含失败证据与修正方法。其他智能体通过自身的检索、规划和执行机制来使用它们。
同一份经验，让三个系统的总体解决率都得到了提升：
ComfyAgent从32.5%提升至57.0%。
ComfyMind从83.0%提升至88.0%。
SymbOmni从86.0%提升至89.0%。
它们在创意任务上的增幅，分别为27.5、17.5和10个百分点。
创意任务的提升幅度，均超过了各自系统的总体增幅。面对新的要求，已有的流程和纠错经验，仍然能够为不同的系统提供帮助。
还有另一层迁移：只经过图像任务训练的冻结策略库，被用于视频工作流。
视频任务的总体解决率为85.9%，比表格中表现最佳的对照系统高出5.1个百分点；视频到视频任务的解决率达到80.0%，高出13.3个百分点。
其中，图像策略负责内容构建、参考保持等操作，而时序处理仍然交给视频专用组件，两者需要经过适配与组合。
一次任务结束，经验的使用才刚刚开始
这条路径同样需要付出计算成本：自主练习、多轮验证和修复都会增加开销，检索效率与推理预算仍有优化空间。
OmniHarness展示了一种积累经验的方式：模型参数保持不变，但可供调用的方法会随着实践不断更新。
今天留下的经验，有机会成为明天处理新需求的起点。
参考资料：
https://arxiv.org/abs/2609.16057
本文来自微信公众号“新智元”，作者：LRST，36氪经授权发布。