从结构反馈到提示策略：学习忠实的文本到图像提示编辑器
本文目录
arXiv:2610.36146（cs.AI）
[提交于 2026 年 10 月 26 日]
标题：从结构反馈到提示策略：学习忠实的文本到图像提示编辑器
作者：Wentao Ye、Yali Ye、Zhiqing Xiao、Ru Peng、Xinpeng Ti、Liyao Li、Zhanming Shen、Peng Lu、Jie Zhang、Haobo Wang
摘要#
提示优化（prompt optimization）应当在不改变用户所请求的场景的前提下，改善用户最终得到的图像。然而，即便全局的图文相似度（text--image similarity）仍然很高，风格化的改写也可能削弱物体属性与物体之间的关系。我们提出了 StruPO，一个具备结构感知能力（structure-aware）的提示编辑器：它使用经过校准的场景图（scene graph）作为共享表示，同时用于策略条件化（policy conditioning）与基于图像的真值监督（image-grounded supervision）。该图显式地指出哪些内容应当被保留，而删除、重排序与插入则提供了一种与 token 对齐的提示修改方式。这就把结构反馈从一种外部批评，转变为可复用编辑策略的训练信号。从该信号中学习，需要同时处理不确定的落地（grounding）与随机性的图像生成。StruPO 通过平滑的奖励塑形（smooth reward shaping）保留落地置信度，并在计算组相对优势（group-relative advantages）之前，对每一次编辑的多个生成图像取平均。实验覆盖三个互不相交的 2K 提示测试集与四个冻结的生成骨干模型（backbone），并与学习式提示优化器、迭代式结构反馈、扩散模型微调以及推理时注意力控制（inference-time attention control）进行了比较。StruPO 改善了忠实度与美学之间的权衡（faithfulness--aesthetics trade-off），在关系保真度（relational fidelity）上取得了一致的提升。独立的自动评估器与一项由 15 名标注者参与的研究提供了互补的证据，且人类偏好差距随着关系复杂度的增加而扩大。受控消融实验表明，这些收益与图条件化、局部编辑以及基于图像的学习相关。所得到的策略在图校准之后，一次前向即可产出可复用的优化文本，无需迭代式的「批评—重写」循环。
主题：人工智能（cs.AI）
引用格式：arXiv:2610.36146 [cs.AI]（或 arXiv:2610.36146v1 [cs.AI] 表示本版本）
https://doi.org/10.48550/arXiv.2610.36146
提交历史#
来自：Wentao Ye
- [v1] 2026 年 10 月 26 日 星期一 18:50:50 UTC（9,030 KB）