Heidi Labs
Meta AIAI 领域最新发展约 7 分钟2,727 字

推出 Muse Image 与 Muse Video

本文目录

我们很高兴推出 Muse Image,并预览 Muse Video——这是 Meta 超级智能实验室(Meta Superintelligence Labs)开发的首批媒体生成模型。

Muse Image 是我们迄今最先进的图像生成模型:它忠实遵循指令、精确地进行编辑,并能基于多张参考图进行合成。它还带来了智能体式的工具使用(agentic tool use)能力,并与 Muse Spark 集成。Muse Video 基于相同的预训练底座构建,以原生音频支持提供卓越的视觉保真度。

Muse Image 即日起在 Meta AI 应用、meta.ai、美国地区的 Instagram Stories,以及部分国家的 WhatsApp 上可用,并将很快登陆 Facebook。Muse Video 将很快向创作者和 Meta AI 用户开放。

Muse Image:智能体式图像生成#

Muse Image 不会把提示直接映射为图像,而是作为一个智能体(agent)运作:它调用搜索与编码工具来提升准确性,对自身生成的图像进行自我精炼,并通过扩展测试时算力(test-time compute)来改进。Muse Image 还与 Muse Spark 集成,使两个模型能够共享工具并联合规划,从而实现强大的智能体式媒体生成。

工具使用#

我们为 Muse Image 提供了一系列工具,以增强其智能体能力。

编码(Coding)。 在强化学习过程中,Muse Image 学会了编写并执行代码,以生成准确的图表与二维码,并以渲染出的图形为条件来提升生成图像的准确性。Muse Spark 与 Muse Image 也可协同,把代码生成与媒体生成结合起来,制作动态 GIF、内嵌图像的网站,以及可交互的视觉游戏。

搜索(Search)。 Muse Image 学会搜索网络,使生成的图像以事实性、实时性的信息与视觉参考为依据。启用搜索可提升知识密集型提示的事实准确度,尤其是涉及时事与现实世界事实的提示。

启用搜索工具后 Muse Image 的表现提升。胜率来自内部消融实验。

自我精炼#

Muse Image 会在其思维链(chain of thought)中对自身工作进行反思与改进。这种自我精炼行为可以表现为不同形式:当某个小细节不对时,对当前图像草稿做局部编辑;当较大部位出错时,从头重新生成一张图像;或采用不同的策略,例如通过工具使用实现更符合事实的生成。这一行为并非我们设计的,而是在强化学习训练中自然涌现的——原因很简单:自我精炼产出了更好的图像,因而获得更高奖励。

Muse Image 因涌现出的自我精炼而提升。胜率来自内部消融实验。

自我精炼 · 寻找参考图像

自我精炼 · 组装跨页

我正在拼合这张光面杂志页面,将打样步骤、标题与时尚肖像编织成一个协调的版面,同时检查排版、间距与金色点缀的细节,以营造精致的编辑感。

自我精炼 · 修正公式

我正在修正公式,补上遗漏的除号,调整版面使表达式读作 S = n(n + 1) / 2,并复核周围的文本以确保清晰与一致。

自我精炼 · 检查图像

我正在查看生成的杂志图像,以确认宏观细节、光面版面与打样准确无误,然后再分享给你;如果你愿意,我也可以调整排版或更换肖像。接下来你想调整什么?

✓

完成

测试时算力扩展#

与语言模型类似,Muse Image 在推理时「思考」得越多,表现就越好。随着测试时算力增加,模型进行更多推理、调用更多工具、执行更多自我精炼步骤来改进生成结果。提高推理强度(从而增加测试时算力)可提升人类偏好的 Elo 分数,并呈现近似对数线性的扩展关系。值得注意的是,这些算力横跨两类非常不同的工作——用于推理的文本 token 与用于生成的视觉 token——但质量是二者合计总算力的函数。

我们发现,审慎地使用 token 预算,对有效的测试时扩展同样重要。Best-of-N(BoN)——即模型生成若干图像并保留最好的一张——能在早期提升质量,但很快饱和。把同样的算力花在有意识的推理上,扩展效果要好得多。推理与工具使用结合时会相互增强。工具让模型能够触及其已有知识之外的东西——无论是搜索它所缺少的参考,还是编写代码把精确细节做对——从而填补仅靠推理无法填补的空白。

Muse Image 随测试时算力的扩展而提升。Elo 来自内部消融实验。

图像编辑#

Muse Image 精确地编辑图像,只改变用户所要求的内容。如我们的示例所示,它能遵循多种多样的指令。

Muse Image 在多轮编辑之间保持一致性,支持迭代精炼与开放式头脑风暴,直至达到目标结果。

查看对话

查看对话

多参考图像合成#

Muse Image 可以合成提示中多张输入参考图里的元素,包括人物、物体、服装、风格与环境。它支持在提示中内联交错文本与图像,以实现复杂的图像合成。

查看对话

查看对话

图像基准测试#

截至本文撰写时,按照人类偏好 Elo 排名,Muse Image 在 Arena 的文生图、单图编辑与多图编辑三项上均位列第二。

Arena Elo 排名,截至 2026 年 7 月 5 日。
Arena Elo 排名,截至 2026 年 7 月 5 日。
Arena Elo 排名,截至 2026 年 7 月 5 日。

预览 Muse Video#

在发布 Muse Image 的同时,我们也分享 Muse Video 的早期预览。它在提示遵循、视觉保真度与时间一致性方面具有有竞争力的表现。我们正投入当前仍存在差距的领域,例如音视频同步与物理上准确的快速运动。Muse Video 将很快向创作者和 Meta AI 用户开放。

截至本文撰写时,在 Arena 上,Muse Video 的人类偏好 Elo 在文生视频中排名第三。

Arena Elo 排名,截至 2026 年 7 月 5 日

Content Seal#

为了帮助人们验证一张图像是否为 AI 生成,Muse Image 内置了 Content Seal——我们的隐形水印(invisible watermarking)系统。通过 Meta AI 应用与 meta.ai 上的 Muse Image 创建的图像,都带有一个隐藏的来源信号(provenance signal),即使在裁剪、压缩、缩放或截屏之后仍然保持完整。我们计划很快把 Content Seal 扩展到视频。我们正在预览一款检测工具,让你可以检查某张图像是否带有 Content Seal 水印,从而初步帮助你更好地判断一张图像是否由 Meta AI 制作。

Meta 产品中的 Muse Image#

Muse Image 与 Meta 生态深度连接。我们在图像与视频生成上的持续投入,将进一步帮助创作者与企业跨 Meta 产品生成动态内容。

为小型企业制作营销素材

直接在 Instagram 中使用个性化预设

画廊

探索更多资源#

在 Meta AI 中试用 Muse Image

检查 Content Seal

探索 Meta AI 研究

阅读更多 Meta AI 更新

了解 Meta AI

在 Meta 从事 AI 工作

作者:Meta Superintelligence Labs