Nemotron-Personas-Finance-Japan：捕捉日本人口结构与金融背景的合成数据集

以真实世界分布为基础的日本人物画像复合 AI 方法#

开放数据，打破隐私壁垒，为金融业 AI 铺路#

在金融行业，真实世界数据的使用面临严格隐私法规、合规要求以及对高级领域专业知识需求的重大限制。在此背景下，金融领域的智能体 AI（agentic AI）开发需要合成数据，既能避免使用真实数据的风险，又能反映人口结构、家庭结构和资产状况，以重现多样、真实的金融场景。

为应对这些挑战，Elith 与 NVIDIA 发布了 Nemotron-Personas-Finance-Japan，这是开源人物画像数据集“Nemotron-Personas-Japan”的金融领域扩展。据我们所知，这是首个百万记录规模、将日本官方统计数据与家庭金融和金融素养数据配对的开放人物画像数据集。该数据集基于官方政府统计数据构建，使用 NeMo SDG-PGMs（一种用于合成数据生成（synthetic data generation，SDG）的概率图模型框架）和 NeMo Data Designer（企业级合成数据生成系统）开发。此外，为了增强数据集在金融用例中的实用价值，其设计融入了日本领先金融机构和行业协会提供的洞见与反馈，包括日本财产保险（Sompo Japan）、东京海上控股（Tokio Marine Holdings）、福冈银行（Bank of Fukuoka）、瑞穗金融集团（Mizuho Financial Group）、明治安田生命保险（Meiji Yasuda Life Insurance）以及金融数据利用协会（Financial Data Utilization Association，FDUA）。

该数据集拓展了日本开发者和企业开发和评估符合本地及行业需求 AI 的环境，且无需使用真实客户数据。它以 CC BY 4.0 许可证发布，可用于商业用途。从构建对话智能体到客户模拟和模型评估，它支持实际的金融 AI 开发。包括 Nemotron-Personas-Finance-Japan 在内的 Nemotron-Personas 集合，旨在与用户模拟框架 NeMo User Sim 无缝集成，从而即时执行来自与真实世界一致的多样化分布的模拟。

数据集里有什么？#

• 总计 900 万个人物画像（100 万条记录 × 每人 9 个画像），以自然日语书写
• 每条记录 50 个字段：9 个画像字段、11 个画像属性，以及基于官方人口与劳动统计的 30 个上下文字段
• 总计约 15 亿 token，其中约 7.5 亿为画像 token
• 约 95 万个独特姓名
• 1600 多个职业类别，反映日本劳动力构成
• 全面覆盖人口、地区、资产分布和人格特质等维度
• 多样化画像类型：职业、体育、艺术、旅行、烹饪、金融、金融行为与金融关切
• 自然语言画像属性：文化背景、技能与专长、职业目标与抱负、爱好与兴趣、家庭/育儿/金融背景、金钱观以及财务规划
• 在 CC BY 4.0 许可证下可用于商业和非商业用途

我们如何构建#

数据生成流水线#

它使用 NVIDIA 的合成数据生成框架 NeMo Data Designer 构建。这个复合 AI 系统支持复杂的 Jinja 模板、Pydantic 验证、结构化输出、自动重试以及对多种生成后端的支持。这是生成如此大规模合成数据集所必需的工具集。此外，还使用了以下模型：

• NeMo SDG-PGMs（Apache-2.0）：用于统计基础数据生成的概率图模型框架
• gemma-4-31B-it（Apache-2.0）：用于日语文本生成

增强的文化背景#

Nemotron-Personas-Finance-Japan 在设计上与日本官方人口与劳动统计保持一致，同时考虑了 AI 训练的关键因素：

• 教育：在国家统计对学位层次进行宽泛汇总的地方，我们引入了更细的粒度，使模型能够反映多样化的教育路径。
• 职业：我们纳入了额外的类别（如企业主和专业职业），以拓宽用于训练的职业谱系。
• 人生阶段：我们对统计中很少突出出现的场景（如学生、退休人员和失业时期）进行建模，以呈现更真实的人物画像。
• 家庭金融：除了个人收入和支出倾向，我们还纳入了家庭层面的金融资产和实物资产，以复现多样的经济背景。
• 数字与金融素养：通过纳入互联网和智能手机使用情况以及金融素养，我们使模型能够准确捕捉金融用例中的消费者画像。

设计即隐私#

每个人物画像都是完全合成的。不代表任何真实个体，数据集旨在降低隐私风险。人口结构和家庭金融遵循官方统计和公开调查数据，姓名遵循真实日本命名模式。人物画像由这些分布构建，而非来自真实人物的记录。

这些数据面向谁#

Nemotron-Personas-Finance-Japan 首先面向在日本构建金融 AI 的团队，包括银行和保险公司，以及为它们提供服务的初创公司和集成商。每个人物画像都携带人口结构信息以及家庭金融和金融素养信息。团队可以用它们构建客服智能体、评估销售对话/营销活动、在 NeMo User Sim 中运行用户模拟，以及对面向客户的 AI 进行红队测试。

这次发布也服务于任何为日本用户构建产品的人。它包含 900 万个人物画像，比 Nemotron-Personas-Japan 多 50%，字段数为 50 个而非 22 个。这为任何日语项目提供了更细的人口切片，用于训练和测试。

实际的 AI 应用#

该数据集中的合成人物画像可用于：

• 多轮对话：使用人物画像作为“种子”生成类人对话数据集。
• 领域特定 AI 开发：生成数据集，以构建针对金融用例中真实场景的 AI 助手。
• 偏见测试与公平性：评估模型和 AI 智能体系统在城乡差异、不同年龄群体、教育背景和经济状况下的表现，以检查 AI 在日本社会中是否表现一致。

为什么重要#

获取反映真实世界人口的多样化、高质量训练数据，长期以来一直是 AI 开发中的挑战。企业 AI 开发主要依赖私有数据，这给研究人员、初创公司，尤其是可用数据有限的地区的 AI 开发者制造了障碍。

• 数据多样性：反映日本人口的全谱系，有助于减少有偏训练和模型崩溃风险。
• 文化真实性：减少对西方中心数据集的依赖，支持主权 AI（Sovereign AI）系统的开发。
• 隐私与治理：符合日本以创新为先的 AI 治理方针。每个人物画像都是合成的，因此构建或测试时无需客户数据。

通过在 CC BY 4.0 下发布 Nemotron-Personas-Finance-Japan，我们提供了企业级、高质量的合成数据，使任何人都能以更低成本和更低的隐私风险构建具有文化根基的 AI 系统。

与 Nemotron-PII-Japan 搭配#

Nemotron-PII-Japan 同日发布。它包含 10 万份带有个人身份信息标注的合成日本商业文档，用于训练和测试检测与脱敏模型。其文档基于 Nemotron-Personas-Japan 构建。用 Nemotron-Personas-Finance-Japan 模拟客户，用 Nemotron-PII-Japan 测试你的流水线如何保护他们的数据。

开始使用 Nemotron-Personas-Finance-Japan#

你可以使用以下命令下载该数据集，帮助开发真正理解日本文化和语言的 AI。

from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Personas-Finance-Japan")

用于构建生产级应用的用例：

• 使用人物画像作为对话生成的种子
• 用具有文化根基的数据微调模型
• 构建反映日本整体人口构成的个性化引擎
• 开发具备日本背景的领域特定 AI 智能体

从在日本构建 AI 的团队到面向更广泛区域部署的全球开发者，Nemotron-Personas-Finance-Japan 数据集为你的应用提供了所需的真实、注重隐私的基础。