メインコンテンツにスキップ

NVIDIAの日本語合成データセット2種：Nemotron Personas Finance JapanとNemotron PII Japan

技術
解説
NVIDIAは2026年11月10日、日本語AIの開発向けに2つの合成データセット「Nemotron Personas Finance Japan」と「Nemotron PII Japan」をHugging Faceで公開した。どちらも…
作者

obelos

公開

2026年11月11日

更新日

2026年11月11日

NVIDIAは2026年11月10日、日本語AIの開発向けに2つの合成データセット「Nemotron Personas Finance Japan」と「Nemotron PII Japan」をHugging Faceで公開した。どちらもCC BY 4.0で商用利用でき、実在する個人の情報は含まない。

発表の概要

発表の場は、NVIDIAが2026年11月10日に都内で開いた開発者向けイベント「NVIDIA Agentic AI Day」である（NVIDIA公式ブログ）。Hugging Face上のデータセットと解説ブログは、前日の11月9日付で公開されている。

2つとも、エージェント型AI向けのオープンなモデルとデータセットのファミリー「NVIDIA Nemotron」の一部である。合成ペルソナはUSA・インド・日本・ブラジル・フランスなど国別に展開されており、今回はJapan版を金融領域へ広げたものにあたる。PII用には2025年に英語版のNemotron-PII（10万件、55種類以上のPII/PHI）が出ており、今回はその日本語版に相当する。

データセット 中身 規模 主な用途
Nemotron-Personas-Finance-Japan 金融属性付きの日本人合成ペルソナ 900万ペルソナ、約15億トークン 顧客シミュレーション、対話データ合成、エージェント評価
Nemotron-PII-Japan PIIラベル付きの日本語合成業務文書 10万文書、約3,474万トークン PII検出・マスキングモデルの学習と評価

Nemotron Personas Finance Japan

Nemotron Personas Finance Japanは、2025年9月公開のNemotron-Personas-Japan（以下V1）の基本属性を引き継ぎ、家計の金融資産・収入・金融リテラシーを加えた拡張版である。公的統計と家計金融・金融リテラシーのデータを組み合わせた百万レコード規模のオープンなペルソナデータセットとしては初と、NVIDIAは説明している。

V1との比較

項目 V1（Nemotron-Personas-Japan） Finance Japan
公開 2025年9月 2026年11月
レコード数 100万 100万
ペルソナ数 600万 900万（1レコード×9種類）
フィールド数 22 50
総トークン数 約14億 約15億（うちペルソナ文約7.5億）
金融系ペルソナ なし 金融、金融行動、金銭面の懸念
日本語文の生成モデル GPT-OSS-120B gemma-4-31B-it

データの構成

1レコードが1人を表し、50フィールドは「ペルソナ記述9」「ペルソナ属性11」「統計に基づく文脈情報30」に分かれる。対象は47都道府県の18歳以上で、氏名は約95万種類、職業は1,600分類以上。形式はParquet（8ファイル、約1.39GB）である。

  • 9種類のペルソナ記述：金融、金融行動、金銭面の懸念、職業、スポーツ、芸術、旅行、料理、汎用
  • 自然言語の属性：文化的背景、スキル、キャリア志向、趣味、家庭・親・経済的背景、お金への態度、資金計画
  • 主な金融系の構造化属性：世帯の金融資産（household_financial_assets、100万円未満～5,000万円以上の階級）、金融リテラシー（financial_literacy、0～100点を5段階）、保有する有価証券の構成（securities_mix）、保有金融資産（financial_assets_held）、住居形態と住宅ローンの有無（housing_type）、個人収入、平均消費性向、インターネット・スマートフォンの利用

生成方法

生成は「統計から属性を決める」「属性から日本語の記述を書く」の2段構成である（クラスメソッドの検証記事）。

  1. 確率的グラフィカルモデルのフレームワーク「NeMo SDG-PGMs」が、公的統計の分布に従って年齢・性別・地域・学歴・職業・世帯・収入・資産をサンプリングする。
  2. gemma-4-31B-itが、その属性を条件にペルソナの日本語文を生成する。
  3. NeMo Data Designerがテンプレート（Jinja）、出力検証（Pydantic）、自動リトライを含むパイプライン全体を制御する。

シードにした主な統計は、総務省統計局の2024年人口推計、2019年全国家計構造調査、金融経済教育推進機構（J-FLEC）の金融リテラシー調査である。氏名は「名字由来net」の姓（約9.7万）と名（約2万）のデータに基づく。

開発体制

生成パイプラインの構築と大規模生成は、松尾研発のAIスタートアップである株式会社Elithが担い、NVIDIAが全体を統括した。金融機関はユースケースと必要な属性の提示、中間成果物のレビューで参加している。各社の顧客データや機密情報は使われていない。

協力機関 主な関わり
損害保険ジャパン 保険の加入・更新・保険金請求のシナリオ
東京海上ホールディングス 保険マーケティングでの顧客ペルソナ要件
ふくおかフィナンシャルグループ（福岡銀行） 商品推奨に使う属性と嗜好の表現
みずほフィナンシャルグループ サンプルレビュー、データ項目、リテール営業での活用
明治安田生命保険 生命保険のニーズ、営業、商品開発に関わる属性
金融データ活用推進協会（FDUA） 資産運用シミュレーション、属性追加、属性と記述の整合

想定されている用途

  • マルチターン対話データの合成
  • マーケティング・市場調査のシミュレーション
  • 営業トレーニング向けの顧客シミュレーション
  • NVIDIA NeMo User Simと組み合わせたAIエージェントの対話テスト。User Simには金融サービス向けの既存プローブがあり、日本の顧客像・商品・商習慣に合わせて拡張できる

Nemotron PII Japan

Nemotron PII Japanは、PIIを含む日本語の業務文書を想定して生成した10万件の完全合成データセットである。各文書には、本文中のPIIの位置と種類を示す正解ラベルが付いている。公開対象はデータセットのみで、日本語PII検出モデル自体は含まない。

規模と対象

項目 内容
文書数 100,000（data.parquet 1ファイル、学習/テストの固定分割なし）
分野 医療、金融、行政、雇用、教育、法律、IT/セキュリティ、Eコマースの8分野
文書種類 43種類（診断書、ローン審査書類、住所変更届、各種申請書など）
PIIラベル 56種類
アノテーション 810,703スパン（1文書あたり約8.1）
トークン数 約3,474万（1文書あたり約347）
ライセンス CC BY 4.0

PIIラベルには、姓・名（last_name、first_name）、住所（street_address）、email、口座番号（account_number）、生年月日、日付・時刻、医療機関名、教育機関名、公的機関名などがある。日本固有の識別子としてはマイナンバーも対象に含まれる。

データ形式

1レコードは次の4フィールドで構成される。

フィールド 内容
text 文書の本文
text_tagged PIIを [値]ラベル の形でインライン表示した本文
spans PIIごとの start（0始まり）・end（含まない）・text・label
uid 文書ID

文字位置ベースのスパンなので、固有表現抽出（NER）モデルの学習データにそのまま変換できる。

生成方法

生成にはNeMo Data Designerとそのプラグインを使っている（Hugging Faceブログ）。

  1. Person SamplerがNemotron-Personas-Japanから人物属性を供給する。
  2. カタログが企業、銀行、医療シナリオなどの業務文脈を供給する。
  3. CalculationPlanが返済額などの数値を事前計算し、文書生成後にプレースホルダーへ埋め込む。
  4. 品質チェックとして、カタログの型と重複、PydanticスキーマによるPlanの検証、プレースホルダーの解決、文書種別ごとのルールとの整合を確認し、実在情報の混入とラベル誤りも点検している。

評価結果

NVIDIAは、多言語NERモデル urchade/gliner_multi-v2.1 を本データセットで追加学習（学習95,000件、検証5,000件）し、外部の評価データでスパン完全一致のmicro F1（8カテゴリ）を測っている。

評価データ 元モデル 追加学習後 適合率 / 再現率（追加学習後）
Sumi test（2,000文書） 13.41% 73.80% 85.17% / 65.10%
Sumi OOD（520文書、分布外） 8.13% 65.30% 61.63% / 69.43%

早期アクセスで検証したNECは、自社モデルを標準データで客観的に評価できたこと、追加学習で検出率を保ったまま適合率が上がり誤検知が減ったことを報告している。同社は製品の開発と評価に本データセットを使う方針である（NVIDIA公式ブログ）。

2つの組み合わせ方

NVIDIAは、Personas Finance Japanで顧客を模擬し、PII Japanでその顧客のデータが守られているかを検証する使い方を提示している。PII Japanの文書自体もNemotron-Personas-Japanを土台に生成されており、人物像の分布は共通している。

金融機関向けAIエージェントの評価では、次の流れになる。

  1. Personas Finance Japanから、年齢層・地域・金融資産・金融リテラシーなどで評価対象の顧客層を抽出する。
  2. NeMo User Simでその顧客を演じるユーザーを動かし、エージェントとのマルチターン対話を大量に実行する。
  3. 対話ログや申込書などの業務文書をLLMに渡す前に、PII検出・マスキングモデルを通す。
  4. そのマスキングモデルは、PII Japanで追加学習し、同じくPII Japanと自社の評価データで精度を測る。

どの工程でも実在顧客のデータを開発環境に持ち出す必要がなく、開発初期のテストを個人情報の取扱い手続きなしで回せる。

利用時の注意点

どちらも合成データであり、合成データ上の結果は本番データでの性能を保証しない。データセットカードと解説記事が示している制約は次のとおり。

Nemotron Personas Finance Japan

  • Hugging Face版には姓・名の単独フィールド、合成住所、医療系ペルソナがない。これらはエンタープライズ版のみに含まれる。氏名はペルソナ文の中にだけ現れる。
  • 対象は18歳以上のみ。性別は国勢調査に合わせて男女の2区分である。
  • 職業は「都道府県と性別を決めれば学歴と独立」と仮定して生成しているため、現実には少ない組み合わせが出る。
  • 構造化属性とペルソナ文が食い違う場合がある。例として、株式・債券を保有する属性なのに、記述では預金と保険を好むと書かれたレコードが報告されている。どちらを正とするかのルールを利用側で決めておく必要がある。
  • 記述の細部はLLMが書いており、少数派の状況は実態より想像に寄る可能性がある。

Nemotron PII Japan

  • 10万件すべてがPIIを含む。PIIを含まない文書での誤検知を測るには、別のデータが必要である。
  • ラベルは文書種別ごとのルールに基づくため、一部のPIIが未ラベルのまま残り、適合率やF1が歪む可能性がある。
  • 文書同士の類似度が高く、内部検証のF1は98.08%まで上がる。実力の判断には、上の表のような分布外の評価データを別途用意する。
  • データセットカードは、合成文書での好成績が実データでの完全な検出、公平性、法令遵守、漏えい防止を保証しないと明記している。

使い始める

どちらもHugging Faceのdatasetsライブラリでそのまま読み込める。

from datasets import load_dataset

personas = load_dataset("nvidia/Nemotron-Personas-Finance-Japan")
pii = load_dataset("nvidia/Nemotron-PII-Japan")

Personas Finance Japanは約1.39GBあるため、まず1ファイル（約12.5万レコード）だけを読み、属性の分布とペルソナ文の整合を確認してから全件を扱うとよい。

出典