日本意匠公報に含まれる書誌、説明文、分類、複数視点の図面を、機械学習で横断利用できる形へ変換する研究です。第21回言語処理若手シンポジウム（YANS2026）で「クロスモーダル意匠理解に向けた日本語意匠公報データセット構築とベンチマーク設計」として発表しました。
背景
意匠公報には、物品名、物品の説明、意匠の説明、日本意匠分類、ロカルノ分類、Dターム、複数方向から描かれた図面などが収録されています。意匠の検索や分類、類似性の分析、Vision-Language Model（VLM）の学習・評価に利用できる情報ですが、配布仕様は年代によって異なります。そのままでは、書誌と図面の対応づけや、異なる年代をまたいだ一括処理が難しい状態でした。
対象にしたのは2000年から2023年までの意匠公報です。発表資料では、約69万件の公報、約592万枚の図面、元データ約451GBという規模を報告しています。
本人の担当
私は、データを集めるだけでなく、後から条件を変えて検証できる研究基盤として使えることを重視し、次の範囲を担当しました。
- 年代ごとに異なる配布データを統一スキーマへ写像するデータモデルの設計
- 公報データを変換するCLIと、図面画像の正規化処理の実装
- DuckDBを中心とした書誌・分類・図面の関係データ化
- 分析・配布に使うParquet、JSONL、PNGへの変換経路の整備
- VLMを比較する8タスク・34条件のベンチマーク設計
- 実行時のプロンプト、画像順、出力、エラー、使用量を残す評価データベースの設計
- 自動評価だけでは扱いにくい図面説明のための人手評価基準の設計
共同研究では、白田連大、野中尋史、延原章平、河野誠也の4名で取り組んでいます。ここで記載した担当は私自身の実装・設計範囲であり、データセットと研究発表全体は共同成果です。
データ基盤の設計
処理経路は、特許庁の一括提供データから、変換CLIを通してDuckDBとPNGを生成し、用途に応じてParquetまたはJSONLとPNGへ書き出せる構成にしました。発表時の中間生成物は約500GBです。
DuckDB側では、公報、書誌、説明、分類、図面の関係を保持します。画像は相対パスで参照し、別の環境へ移しても再接続しやすい配置にしました。公開用サンプルにはマニフェストとハッシュも含め、どのファイルを使った評価かを追跡できるようにしています。
この構成を選んだ理由は、分析時の結合や抽出には関係データが必要である一方、学習パイプラインへ渡すときはParquetやJSONLの方が扱いやすいためです。単一形式に固定せず、同じ正規化済みデータから用途別の表現を生成します。
ベンチマークの設計
ベンチマークは、物品名生成、物品説明生成、図面間の相対視点推定、日本意匠分類の上位・下位分類、ロカルノ分類、Dタームなどを含む8タスクで構成しています。入力はテキストのみ、代表図のみ、テキストと図面、全図面、分類表を付与した条件などに分け、合計34条件を比較しました。
| 条件軸 | 比較する入力の例 |
|---|---|
| モダリティ | テキストのみ、図面のみ、テキストと図面 |
| 図面数 | 代表図、複数図面、全図面 |
| 補助情報 | 分類表なし、分類表あり |
評価用の公開サンプルは1,000意匠・9,540図面で、34,000件の評価入力を収録しています。公開資料には、Sarashina2.2-Vision-3B、LLM-jp-4-VL-9B-beta、Qwen3.6-27B-NVFP4、GPT-5.6-Lunaの4モデルについて、実行履歴と評価結果を含めています。
各実行では、システム指示、ユーザー入力、画像の順序、要求した出力形式、モデルの生応答と解析後の応答、使用量、エラー、評価結果を保存します。最終スコアだけでなく、失敗例やプロンプト条件までたどれることを再現性の要件にしました。
評価レコードが保持する情報を概念的に表すと、次のようになります。実際のフィールドはタスクごとに異なります。
{
"input": { "text": "...", "images": ["..."] },
"prompt": "...",
"raw_response": "...",
"parsed_response": {},
"usage": {},
"error": null,
"evaluation": {}
}分類タスクの正解率は、評価できた入力に対する正解数として集計します。
評価から確認できたこと
1,000意匠のサンプル評価では、分類表を与えない条件で全モデルが分類に苦戦し、分類表を入力に含めるとQwen系モデルとGPT系モデルの成績が大きく改善しました。一方、代表図を加えても分類精度が常に上がるわけではありませんでした。
複数図面の相対視点推定では、国内モデルが難しい例を多く持つことも確認しました。また、物品の用途や分類語彙は図面だけから一意に決めにくい場合があり、画像を追加すれば必ず解けるという前提を置けないことが分かりました。
図面説明の人手評価では、正確性、情報の網羅性、部分意匠の範囲、文章の流暢さという4軸を1から5で評価する基準を用意しました。公開資料には100意匠、参照図面941枚、生成した詳細図面説明298件を収録していますが、人手スコア自体は未実施として明記しています。
制約と今後の課題
公開しているのは研究データの一部であり、元データセット全体ではありません。また、モデルごとに正常終了した例の集合が異なるため、現在の集計値は完全に同一の成功例集合を使った厳密比較ではありません。
図面説明生成の一部には分類情報を入力として含めているため、その結果から分類能力を評価することもできません。今後、共通成功集合での再集計、人手評価の実施、合成キャプションを用いた画像・テキスト表現学習、国内VLMの追加学習などを進める必要があります。公報の画像・文章を再配布する際の利用条件も、公開範囲ごとに確認します。