「生成 AI の試作を3か月やった。担当者は『けっこう良い』と言っている。本番に入れてよいか」。経営者からこう聞かれて、その場で答えられる情シスや現場責任者はほとんどいません。答えられないのは技術の問題ではなく、「良い」を測る物差しを最初に決めていないからです。何件のうち何件が通れば合格なのか、誤った1件が業務にどれだけの損害を出すのか、誤りをどう見つけて止めるのか。この3つが数字と手順で決まっていない試作は、どれだけ精度が高くても本番投入の判断ができません。
この記事は、生成 AI を業務に入れるときの「評価設計」だけを扱います。ハブ記事で書いた FDE（Forward Deployed Engineer）型の進め方は、要件定義書ではなく動くものを先に出し、本番まで持っていく。その代わり、本番に入れる・入れないの判断を「なんとなく良さそう」ではなく、テストセットに対する合格率と、経営・現場・情シスそれぞれの業務判断で決める。答えるのは、評価の3層の分け方、テストセットと合格基準を誰がどう決めるか、本番後にずれをどう見つけるかの3つ。Anthropic・OpenAI の公式ドキュメント、NIST の AI リスク管理フレームワーク、総務省・経済産業省の「AI 事業者ガイドライン」と、当社が経理 AX・kintone・案件管理システム刷新・Claude 導入で本番稼働まで伴走した経験を一般化して書いています。
生成 AI の本番投入の可否は、出力の正しさ・業務上の受け入れ可否・運用上の安全の3層で測る。テストセットは実データから、直近1か月分など期間で切って件数を確保し、例外と月末集中を意図的に含め、本番で誤った件を毎月足して更新する。合格基準は FDE が決めない。出力の正しさの目標は現場、誤りの重さの許容は経営、運用上の安全は情シスが決め、Echo 役が3者の基準を1枚に束ねてテストセットの持ち主になる。本番後は週次のサンプリング監査で修正率を測り、基準を割ったら人の確認に戻す。
この記事の要約
なぜ評価設計が抜けるのか——「精度」と「合格」は別の話
試作の報告書に「精度 92%」と書いてあるとします。これで本番に入れてよいかは分かりません。何件で測ったのか、その件数は実際の業務の分布を映しているのか、残りの 8% の誤りは軽い手直しで済むのか、それとも請求書の宛先を間違えるたぐいなのか。「精度」は測定値で、「合格」は業務判断です。両者をつなぐ約束事が評価設計で、これが抜けた試作は、精度が上がるほど判断が先延ばしになります。
抜ける理由は3つあります。1つ目は、試作の目的が「できるかどうか確かめる」に置かれ、「本番に入れるかどうか決める」になっていないこと。PoC で止まる会社と FDE で動いた会社で書いたとおり、PoC が本番に乗らない原因の多くは精度ではなく、判断者・データの持ち主・運用担当が決まっていないことにあります。合格基準が無いのは、判断者が決まっていないことの別の表れです。2つ目は、評価の担当が AI を作った側に寄ること。作った本人が「良い例」を選んで見せると、当然よく見える。3つ目は、評価を1回きりの行事と考えること。AI の出力は入力データの変化で変わるので、本番投入時の合格は翌月の合格を保証しません。
生成 AI を提供する側も同じことを書いています。Anthropic の開発者向けドキュメントは、成功基準の条件を「具体的」「測定可能」「達成可能」「用途に即している」の4つとし、悪い例に「モデルが感情をうまく分類すること」、良い例に「1万件の多様な投稿からなるテストセットで F1 スコア 0.85 以上、現行の 5% 改善」を挙げている。OpenAI の Evals ガイドは、評価（evals）を「モデルの出力が、指定した内容と形式の基準を満たしているかを確かめるもの」と定義し、モデルを切り替えるときほど欠かせないと書く。ベンダーが「基準を先に決めろ」と言っているのに発注側で抜けるのは、決める人と場が無いからです。
評価の3層——出力の正しさ・業務上の受け入れ可否・運用上の安全
当社は評価を3つの層に分けています。第1層は「出力の正しさ」で、テストセットに対して AI の出力が正解とどれだけ一致するか。第2層は「業務上の受け入れ可否」で、誤ったときに業務でどれだけの損害が出るか、人がどこまで見れば許容できるか。第3層は「運用上の安全」で、権限・個人情報・記録・停止手順・応答時間・費用が本番の条件を満たすか。3層に分ける理由は、決める人が違うからです。第1層の目標値は業務を知っている現場が、第2層の許容範囲は損害の責任を負う経営が、第3層は情シスが決める。1つの「精度」にまとめると、誰も決められない数字になります。
| 層 | 問い | 測り方の例 | 基準を決める人 | FDE の仕事 |
|---|---|---|---|---|
| 第1層 出力の正しさ | AI の出力は正解とどれだけ一致するか | テストセット 300 件に対する一致率。担当者の修正なしに通った割合（修正なし通過率）。項目別の一致率（金額・日付・相手先） | 現場（実務者・課長） | テストセットの採点を自動化し、項目別に数字を出す |
| 第2層 業務上の受け入れ可否 | 誤った1件が業務にどう響くか。人がどこまで見れば許容できるか | 誤りを重さで3段階に分けた件数。重い誤りの上限（例 0 件）。人が確認する範囲の定義（金額・相手先・例外） | 経営（担当役員・部門長） | 誤りの重さの分類案を出し、損害の見積もりに必要な件数を並べる |
| 第3層 運用上の安全 | 本番の条件で動かして問題が起きないか | 権限（誰が何を見られるか）。個人情報・機密の入力範囲。作業記録の保存。停止と切り戻しの手順。応答時間・月額費用の上限 | 情シス（システム担当・監査対応） | 本番と同じ権限・ログ設定で動かし、証跡を残す |
Anthropic のドキュメントは評価の観点として「タスクの忠実度」「一貫性」「関連性と論理性」「文体」「個人情報の扱い」「与えた文脈の活用」「応答時間」「費用」の8つを挙げ、「ほとんどの用途は複数の基準に沿った多次元の評価を必要とする」と書いています。当社の3層に当てはめると、前3つが第1層、確からしさ・文体が第2層、残りが第3層。同じドキュメントの多次元評価の例には「誤りの 90% は不便で済み、重大な誤りではない」という行があり、誤りの重さを基準に入れている点が業務評価で最も参考になります。
第2層を独立させる理由をもう少し書きます。仕訳の自動生成で「一致率 95%」でも、残り 5% に「消費税区分の誤り」と「相手先の取り違え」が混ざっていれば、後者は取引先への支払いを間違える誤りで、1件でも許容できない。逆に、摘要欄の表記が少し違う程度の誤りなら、月に 30 件あっても担当者が直せば済む。誤りを重さで分けて件数を数えると、「一致率 95%」の中身が「重い誤り 2 件、軽い誤り 13 件」のように見えるようになり、経営が判断できる形になります。
評価を本番の前後で続けることは、公的な枠組み（任意の指針）でも示されています。米国 NIST（国立標準技術研究所）が 2023 年 1 月に公開した AI リスク管理フレームワーク（AI RMF 1.0）は、AI のリスク管理を「統治」「把握」「測定」「対処」の4機能に分け、測定の下位項目に「テストセット・指標・検証に使った道具を文書化する（MEASURE 2.1）」「本番環境に近い条件で性能を測って示す（MEASURE 2.3）」「本番稼働中の挙動を監視する（MEASURE 2.4）」を置いている。総務省・経済産業省の「AI 事業者ガイドライン」（2024 年 4 月公表、2026 年 3 月 31 日に第 1.2 版）は、AI を業務で使う側に「AI システム・サービスが想定された仕様に基づき適切に動作しているかを確認する」「AI の出力について精度及びリスクの程度を理解し、様々なリスク要因を確認した上で利用する」ことを求め、開発側には「AI の予測性能及び出力の品質が、活用開始後に大きく変動する可能性又は想定する精度に達しないこともある特性を踏まえ、事後検証のための作業記録を保存」することを求めています。
このガイドラインは法令ではなく、事業者が自主的に取り組む指針です。ただ、取引先や監査法人から「AI の出力をどう検証しているか」と聞かれたとき、項目に沿って評価の記録を出せる会社と出せない会社では、説明にかかる時間が違う。評価設計は本番判断のためであると同時に、後から説明するための記録でもあります。
テストセットの作り方——実データから件数・偏り・更新の型を決める
テストセットは、AI に解かせる問題と正解の対を並べたものです。作り方で決めることは4つ。どのデータから取るか、何件取るか、どんな偏りを含めるか、いつ入れ替えるか。当社が使っている型を表にします。
| 決めること | 当社の型 | 理由・根拠 |
|---|---|---|
| どこから取るか | 実データ。直近 1〜3 か月分を期間で切って全件取る。作った例文は使わない | Anthropic は「実際の業務の分布を映す評価を設計する」を第一の原則に挙げている。作った例文は作った人の想定しか映さない |
| 何件取るか | 1か月分の全件を基本にする（経理の仕訳なら 300〜1,000 件、kintone の問い合わせ分類なら 200〜500 件）。少なくとも項目別に一致率を出せる件数 | Anthropic は「高品質な人手採点が少数あるより、採点の精度が多少落ちても自動採点の件数が多いほうがよい」と書いている |
| どんな偏りを含めるか | 月末・期末に集中する処理、部署ごとの書式の違い、相手先の表記ゆれ、白紙や関係ない書類を意図的に含める。全体の 1〜2 割を「例外枠」として確保 | Anthropic は端の事例として「関係のない入力」「長すぎる入力」「人でも判断が割れる曖昧な事例」を挙げている |
| 正解は誰が付けるか | 現場の担当者 2 人が別々に付け、食い違った件は論点一覧に載せて週次で決める | 正解が割れる件は「業務のルールが決まっていない件」で、業務側で決める |
| いつ入れ替えるか | 凍結セット（本番投入時のまま固定。比較用）と回転セット（本番で誤った件・新しい例外を毎月追加）の2本を持つ | 凍結セットが無いとモデル更新の前後で比較できない |
「期間で切って全件取る」を勧める理由は、選ぶ作業を無くすためです。人が選ぶと、無意識に分かりやすい件を選ぶ。1か月分を全部使えば、月末の集中も例外も自然に入ります。そのうえで、1か月では出てこない年に数回の処理（賞与・決算整理・年度更新）は、過去のデータから該当する件だけ足す。これが「例外枠」です。着任1週間でやるデータの棚卸しは前の記事に書きましたが、その棚卸しの中で「テストセットに使える期間と件数」を同時に確認しておくと、試作の初週からテストセットが揃います。
正解を付ける作業は現場の負担になります。300 件の仕訳に 1 件 1 分で 5 時間。短くする方法は「すでに人が処理した実績」を正解に使うことで、先月の仕訳は担当者が確定させたものなので、そのまま正解にできる。新たに付けるのは実績が無い項目と、実績のほうが間違っていた件だけになり、作業は 1 時間程度に減ります。仮に仕訳 300 件を評価したとして、当社の経験では担当者 2 人の判断が割れた件が 1 割前後あり、ほとんどは「取引先ごとの経費科目の使い分け」のように社内のルールが文書化されていない箇所でした。この 1 割は AI を直しても合格率が上がらない。テストセット作りは、業務のルールが曖昧な箇所を見つける作業でもあります。
合格基準の決め方——FDE は決めない。経営・現場・情シスと Echo 役の分担
合格基準を決めるのは受け入れ側で、FDE ではありません。FDE が決めると、作った側が自分の合格点を決めることになり、第三者に説明できなくなる。FDE を受け入れる社内体制で書いた経営・現場・情シスの3者と、その真ん中の Echo 役（社内で業務と仕組みを引き継ぐ担当）が、評価の3層をそれぞれ担当します。
| 役割 | 決めること | 決めるときの材料 | 決めないこと |
|---|---|---|---|
| 現場（実務者・課長） | 第1層の目標値。修正なし通過率を何%以上とするか。項目ごとに人が必ず見る範囲（金額・相手先・例外） | 現状の手作業の誤り率（人がやっても 100% ではない）。先月の実績から出した AI の一致率 | 誤りの損害額の許容。権限・ログの要件 |
| 経営（担当役員・部門長） | 第2層の許容範囲。重い誤りの上限件数（多くは 0 件）。軽い誤りの月あたり上限。本番投入の可否と日付 | 誤りの重さ別の件数と、1件あたりの損害の見積もり。人が確認する範囲を含めた工数の差 | 一致率の目標値。採点方法 |
| 情シス（システム担当） | 第3層の基準。権限・個人情報の入力範囲・作業記録の保存期間・停止手順・応答時間と費用の上限 | 既存の監査要件。親会社・監査法人からの要求。現行システムのログ方針 | 業務の判断。合格率の目標 |
| Echo 役 | 3者の基準を1枚にまとめる。テストセットの持ち主になる。継続評価の実施者を決める | 論点一覧。週次の実測値 | 基準そのもの（3者に決めてもらう） |
| FDE | 測定方法と採点の自動化。誤りの重さの分類案。本番と同じ条件での検証 | テストセット、本番の権限・ログ設定 | 合格基準の数値。本番投入の可否 |
現場が第1層の目標値を決めるとき、最初に出てくるのは「100% でないと困る」です。ここで当社が必ず出すのは現状の手作業の誤り率で、人が処理した先月の仕訳を別の担当者が見直すと、修正が入る件が数%は出る。この数字を先に見せると、目標値は「人と同じか、少し良い」あたりに落ち着きます。Anthropic が「達成可能」の説明で「業界の基準値・過去の実験・専門家の知見に基づいて目標を置く」と書いているのと同じやり方です。
経営が第2層を決めるときに要るのは、誤りを重さで分けた件数と、1件あたりの損害の見積もりです。「相手先の取り違え」なら誤った支払いの平均金額と気づくまでの日数、「消費税区分の誤り」なら申告の修正にかかる工数。これを FDE と Echo 役が並べ、経営は「重い誤りは 0 件、軽い誤りは月 20 件まで」の形で許容範囲を決める。この上限が、本番後に「人の確認に戻す」引き金になります。
情シスが決める第3層は、FDE を受け入れる社内体制で書いた「着任前に出す3つの一覧（データの持ち主・権限・監査要件）」がそのまま基準になります。評価固有の項目は2つ。テストセットに含まれる個人情報を AI に渡してよいか（渡せない場合は伏せ字版を作る）。本番後の作業記録をどこに何か月残すか。
Echo 役は、3者が決めた基準を1枚の評価設計書にまとめ、テストセットの持ち主になります。持ち主とは、テストセットがどこにあり、いつ更新され、誰が正解を付けたかを答えられる人。FDE が持ったまま帰ると、翌月から誰も評価できない。週次のサンプリングを誰がやるかを決めるのも Echo 役で、多くは現場の副担当が担います。
本番後の継続評価——サンプリング監査と「ずれ」の検知
本番投入時の合格は、その時点の入力データに対する合格です。翌月に取引先が増え、書式が変わり、AI のモデルが更新されれば、同じ設定でも結果は変わる。AI 事業者ガイドラインが「活用開始後に大きく変動する可能性」と書き、NIST が「本番稼働中の監視（MEASURE 2.4）」を求めているのはこのためです。当社は本番後の評価を、サンプリング監査と、ずれの検知の2つで回します。
サンプリング監査は、本番で AI が処理した件から週に 20〜30 件を無作為に抜き、現場の副担当が正解を付けて修正率を出す作業です。所要時間は 30 分程度。抜き方は無作為を守る。気になった件だけ見ると、修正率が実態より高くも低くも出ます。月に 100 件前後になるので、投入時の 300 件と並べて傾向を読める。結果は週次の会議で投入時の合格率と並べて読み上げます。
ずれの検知は、修正率以外の数字から「何か変わった」を早く見つけるためのものです。当社が見ている指標は4つ。人が修正した件の割合、AI が「判断できない」と返した件数、応答時間、月額費用。このうち例外の件数は修正率より先に動くことが多く、取引先の書式が変わると、修正率が上がる前に「判断できない」が増える。4つを週次で記録し、経営が決めた上限を割った週に人の確認範囲を広げます。
再評価の引き金は3つに固定しています。AI のモデルが更新されたとき、業務のルール（科目体系・承認の段数・帳票）が変わったとき、マスタ（取引先・商品・部署）が一定件数以上変わったとき。いずれかが起きたら凍結セットで投入時と同じ測定をやり直す。OpenAI の Evals ガイドが「モデルを切り替えたり新しいモデルを試すときこそ」評価が要ると書いているのは、1つ目の引き金に対応します。週次 30 分のサンプリング、4つの数字、3つの引き金。この3点が FDE が帰った後も続いているかが、評価設計が定着したかの指標です。
経理と kintone での具体例
経理の月次業務に FDE 方式で入る手順は経理業務を FDE 方式で本番化するに書きました。そこで「先月の仕訳 300 件のうち、自動で作った仕訳が担当者の修正なしに通る割合」を合格基準にする、と書いています。この記事の3層に当てはめると、次のようになります。
第1層。請求書 PDF から仕訳候補（相手先・科目・金額・日付・消費税区分）を作る AI に対し、先月の確定済み仕訳 300 件を正解として項目別の一致率を出す。金額と日付は 99% 以上、相手先は 97% 以上、科目は 95% 以上を現場が目標にした。第2層。誤りを「支払いが間違う（相手先・金額）」「申告に影響する（消費税区分）」「社内の集計がずれる（科目・摘要）」の3段階に分け、経営は前2つを 0 件、3つ目を月 20 件までと決めた。0 件のために、相手先と金額は担当者が必ず見る範囲に入れる。第3層。請求書に入る個人名を AI に渡す前に伏せ、AI の出力と根拠（請求書のどの箇所を読んだか）を残す期間を情シスが決めた。3層を通して、本番投入は「翌月の締めから、人の確認付きで開始」と経営が日付を決めました。
kintone の例。kintone×AI を FDE 方式で入れるで書いた「問い合わせレコードの分類と担当割当の候補出し」に当てはめます。第1層。直近 3 か月の問い合わせレコード 400 件を、すでに担当者が付けた分類と担当を正解にして一致率を出す。分類の一致率 90% 以上、担当の一致率 85% 以上が現場の目標で、担当が低いのは「その週の手すき」で決まる件が含まれるためです。第2層。「顧客に間違った担当から連絡が行く」を重い誤りとし、AI の出力は候補にとどめ、確定は kintone のプロセス管理で担当者がボタンを押す形にした。候補のまま止まっている限り、重い誤り 0 件は自動的に守られる。第3層。AI に渡すのは問い合わせ本文と分類の履歴だけで、顧客マスタの連絡先は渡さない。候補と確定の両方を kintone の変更履歴に残す。
2つの例に共通するのは、「重い誤り 0 件」を AI の精度で達成しようとしていないことです。人が必ず見る範囲を決める（経理）、確定は人が押す（kintone）。どちらも業務の設計で 0 件を作っている。AI 事業者ガイドラインが「適切なタイミングで人間の判断を介在させる」ことと「人間の判断が自動化バイアスに左右されないような対策」を求めているのはこの箇所で、AI の候補をそのまま承認する癖がつかないよう、サンプリング監査では人の確定の正しさも一緒に測ります。
評価設計の成果物一覧——本番判断のために残すもの
FDE の成果物は何かで、成果物は「動く仕組み」と「動かし方」の2つと書きました。評価設計の成果物は「動かし方」の一部で、以下の8点です。どれも A4 で1〜2枚か、表1本の粒度で足ります。
| 成果物 | 中身 | 作る人 | 持ち主（FDE が帰った後） |
|---|---|---|---|
| 評価設計書（1枚） | 3層それぞれの合格基準・決めた人・決めた日。本番投入の条件 | Echo 役（3者の決定をまとめる） | Echo 役 |
| テストセット | 凍結セットと回転セット。件数・期間・例外枠の内訳・正解を付けた人 | 現場（正解付け）＋ FDE（整形） | Echo 役 |
| 正解の付け方の手順 | 実績を正解に使う範囲、2人で付けて割れたときの扱い、個人情報の伏せ方 | FDE ＋現場 | 現場の副担当 |
| 採点の仕組み | 項目別一致率・修正なし通過率・誤りの重さ別件数を自動で出す仕組み。採点に AI を使う場合は生成とは別のモデルを使う | FDE | 情シス |
| 評価結果レポート | 投入時の3層の測定結果。凍結セットに対する数値は以後の比較の基準 | FDE | Echo 役 |
| 本番投入の判断記録 | 誰が・いつ・どの数字を根拠に・どの条件（人の確認範囲）で投入を決めたか | 経営（決定）＋ Echo 役（記録） | 経営・情シス |
| 継続評価の手順 | 週次サンプリングの件数・担当・所要時間。4つの指標の記録先。上限を割ったときの対応 | FDE ＋ Echo 役 | 現場の副担当 |
| 停止条件と切り戻し手順 | どの数字がどうなったら AI を止めて人の処理に戻すか。戻す手順と所要時間 | 情シス＋ FDE | 情シス |
採点に AI を使う場合、Anthropic のドキュメントは、出力を生成したモデルとは別のモデルで採点するのが一般的に良いと書いています。同じモデルは同じ癖で同じ誤りを見逃す。当社は、正解が1つに決まる項目は文字列の完全一致で機械的に採点し、摘要文のように幅がある項目だけ別のモデルか人で採点します。
この8点は、検収の条件にそのまま使えます。「動く仕組み」の検収は動作確認が中心になりますが、「本番に入れてよいと判断できる状態」の検収は、評価設計書・テストセット・評価結果レポート・判断記録の4点が揃っているかで見る。FDE の失敗パターン10に挙げた「精度の数字だけ渡されて判断できない」状態は、この4点のうち評価設計書と判断記録が無いときに起きます。
まとめ
生成 AI の本番投入は、「精度」ではなく「合格」で決めます。合格は3層で測る。テストセットに対する出力の正しさは現場が目標値を決め、誤りの重さの許容は経営が決め、権限・記録・停止手順の運用上の安全は情シスが決める。FDE は測定方法を作り、数字を出し、本番と同じ条件で検証する。合格基準そのものは決めない。Echo 役が3者の基準を1枚にまとめ、テストセットの持ち主になります。
テストセットは実データを期間で切って全件取り、例外枠を足し、実績を正解に使う。本番後は週次 20〜30 件のサンプリングで修正率を測り、上限を割ったら人の確認に戻し、モデル更新・ルール変更・マスタ変更を引き金に凍結セットで測り直す。NIST の AI RMF と AI 事業者ガイドラインが求める「テストセットの文書化」「本番に近い条件での測定」「稼働後の監視」「事後検証のための記録」は、この循環を回していれば揃います。試作の報告に「けっこう良い」と書かれていたら、その日のうちに3層の表を出して、誰が何を決めるかから始めてください。
FDE を募集しています（会計FDE／FDE・業務システム）
経理の月次をAIで本番まで持っていく「会計FDE」（会計士・経理責任者・管理部門経験者）と、要件が固まる前に動くものを出して本番まで運ぶ「FDE（業務システム）」（ITコンサル・PM/PL・情シス出身者）を正社員で募集しています。応募でなくても構いません。まず30分の「キャリア相談」から。採用のお問い合わせフォームに「キャリア相談希望」と書いて送ってください。
「試作は良さそう」で止まっている生成 AI に、合格基準とテストセットを入れます
評価の3層の設計、実データからのテストセット作成と正解付けの手順、経営・現場・情シスそれぞれの合格基準の決め方、本番後のサンプリング監査と停止条件まで、貴社の業務と既存システムに合わせて設計します。経理 AX・kintone・案件管理システム刷新・Claude 導入で本番稼働まで伴走した経験をもとに、いま手元にある試作をそのまま評価するところから始められます。