請求書の下書きを AI に任せて3か月がたち、経理の担当者は AI が作った下書きを確かめて送るだけになっていました。そこへ取引先から「今月の単価が契約と違う」と電話が入ります。調べると、前の週に単価表を新しくした際、AI が参照する表だけが古いまま残っていました。そのため40社分の請求書が旧単価で作られ、担当者の確認もすり抜けて送られていたのです。数字は仮のものですが、AI を本番の業務に入れた会社ならどこでも起こりうる場面です。
電話を受けた担当者が最初の1時間に何をするか。誰に知らせ、誰が AI を止め、取引先に何を送るか。決まっていなければ、電話を受けた人が1社分だけ直し、残りの39社は誤った請求書のまま支払いの準備を進めてしまいます。この記事は、止める仕組みの作り方を書いた権限・承認・停止の記事の続きで、誤りが起きてから対応記録を残すまでの手順を追います。本番の前に決めておく8項目は、最後の節に一覧にしました。
以下では、対象の業務を日々受け持つ人を「現場の担当者」、AI 導入を任されて社内の窓口になる人を「推進担当」、その業務の結果に責任を持つ部長や課長を「部門責任者」、社内で個人情報の取り扱いの窓口を受け持つ人を「個人情報の担当者」と呼びます。推進担当の役を、外部のFDE（顧客の現場に入り、業務に合う仕組みを本番稼働まで作る技術者）が手伝う会社もあるでしょう。
AI が出した誤りの責任は、取引先や顧客に対しては AI を使った会社が負い、社内では部門責任者が指揮して推進担当が手順を回す。誤りに気づいたら重さを3段階に分けて初動の速さを決め、その業務だけ AI を止めて旧手順に戻し、いつから・何件・誰に届いたかを確定して業務の決まりどおりに訂正する。個人情報が外に出たときは、個人情報保護委員会への報告が要るかを先に判定する。誤りの段階分け、止める権限、旧手順、訂正の連絡文のひな型は、本番の前に1枚の紙に決めておく。
この記事の要約
AI が間違えても、取引先や顧客に対して責任を負うのは AI を使った会社
カナダの航空会社エア・カナダでは2022年11月、サイトのチャットボット（質問に自動で答えるプログラム）が、忌引きの割引運賃を搭乗後でもさかのぼって申請できると乗客に案内しました。規定は事後の申請を認めていません。同社はチャットボットの回答に責任を負えないと主張しましたが、ブリティッシュコロンビア州の民事紛争解決審判所は2024年2月14日、チャットボットもサイトの一部であり、サイト上の情報すべてに会社が責任を負うとして、約800カナダドルの支払いを命じています（Moffatt v. Air Canada, 2024 BCCRT 149）。
総務省と経済産業省の AI 事業者ガイドライン（第1.2版）も、AI を使う事業者を含む各主体が取り組む事項として、責任者を設定すること、必要に応じて AI の出力の誤りなどへの指摘を受け付ける機会を設けること、関係者の利益を損なう事態が生じたときの対応方針を決めて実施することを挙げています。法的な拘束力はありませんが、社内で決めておくことの手がかりになります。
社内では、誤りの対応を誰が指揮するかを業務ごとに決めておきます。筆者が勧めるのは、その業務の結果に責任を持つ部門責任者が指揮を執り、推進担当が手順を回す形です。AI の仕組みを作った外部の会社や推進担当が指揮すると、取引先へのおわびや返金の判断が業務の外から下りてくることになり、現場が動けません。AI の提供元や外部の支援者との調査への協力や費用の分担は、契約で決めておきます（ガイドラインも、責任の所在を契約などで明確にするよう書いています）。
誤りの重さを3段階に分け、初動の速さを変える
誤りへの対応では、どの誤りも同じ重さで扱ってしまいがちです。下書きの段階で直せた誤りと取引先に届いた誤りでは、急ぐ度合いも知らせる相手も違います。筆者は次の3段階に分けることを勧めます。
| 段階 | 例 | 誰に知らせるか | 初動の目安 |
|---|---|---|---|
| 1 社内で止まった | 人の確認で誤った仕訳候補を見つけ、登録前に直した | 推進担当（週次の報告でまとめて部門責任者へ） | 当日中に記録し、同じ誤りが他の件にないかを翌営業日までに確かめる |
| 2 社外に出た | 誤った回答を顧客に送った、誤った見積を取引先に出した | 推進担当と部門責任者 | 気づいてから1時間以内にその業務の AI を止めるか決め、当日中に相手への連絡方針を決める |
| 3 お金・個人情報・法令が絡む | 誤った金額の請求書を送った、別の顧客の情報を含むメールを送った | 部門責任者、経営者、個人情報の担当者 | 直ちに AI を止めて当日中に影響範囲の調査を始め、個人情報が外に出たなら報告が要るかの判定も同時に進める |
表の時間は筆者の目安で、この記事に出てくる時間や期間のうち出典を付けていないものはすべて同じ扱いです。この記事で扱う範囲で外から期限が決まるのは、3段階目のうち個人情報の報告だけです。業種によっては、報告先が個人情報保護委員会から所管官庁に置き換わったり、別の法令に基づく報告が加わったりします。期限は社内のいずれかの部署が事態を知った時点から数えるので、現場の担当者が気づいたまま数日抱えていれば、その間も期限は進みます。
段階の判断に迷ったら、重いほうに入れると決めておきます。3段階目として扱い、調べた結果お金も個人情報も絡まなかったなら、2段階目に下げれば済む話です。逆の順番だと、止めるべき業務が判断を待つあいだ動き続けます。
誤りに気づいたら、内容が小さくても推進担当に知らせる
誤りに気づく経路は4つあります。承認の前に人が出力を確かめる場面、週に一定件数を抜き取って採点する点検（進め方は評価設計の記事）、取引先や顧客からの問い合わせ、件数や金額の急な変化です。
| 気づく経路 | 気づく人 | 見落としやすい点 |
|---|---|---|
| 承認前の人の確認 | 現場の担当者 | AI の出力が何か月も正しいと、確認が流し読みになる |
| 週次の抜き取り点検 | 推進担当 | 点検の対象から外した種類の件で起きた誤りは拾えない |
| 取引先・顧客からの問い合わせ | 営業、問い合わせ窓口 | 1件の苦情として処理され、AI の誤りだと推進担当に伝わらない |
| 件数・金額の急な変化 | 推進担当、経理 | 月次でしか見ていないと、気づくのが最大で1か月遅れる |
表の3行目が、いちばん見落とされやすい経路です。苦情を受けた営業担当が1件だけ直して終わらせると、同じ原因で誤った残りの件に誰も気づきません。問い合わせ窓口や営業には、AI が作った書類や回答への指摘は内容が小さくても推進担当に回すよう伝え、推進担当が不在のときに代わる人も決めておきます。知らせる内容は、何に気づいたか、どの件か（取引先名や書類の番号）、気づいた日時の3点で足ります。気づいた人が原因を調べ始めると知らせるのが遅れますし、調べる途中で記録を上書きしてしまうこともあります。
AI を止めるのは、同じ原因で誤りうる業務だけにする
誤りが2段階目以上なら、まずその業務で AI を使うのを止めます。止める範囲は、同じ原因で誤りが出うる業務です。たとえば同じ単価表を参照している見積の下書きがあれば、そちらも止めます。
止める判断は、推進担当が部門責任者の承認を待たずにできるようにしておくことを勧めます。処理が半日遅れても取り返しはつきますが、誤った書類が出続けると、訂正と説明の手間が件数分だけ増えます。止める操作の作り方は、権限・承認・停止の記事に書きました。
止めたあとも業務を続けるには、AI を入れる前のやり方に戻れなければなりません。旧手順の手順書を残し、半年に1回程度は現場の担当者が旧手順で処理してみてください。引き継ぎの記事で書いた障害時の手順に、「AI を止めて旧手順に戻す」項目を足しておくと迷いません。
止めるときは、AI の入力と出力の記録、送った書類、担当者のやり取りを消さないことも決めておきます。情報処理推進機構（IPA）のインシデント対応の手引きも、初動で記録を消さないよう書いています。AI の設定は、どの設定でどの出力が出たかを控えてから直します。
影響範囲は、いつから・何件・誰に届いたかを記録から確定する
止めたら、推進担当が影響範囲を記録から確定します。確かめるのは、誤りがいつから起きていたか、何件に及ぶか、そのうち何件が社外の誰に届いたかです。
誤りがいつから起きていたかは、直前に何を変えたかを手がかりに絞り込みます。AI が参照する表や台帳の差し替え、AI への指示文の変更、AI のモデルの切り替え（モデル更新の記事）、業務手順の変更です。変更した日が分かれば、その日以降に AI が作った件を洗い出し、1件ずつ確かめます。
件数と相手を調べるときは、下書きのまま止まっている件と、社外に出た件を分けます。送ったかどうかが記録から分からない件は、送付済みとして名簿に入れておくのが安全です。IPA の手引きは状況を5W1H（いつ、どこで、誰が、何を、なぜ、どうしたのか）で整理するよう勧めています。AI の誤りなら、次の列で1件1行にまとめると、そのまま訂正と連絡の名簿になります。
| 列 | 書く内容の例 |
|---|---|
| どの件か | 請求書の番号、問い合わせの受付番号、仕訳の番号 |
| AI が作った日時 | AI の記録に残る日時 |
| 誤りの内容 | 単価が旧価格のまま（正しくは新価格） |
| 社外に出たか | 送付済み、または下書きのまま（分からなければ送付済みとして扱う） |
| 届いた相手 | 取引先名、顧客名（相手が個人なら、個人情報の担当者だけが見られる場所に記録する） |
| 相手の側で進んだこと | 支払い済み、仕訳済み、回答どおりに手続きした |
| 訂正の状況 | 未着手、連絡済み、修正版を送付済み |
表の「相手の側で進んだこと」の列で、訂正の方法が決まります。相手がまだ支払っていなければ修正版を送れば済みますが、支払い済みなら返金か次回の請求での調整が必要です。
請求書・仕訳・回答・見積は、それぞれの業務の決まりで直す
訂正の方法は、AI が作ったかどうかに関係なく、それぞれの業務の決まりに従います。ただ、AI の誤りは同じ原因で何十件もまとめて起きやすいので、方法を決めておかないと担当者によって直し方がばらつきます。
請求書には、インボイス制度の決まりがあります。国税庁のインボイス制度の Q&A（問32）によれば、適格請求書発行事業者である売り手は、交付したの記載事項に誤りがあったとき、課税事業者である買い手に修正した適格請求書を交付しなければなりません（消費税法第57条の4第4項・第5項）。電子データで送った場合も同じです。修正の方法として問33は、記載事項をすべて書き直したものと、当初の請求書との関係を示して修正した事項を明示したものの2つを例に挙げており、交付した側は当初分と修正分の写しを保存します。
問32には、買い手が誤りを修正した仕入明細書を作って売り手が確認すれば、売り手は修正した請求書を改めて交付しなくても差し支えない、とも書かれています。この方法は買い手が明細書を作ってはじめて成り立つので、どの取引先をこの方法で直すかは、自社の経理担当が取引先と相談して決めます。取引先の経理担当にも保存し直す手間をかけるので、訂正の連絡ではおわびを最初に書きます。
| 業務 | AI の誤りの例 | 直し方 | 直す人 |
|---|---|---|---|
| 経理（請求書） | 旧単価や誤った税率で作った | 修正した請求書を交付して当初分と修正分の写しを保存し、支払い済みなら返金か次回の請求で調整する | 経理担当（部門責任者が承認） |
| 経理（） | 勘定科目や取引先を取り違えた | 誤った仕訳を消さずに訂正の仕訳を起こし、理由を摘要に残す | 経理担当 |
| 問い合わせ | 規定と違う条件や期限を回答した | 同じ経路で正しい内容を伝え直し、回答どおりに相手が動いていた場合の扱いは部門責任者が決める | 窓口担当、部門責任者 |
| 営業（見積） | 値引き率や数量を誤った | 差し替えの見積を出してどちらが有効かを書き、発注済みなら取引条件を相談する | 営業担当、部門責任者 |
表の仕訳の行で誤った仕訳を消さないとしたのは、担当者が1件ずつ上書きすると、どの件を直したのかが記録に残らないからです。問い合わせの行で部門責任者が決めるとしたのは、誤った案内を信じた相手の損失を誰が負うかという判断が入るためです。
説明は社内、取引先・顧客、公的な報告の順に、担当を決めて行う
訂正の準備と同時に、説明を始めます。順番は、社内、取引先・顧客、公的な報告です。社内で事実が揃わないうちに取引先へ連絡すると、内容を訂正する連絡がもう1通増えます。ただし、相手が誤った請求書で支払いを進めそうなときのように、待つと相手の損が増える場合は、誤りがあったことと支払いを待ってほしいことだけを先に伝えます。
| 順番 | 誰が | 誰に | いつまでに | 伝えること |
|---|---|---|---|---|
| 1 | 推進担当 | 部門責任者（3段階目は経営者と個人情報の担当者にも） | 気づいた当日 | 何が起きたか、AI を止めたか、分かっている件数 |
| 2 | 部門責任者 | 営業・経理・窓口など社内の関係部署 | 当日から翌営業日 | 相手から問い合わせが来たときの答え方と回し先 |
| 3 | 部門責任者、または取引先を担当する営業 | 取引先・顧客 | 影響範囲が確定しだい（待つと相手の損が増えるなら第一報を先に） | 誤りの内容、正しい内容、相手にしてほしいこと |
| 4 | 個人情報の担当者 | 個人情報保護委員会（報告が必要な場合） | 速報は速やかに、確報は30日以内（不正の目的のおそれがある場合は60日以内） | 漏えいの概要、本人の数、原因、再発防止策など |
| 5 | 個人情報の担当者 | 漏えいした情報の本人（報告が必要な場合） | 状況に応じて速やかに | 漏えいの概要、漏えいした情報の項目、原因、二次被害のおそれ |
表の4行目と5行目は、法令に基づく報告と通知です。どちらも次の節で詳しく書きます。3行目の取引先への連絡は、AI の仕組みを作った外部の会社に任せません。相手から見れば、誤りを出したのは取引している会社です。
取引先や顧客への訂正の連絡文には、次の6つを書きます。
- おわび（保存し直しなど、相手にかける手間を含めて）
- 何が誤っていたか（書類の番号、日付、誤っていた項目）
- 正しい内容（修正した請求書を添付する、正しい条件を書く）
- 相手にしてほしいこと（誤った請求書を破棄する、支払いを待つ、差額の扱い）
- 誤りの原因の概略と、同じ誤りを防ぐためにしたこと
- 問い合わせ先（担当者名と連絡先）
連絡文の5つ目（原因の概略）では、AI を使っていたことを書くかで迷います。筆者は、相手の判断に必要な範囲で事実として書き、AI を主語にした言い訳にはしないことを勧めます。「AI が誤った単価を使ったため」では責任を AI に移すように読めますが、「当社が請求書の作成に使っている仕組みに、単価表の更新が反映されていなかったため」なら、責任が会社にあることも伝わります。AI 事業者ガイドラインも、関係者への情報提供の例に「AI を利用しているという事実及び活用している範囲」を挙げています。
個人情報が外に出たら、個人情報保護委員会への報告が要るかを先に判定する
問い合わせへの返信に AI が別の顧客の注文内容を書く、請求書のメールに別の取引先の請求書を添付する。AI の誤りが個人情報に関わる場面は身近にあり、取引先が個人事業主なら請求書の氏名や住所も個人情報です。個人情報保護委員会のガイドライン（通則編）は、を含むメールを第三者に誤って送信した場合や、書類を誤って送付した場合を「漏えい」の例に挙げています。
漏えいがあっても、すべてが報告の対象になるわけではありません。個人情報保護法第26条と同法施行規則第7条により、民間の事業者が委員会に報告しなければならないのは、次のいずれかにあたる漏えい等（発生したおそれがある場合を含む）です（個人情報保護委員会「漏えい等の対応とお役立ち資料」）。ただし、高度な暗号化など個人の権利利益を守るための措置がとられているデータは、次の4つにあたっても報告の対象から外れます。
- が含まれる
- 不正に利用されると財産的な被害が生じるおそれがある（クレジットカード番号、送金や決済ができるサービスの ID とパスワードの組み合わせなど）
- 不正の目的をもって行われたおそれがある行為による（不正アクセス、従業者による持ち出しなど）
- 本人の数が1,000人を超える
報告は原則として2回に分けて行います（速報の時点ですべての項目を報告できれば1回で足ります）。速報は事態を知ってから速やかに行い、ガイドラインはその目安を概ね3〜5日以内としています。確報は知った日から30日以内で、上の3つ目の不正の目的による漏えいでは60日以内です。速報の時点では分かっている範囲を報告すれば足り、項目は委員会のページにある報告フォームと記入例に沿って埋めます。本人の数や漏えいした項目は、前の節の1件1行の表から数えられます。報告が必要なときは本人への通知も義務になり、連絡先が分からないなど通知が難しい場合は、事案の公表や問い合わせ窓口の設置といった代わりの措置が認められています。
図の流れで見ると、AI の誤りでまず想定しておきたいのは、1人か数人分の情報を1つの相手に誤って送る形です。要配慮個人情報や、カード番号のように財産的な被害につながる情報が含まれず、不正の目的によるものでもなく、本人が1,000人以下なら、報告の義務はありません。それでも漏えいであることは変わらず、ガイドラインは、責任ある立場の者への報告と被害の拡大防止、事実関係の調査と原因の究明、影響範囲の特定、再発防止策の検討と実施について、必要な措置を講じなければならないとしています。委員会へ任意で報告することもできます。
外部の会社に個人データの取り扱いを委託している場合は、委託元（自社）と委託先の双方が報告の義務を負うのが原則です（委託先が委託元に速やかに知らせれば委託先は免除）。クラウドサービスの提供元が個人データを取り扱わないことになっている場合（契約で取り扱わないと定め、適切にアクセス制御をしている場合など）は委託にあたらず、報告するのは利用している自社です（個人情報保護委員会の Q&A Q7-53・Q6-22）。使っている AI のサービスがどちらかは契約で変わるので、契約を確かめておきます。判定に迷う時間も速報の期限に含まれるので、迷ったら早めに顧問の弁護士か委員会の相談窓口に相談してください。
なお、2026年7月17日公布の改正個人情報保護法には本人への通知義務を条件付きで緩める内容が入っていますが、施行は原則として公布から2年以内で対象は今後の規則で決まるため、当面はこの節で書いた現行の決まりで判定します。
原因はデータ・指示・モデル・運用の4つに分けて調べる
影響範囲の調査と訂正にめどがついたら、原因を調べます。「AI が間違えた」で調べるのをやめると、参照していた資料や確認の手順に原因があっても見落とし、直す場所を取り違えます。次の4つに分けて調べると、それぞれ直す人も決まります。
| 原因 | 例 | 確かめ方 | 主に直す人 |
|---|---|---|---|
| データ | AI が参照する単価表・規定集・台帳が古い、または誤っている | 誤った出力が参照した資料と、その資料の更新日を突き合わせる | その資料を管理する部署（経理、総務など） |
| 指示 | AI への指示文（）が新しい規定や例外を反映していない | 同じ入力で指示文だけを直し、出力が変わるかを試す | 推進担当 |
| モデル | AI のモデルの切り替えや提供元の更新で、出力の傾向が変わった | 切り替えた日の前後で、同じ入力に対する出力を比べる | 推進担当と AI の提供元 |
| 運用 | 人の確認が流し読みになっていた、確認の対象から外れていた | 誤った件の確認記録を見て、誰がどう確認したかを追う | 部門責任者 |
表に当てはめると、冒頭の請求書の例は、直接の原因がデータ（参照する単価表が古いまま）で、担当者の確認をすり抜けた点は運用の原因です。1つの誤りに原因が2つ以上あるのは珍しくないので、当てはまる行すべてに直す人と期限を割り当てます。
運用の原因を調べるときは、担当者の責任追及にしないことを部門責任者が最初に伝えます。責任追及から始めると、次に誤りに気づいた人が知らせるのをためらうからです。確認する項目を絞って明示する、金額が前回と変わった件だけは元の資料と突き合わせる、といった形で手順のほうを直します。
再開の条件を決め、誤った件をテストに加えてから戻す
AI を止めた業務をいつ再開するかは、条件を決めておかないと、原因が直らないまま「そろそろ戻そう」となりがちです。筆者は次の4つを満たしたら再開することを勧めます。判断するのは部門責任者です。
- 原因がデータ・指示・モデル・運用のどれにあるかが分かり、それぞれ直した
- 今回誤った件をに加え、直したあとの AI がそれに正しく答えた
- 影響を受けた相手への訂正と連絡が終わっている、または終わる見込みが立っている
- 再開後の2週間程度は AI が作った件をすべて人が元の資料と突き合わせ、その結果を推進担当が週次で部門責任者に報告する段取りが決まっている
再発防止の中心は2つ目の作業です。今回の誤りをテストセットに入れておけば、次に指示文やモデルを変えたときも、同じ誤りが出ないかを毎回確かめられます。テストセットの作り方は評価設計の記事に書きました。同じ種類の誤りがもう一度出たら、再び止めて原因から調べ直します。
対応記録は1件1枚にまとめ、経営者と監査が読める形で残す
最後に、推進担当が対応記録を1件1枚にまとめます。AI 事業者ガイドラインは、AI の入出力などの記録の方法や保存期間を、事故の原因究明、再発防止策の検討、損害賠償責任の要件の立証での重要性を踏まえて検討するよう書いています。対応記録も同じ目的で残すもので、項目は次のとおりです。
- 気づいた日時、気づいた人、気づいた経路
- 誤りの段階（1〜3）と、その判断の理由
- AI を止めた日時、止めた人、止めた範囲
- 影響範囲（いつから、何件、社外の誰に何件届いたか）
- 訂正の方法と完了日
- 社外への連絡（相手、日時、文面）と、公的な報告の有無とその判断の理由
- 原因の区分（データ・指示・モデル・運用）と、直したこと
- テストセットに加えた例と、再開の判断（日時、判断した人）
公的な報告の欄には、報告しなかった場合も、対象にあたらないと判断した理由を書きます。あとから本人や取引先に問われたとき、当時の判断の根拠を示せるからです。対応記録は部門責任者が確認し、月次で件数と段階を経営者に伝えます。
誤りが起きる前に、1枚の紙に決めておく8項目
電話を受けた担当者が迷わず動けるよう、AI を本番に入れる前に、次の8項目を1枚の紙に書いておきます。
- 業務ごとの責任者（部門責任者）と、手順を回す推進担当、それぞれの代わりの人
- 誤りに気づいたときの知らせ先と、知らせる内容（何に・どの件・いつ）
- 誤りの3段階と、段階ごとの知らせ先と初動の速さ
- 推進担当がその業務の AI を止める権限と、止める操作
- 旧手順の手順書と、最後に旧手順で処理してみた日
- 業務ごとの訂正の方法（請求書・仕訳・回答・見積）と、訂正の連絡文のひな型
- 個人情報が絡むときに判定をする個人情報の担当者と、相談先
- AI の提供元や外部の支援者に知らせてもらう期限と、調査への協力の取り決め
8項目のうち、誤りの3段階の分け方と推進担当が AI を止める権限は、部門責任者と経営者が決める項目です。残りは推進担当が下書きし、現場の担当者と一緒に一度、冒頭の請求書の例を使って机の上で手順をなぞってみてください。誰に電話するか、どの記録を見るかで手が止まったところが、まだ決まっていない項目です。
FDE を募集しています（会計FDE／FDE・業務システム）
経理の月次をAIで本番まで持っていく「会計FDE」（会計士・経理責任者・管理部門経験者）と、要件が固まる前に動くものを出して本番まで運ぶ「FDE（業務システム）」（ITコンサル・PM/PL・情シス出身者）を正社員で募集しています。応募でなくても構いません。まず30分の「キャリア相談」から。採用のお問い合わせフォームに「キャリア相談希望」と書いて送ってください。
AI を本番に入れる前の、誤り対応の段取りをご相談ください
誤りの段階分け、止める権限と旧手順への戻し方、訂正と連絡の手順、個人情報が絡むときの判定の担当まで、業務ごとに1枚の紙にまとめるところから一緒に整理します。すでに AI を本番で使っていて手順が決まっていない場合もご相談いただけます。