生成AIの失敗事例集｜架空判例・情報漏洩の実例と、入力してしまったときの対処法【士業向け・2026年】

生成AIは便利な道具ですが、使い方を誤ると、懲戒や損害賠償、依頼人の信頼の喪失につながります。海外では、AIが作った架空の判例を裁判所に提出した弁護士が、次々と処分を受けています。

この記事では、実際に起きた事例と、当サイトが公開資料で試したときに実際に出た誤りを紹介します。依頼人の情報をAIに入れてしまったときに、今すぐやることもまとめました。

事例の一覧

事例は3種類に分けています。

【公開実例】は、報道などで公表された実際の出来事です。

【当サイトの実演】は、当サイトが公開資料や架空の資料で試した結果を指します。

【再構成シナリオ】は、典型的な失敗を分かりやすく組み立てた架空の例です。

番号	種類	何が起きたか	結果	関係する資格
1	誤り（公開実例）	ChatGPTが作った架空の判例を裁判所に提出	制裁金	弁護士
2	誤り（公開実例）	AIの方針がある事務所でも架空の判例を提出	訴訟から外される	弁護士
3	誤り（公開実例）	双方の弁護士が架空の判例を引用	全員が外され罰金	弁護士
4	誤り（シナリオ）	改正前の税率が資料に混入	顧問先の信頼を失う	税理士
5	誤り（シナリオ）	存在しない通達を引用	依頼人の信頼を失う	行政書士
6	漏洩（公開実例）	社員が機密情報をAIに入力	社内での利用を禁止	全資格
7	漏洩（公開実例）	会話の共有リンクが検索結果に表示	機能の撤去	全資格
8	漏洩（シナリオ）	辞めたスタッフの個人アカウントに相談内容が残る	事務所では消せない	全資格
9	漏洩（シナリオ）	伏せ字にしたつもりが実名が残る	顧問先の情報を入力	税理士ほか
10	判断ミス（シナリオ）	AIの論点一覧をそのまま回答	不利な条項の組み合わせを見落とす	弁護士
11	判断ミス（シナリオ）	戸籍の読み取りをAIに任せる	相続関係説明図の誤り	司法書士・行政書士

当サイトの実演で起きた3つの誤りは、実演の章で紹介しています。

数字で見る現状

研究者のDamien Charlotin氏は、AIが作った架空の引用などが問題になった裁判のデータベースを公開しています。2026年9月21日時点で、確認された件数は世界で2,046件です。1年前は約200件でした。

この件数には、弁護士をつけずに裁判をする本人の例が多く含まれています。2026年7月時点では、本人によるものが975件、弁護士が関わったものが653件でした。

処分も重くなっています。2023年には5,000ドルの制裁金だったのが、2026年には連邦控訴裁判所で弁護士1人あたり15,000ドルの罰金や、業務停止の処分まで出ています。

参照：HAQQ AI Hallucination Cases（Charlotin氏のデータベースの集計）／Legal AI Space 1,600+ AI Hallucination Cases／AI Hallucination Sanctions: A Lawyer’s Guide for 2026

日本では起きていないの？

日本の弁護士が、裁判所の裁判例検索や懲戒の公告、一般的なWeb検索で調べた結果があります。それによると、生成AIの架空の裁判例が書面に混入して問題になった公表例は見つからなかったそうです。生成AIへの入力による情報漏えいが公表された国内の例も、今回の調査では見つかりませんでした。

ただし、公表例がないことは、起きていないことを意味しません。国も対策を進めています。個人情報保護委員会は2023年6月に生成AIの利用について注意喚起を出しました。自治体でも、たとえば郡山市が「業務上知り得た情報は、私的に利用する生成AIに入力してはならない」とするルールを定めています。

また、守秘義務や懲戒の仕組みは、AIを使ったかどうかに関係なく適用されます。

参照：山中弁護士ブログ ハルシネーション防止方法（日本国内の公表例の調査）／個人情報保護委員会 生成AIサービスの利用に関する注意喚起等について／郡山市生成AI活用ガイドライン【第6版】

【当サイトの実演】私が試して見つけた誤り

当サイトでは、記事の執筆にあたり、公開資料や架空の資料を使ってAIを実際に試しました。その中で、次の3つの誤りや見落としが見つかりました。

実演1：資料の公表年を誤った

法務省が公表した2つのガイドラインを、資料を根拠に答えるAI（Gemini Notebook）に読み込ませて要約させたところ、誤りが1つ見つかっています。2026年（令和8年）8月のガイドラインを「令和6年8月公表」と書いていたのです。この部分には、根拠を示す番号が付いていませんでした。

▶ 詳しくは：Gemini Notebookの実演

実演2：頼んでいない法律の情報を加えてきた

架空の業務委託契約書をChatGPTに渡し、受注者に不利な条項の洗い出しを頼みました。AIは、契約書にない法律の改正情報（取適法）を自分でWebから調べて加えてきました。公式の資料で確かめると内容は正しかったものの、その確認には何件もの資料を読む必要があったのも事実です。

▶ 詳しくは：プロンプト15選の実演

実演3：補足の文章で計算を誤り、条件の外を見落とした

架空の飲食店の試算表をChatGPTに渡し、前月比で20%以上変わった科目の洗い出しを頼んだ結果です。表の中の計算は正しかったものの、頼んでいない補足の文章で、3科目の9月の合計額（362,000円）を「増加額」と書いていました。正しい増加額は309,000円です。また、売上が約12%減ったのに仕入はほとんど減らず、原価率が上がっていることには触れませんでした。どちらの科目も20%の条件に届かなかったためです。

▶ 詳しくは：税理士の生成AI活用フローの実演

誤りが出やすい3つの場所

3つの実演を並べると、共通する傾向が見えてきます。

誤りが出やすい場所	実演での例
① 根拠の番号が付いていない部分	公表年の誤り（実演1）
② 頼んでいない補足や説明	法律情報の追加（実演2）、補足での計算の誤り（実演3）
③ 指示した条件の外側	原価率の変化の見落とし（実演3）

逆に、指示した形式で答えた本体の部分（表や箇条書き）は、3つの実演とも正確でした。AIの答えは、頼んだ部分より、頼んでいない部分を疑う。これが、実演から得られた一番の教訓です。

誤った情報による失敗（ハルシネーション）

ハルシネーションとは、AIが事実と異なる内容を、もっともらしい文章で答えてしまう現象です。

事例1：ChatGPTが作った架空の判例を提出（Mata v. Avianca事件）【公開実例】

何が起きたか：2023年、米ニューヨーク州の連邦地方裁判所で、航空会社を相手にした損害賠償の訴訟の弁護士が、ChatGPTを使って書面を作りました。書面に引用された6件の判例は、すべて存在しないものでした。弁護士はChatGPTに「本当に存在する判例か」と確かめていましたが、AIは実在すると答えていました。

結果：2023年6月、裁判所は弁護士2人と所属事務所に5,000ドルの制裁金を科しました。

教訓：AIに「本当か」と聞き直しても、確認にはなりません。判例は必ず判例データベースなどの一次情報で確かめてください。

参照：日本経済新聞 米弁護士、生成AIで偽判例引用／ITmedia NEWS／AI Hallucination Sanctions: A Lawyer’s Guide for 2026

事例2：AIの方針がある事務所でも防げなかった（Butler Snow）【公開実例】

何が起きたか：2025年7月、米アラバマ州の連邦地方裁判所での出来事です。大手法律事務所Butler Snowの弁護士3人が、ChatGPTが作った架空の判例を含む書面を提出しました。

結果：裁判官は3人を叱責し、訴訟から外しました。命令の中で、事務所がAIの危険性について繰り返し注意喚起し、管理の仕組みや方針を整えていたことに触れたうえで、罰金や叱責だけでは足りないと述べています。

教訓：所内の方針を作っただけでは、事故は防げません。提出前に引用を確かめる手順を、実際の業務の流れに組み込む必要があります。

参照：Alabama Reporter Judge sanctions Alabama lawyers over fake AI citations／Bloomberg Law Butler Snow Attorneys Disqualified

事例3：双方の弁護士が架空の判例を引用【公開実例】

何が起きたか：2026年6月、米ミシシッピ州の弁護士費用の支払いをめぐる訴訟での出来事です。原告と被告の双方の弁護士が、AIを使って存在しない判例を引用していたことが判明しました。

結果：判事は審理を中断し、関わった4人の弁護士全員を訴訟から外したうえで、責任の度合いに応じて1,000〜3,500ドルの罰金を科しました。

教訓：問題はAIを使ったことではなく、出力を確かめなかったことです。書面に署名する人は、他の人が書いた部分も自分で確かめる責任があります。

参照：INTERNET Watch 裁判で双方の弁護士がAIを用いて存在しない架空の判例を引用

事例4：改正前の税率が資料に混入【再構成シナリオ】

何が起きたか：税理士が、顧問先向けの説明資料を作るためにAIに「改正後の内容で試算して」と頼みました。出てきた数字をそのまま資料にしたところ、改正前の数字が混ざっていました。

なぜ起きるか：AIの知識には時期の区切りがあり、最新の改正を知らないことがあります。「改正後で」と指示しても、古い情報で答えることがあります。

防ぎ方：税率や控除額などの数字は、必ず国税庁のページで確かめてください。2026年度の改正の例は、税理士の生成AI活用フローで紹介しています。

事例5：存在しない通達を引用【再構成シナリオ】

何が起きたか：行政書士が依頼人向けの説明資料を作る際、AIが存在しない通知を、日付つきで引用しました。依頼人が別の専門家に確認したことで発覚しました。

なぜ起きるか：AIは、通知や条文の番号のような「権威のある引用」ほど、もっともらしく作ってしまうことがあります。

防ぎ方：通知・条文・判例は、所管官庁の公式サイトやe-Gov法令検索で、番号と本文の両方を確かめます。

情報漏洩による失敗

情報が漏れる経路は、入力だけではありません。共有機能や、個人のアカウントからも漏れます。

漏れる経路	起きること	事例
入力	学習に使われる設定で、機密情報を入れる	事例6・9
共有リンク	URLを知っていれば誰でも会話を読める	事例7
個人アカウント	事務所が管理できない場所に情報が残る	事例8

事例6：社員が機密情報をAIに入力（サムスン電子）【公開実例】

何が起きたか：2023年3月、サムスン電子は社内でのChatGPTの利用を認めました。その後の約20日間で、社員が半導体設備のソースコードや、社内会議の録音を文字にしたものを入力するなど、3件の機密情報の入力が起きました。

結果：同社は入力できる量を制限したうえで、最終的に生成AIの社内利用を禁止しています。利用を認める際には、機密情報を入力しないよう注意していました。

士業に置き換えると：ソースコードは契約書、会議の録音は依頼人との打ち合わせの記録です。注意喚起だけでは防げないため、学習に使われない事務所の契約を使う仕組みが必要です。

参照：PC Watch／ギズモード・ジャパン

事例7：会話の共有リンクが検索結果に表示された【公開実例】

何が起きたか：2025年7月、Googleで特定の検索をすると、約4,500件のChatGPTの共有チャットが見つかると米メディアが報じました。心の悩みや人間関係など、個人的な内容の会話も含まれていました。原因は、共有メニューに試験的に加えられていた「このチャットを検索可能にする」というチェックボックスでした。

結果：OpenAIは2025年7月31日にこの機能を撤去し、検索エンジン各社と連携して、表示された会話の削除を進めると発表しました。

教訓：多くの利用者は、共有リンクは渡した相手にしか見られないと思い込んでいました。共有リンクは、URLを知っていれば誰でも開けます。スタッフに会話を見せるときも、共有リンクではなく、事務所の契約の中で共有してください。

参照：GIGAZINE ChatGPTの会話内容を検索エンジンでインデックス化する機能が短期間で削除／Mashable OpenAI pulls ChatGPT feature

事例8：辞めたスタッフの個人アカウントに相談内容が残る【再構成シナリオ】

何が起きたか：事務所にAIのルールがなく、スタッフが自分の個人アカウントで、依頼人の相談メモの要約に使っていました。学習の設定はオンのままでした。スタッフが退職した後、その会話履歴は本人のアカウントに残り、事務所の側では削除させることも、何を入力したかを確かめることもできませんでした。

防ぎ方：事務所で契約したアカウントだけを業務に使うと決め、個人アカウントの業務利用を禁止します。そのうえで、安全に使える方法を事務所として用意します。禁止だけでは、隠れて使う人が出てくるからです。

▶ 関連記事：士業事務所のアカウント・権限管理

事例9：伏せ字にしたつもりが実名が残る【再構成シナリオ】

何が起きたか：顧問先の名前を「A社」に置き換えたつもりでしたが、貼り付けた資料の見出しの部分に、実名と住所が残っていました。

防ぎ方：目で見て直すだけでは、必ず漏れが出ます。文書作成ソフトの一括置換を使い、入力の前に社名・氏名・住所・口座番号で検索して、残っていないことを確かめます。

確認を怠った判断ミス

事例10：AIの論点一覧をそのまま回答【再構成シナリオ】

何が起きたか：弁護士が繁忙期に、契約書のレビューをAIに頼み、挙がった論点の一覧をほぼそのまま依頼人への回答にしました。後日、解除の条項と損害賠償の条項の組み合わせで、依頼人が大きく不利になる点を見落としていたことが分かりました。

なぜ起きるか：当サイトの実演でも、AIは契約書の一つひとつの条項の問題点を正確に挙げています。一方で、指示の外にある「条項同士の組み合わせ」や「依頼人の事情」は、人が見る必要があります。

防ぎ方：AIの役割は「論点の洗い出し」までと決め、評価と最終的な判断は資格者が行います。

事例11：戸籍の読み取りをAIに任せ、相続関係説明図を誤る【再構成シナリオ】

何が起きたか：相続関係説明図の作成で、戸籍の内容をAIに読み取らせたところ、相続人の続柄を誤った図ができました。確認を怠ったまま依頼人に渡してしまいました。

なぜ起きるか：戸籍は記載の順序や用語が独特で、代襲相続や養子縁組など複雑な関係は、AIが特に誤りやすい領域です。

防ぎ方：戸籍の読み取りは人が行います。そもそも戸籍には多くの個人情報が含まれるため、AIに入れること自体を避けるべき情報です。

あなたの資格で起きやすい失敗

資格	起きやすい失敗	関係する事例	確認先
弁護士	架空の判例、条項の組み合わせの見落とし	1・2・3・10	判例データベース、裁判所のWebサイト
税理士	改正前の税率、伏せ字の漏れ、計算の誤り	4・9、実演3	国税庁のWebサイト
司法書士	戸籍の読み違い	11	戸籍の原本
行政書士	存在しない通知、古い手引き	5・11	所管官庁の公式サイト
社労士	改正前の制度の情報	4（税を労務に置き換え）	厚生労働省のWebサイト

情報漏洩の事例（6〜9）は、すべての資格に共通します。

見抜くための5つの確認

• 根拠の番号がない部分は、原文に当たる：資料を根拠に答えるAIでも、番号のない部分に誤りが出ました。
• 頼んでいない補足こそ、読み飛ばさない：実演では、補足の文章で計算を誤りました。
• 条件の外側に、見落としがないか自分で見る：AIは指示された範囲の外を見ません。
• 数字は再計算し、条文・判例・通達は一次情報で確かめる：下の確認先を使います。
• AIに「本当か」と聞き直さない：Mata事件では、AIが架空の判例を「実在する」と答えました。

確かめるもの	確認先
条文	e-Gov法令検索
判例	裁判所のWebサイト、判例データベース
税制	国税庁のWebサイト
行政手続き・通知	所管の省庁・自治体の公式サイト

依頼人の情報を入れてしまったときの対処

今すぐやること4つ

1. 会話を削除する：これ以上、学習や確認の対象になる時間を減らします。
2. 学習の設定を確認する：オンになっていたら、すぐにオフにします。
3. 記録を残す：いつ、どのサービスに、何を入れたかを書き留めておきましょう。
4. 責任者に報告する：一人で抱えず、所長や責任者にすぐ伝えてください。

削除した会話はどうなる？

サービス	削除した会話の扱い
ChatGPT	アカウントからすぐに消え、30日以内にシステムから完全に削除される予定。ただし安全や法的な義務による例外がある
Claude	削除した会話は、今後のモデルの学習に使われない
Gemini（個人のアカウント）	アクティビティを削除しても、人がすでにレビューした会話は最長3年間残る

削除すれば、今後の学習に使われる可能性は下げられます。ただし、すぐに完全に消えるわけではなく、すでに学習やレビューに使われた分は取り消せません。

参照：OpenAI Help Chat and File Retention Policies in ChatGPT／Anthropic Updates to Consumer Terms and Privacy Policy／Gemini アプリのプライバシー ハブ

法律上はどう扱われる？

個人情報保護委員会は、生成AIの利用について事業者に注意を呼びかけています。本人の同意なく個人データをAIに入力し、それが応答以外の目的で使われる場合、個人情報保護法に違反する可能性があるというものです。そのうえで、AIの事業者が入力された個人データを機械学習に使わないことを、十分に確認するよう求めています。

入力したときの状況	法律上の扱い（専門家の見解）
学習に使われる設定で、依頼人の個人データを入れた	本人の同意のない第三者提供などに当たる可能性がある
学習に使われない契約・設定で入れた	「提供」には当たらないとする見解がある

参照：個人情報保護委員会 生成AIサービスの利用に関する注意喚起等（令和5年6月2日）／牛島総合法律事務所 個人情報保護委員会からの注意喚起と実務への影響／Business & Law 生成AIへの個人情報・営業秘密・機密情報の入力

個人情報保護委員会への報告が必要な場合

個人データの漏えい等が起き、個人の権利利益を害するおそれがあるときは、個人情報保護委員会への報告と本人への通知が必要です。対象になるのは、次の4つの場合です。

• 要配慮個人情報が含まれる
• 財産的な被害が生じるおそれがある
• 不正の目的による
• 1,000人を超える

報告は、おおむね3〜5日以内に速やかに行います。AIへの入力がこの「漏えい等」に当たるかどうかは状況によって判断が分かれるため、迷ったら個人情報保護委員会の相談窓口や専門家に相談してください。

参照：個人情報保護委員会 漏えい等報告・本人への通知の義務化について

依頼人への説明と、士業会への相談

守秘義務に関わるおそれがある場合は、隠さずに依頼人への説明を検討し、所属する士業会にも相談してください。事例1のMata事件でも、裁判所は、指摘を受けた後の説明の不十分さを問題視しました。事故の後の対応の質が、信頼を取り戻せるかどうかを左右します。

失敗を防ぐ7つのルール

1. 業務は事務所の契約のアカウントで：個人アカウントの業務利用は禁止します。
2. 学習に使われない契約を選ぶ：基準は「個人向けか法人向けか」です。
3. 伏せ字は一括置換で：目視だけに頼りません。
4. 共有リンクで会話を渡さない：事務所の契約の中で共有します。
5. AIの答えは下書きと決める：最終的な判断と責任は資格者にあります。
6. 提出前の確認を手順に組み込む：「見抜くための5つの確認」を業務の流れに入れておきましょう。
7. 入れてしまったときの手順を決めておく：誰に報告し、何をするかを事前に共有しておいてください。

▶ 所内ルールの作り方は：士業のための生成AIセキュリティガイド

よくある質問

Q．ChatGPTに入力した情報は、他の人に漏れますか？

入力した会話が、そのまま他の人の画面に表示されるわけではありません。ただし、学習に使われる設定の場合、入力した内容がAIの改善に使われます。また、共有リンクを作れば、URLを知っている人は誰でも会話を読めます。

Q．学習をオフにすれば安全ですか？

学習には使われなくなりますが、会話は一定期間保存される点に注意が必要です。依頼人の情報を扱うなら、既定で学習に使われない法人向けの契約で、伏せ字にしてから使ってください。

Q．会話を削除すれば、完全に消えますか？

すぐには消えません。ChatGPTの場合、削除後30日以内にシステムから完全に削除される予定です。すでに学習やレビューに使われた分は取り消せません。

Q．専門のAIなら、誤りは起きませんか？

起きにくくはなりますが、ゼロにはなりません。当サイトの実演でも、資料だけを根拠に答えるAIが、番号の付いていない部分で公表年を誤りました。

Q．AIを使ったことを、依頼人に伝えるべきですか？

法律で一律に決まっているわけではありません。所属する士業会の指針がある場合は、それに従ってください。弁護士の場合は、日弁連の注意事項や所属する弁護士会のガイドラインを確認しておきましょう。主な指針は使い分けガイドの指針の章で紹介しています。

まとめ

AIの失敗は、架空の判例、情報の漏洩、確認を怠った判断ミスの3つに分けられます。当サイトの実演では、AIは頼まれた部分を正確にこなす一方、頼んでいない部分や条件の外で誤りました。AIを怖がる必要はありませんが、どこで間違えやすいかを知っておくことが大切です。

今日やることは1つです。事務所で「入れてしまったときの手順」を決め、スタッフと共有してください。それが、事故を最小限にとどめる一番の備えになります。

※本記事は2026年9月29日時点の公表情報と、当サイトの実演の結果をもとにしています。法的な判断が必要な場合は、専門家や所属する士業会にご相談ください。

更新履歴：2026年9月 全面改訂（最新の件数、当サイトの実演、共有リンクの事例、入れてしまったときの対処を追加）