生成AIは強力なツールですが、使い方を誤ると懲戒・賠償・信頼失墜に直結します。海外では弁護士が制裁金を科された事件、企業では機密データが学習用サーバーに送信された事件が続発しており、士業にとって他人事ではありません。
本記事は8つの失敗パターンを実例とシナリオで解説します。読み終わるころには、自分の事務所でAIを使う際に「どこに地雷があるか」が具体的に見えているはずです。
1. 本記事の事例の扱いについて
本記事の事例は3層構造で構成しています。
公開実例：実名公開された海外の事件。出典を明示します。
再構成シナリオ：典型パターンを抽象化した架空ケース。「ある税理士事務所」のような書き方をしますが、特定の事務所を指すものではありません。
実務ルール：両者から導かれる対策を末尾に整理します。
事実と仮想例を読者が混同しないよう、各事例の冒頭で種別を明示します。
2. 生成AI失敗の3大カテゴリー
士業のAI失敗は、原因別に3つに分類できます。
ハルシネーション系：AIが事実と異なる情報を堂々と出力するパターン。架空の判例、古い税率、存在しない通達など。
情報漏洩系：機密情報が外部AIサーバーに送信されるパターン。顧問先データ、ソースコード、議事録など。
判断ミス系：AI出力を検証せず最終成果物にしてしまうパターン。契約書レビューの見落とし、相続関係説明図の誤りなど。
本記事はこの3カテゴリーから計8事例を選び、各事例で「何が起きたか・なぜ起きたか・どう防ぐか」の3点を解説します。
3. ハルシネーションによる失敗事例
最初のカテゴリーは「AIの嘘」です。AIは事実確認をしているわけではなく、統計的にもっともらしい単語を並べているだけ。専門家ですら騙される事件が世界で200件超、米国だけで140件超報告されています。
事例1：米国弁護士の架空判例事件【公開実例】
2023年、ニューヨーク州連邦裁判所で起きたMata v. Avianca訴訟がきっかけです。原告側のスティーブン・シュワルツ弁護士が、ChatGPTを使って準備書面を作成。書面には航空会社が関連する6件の判例が引用されていましたが、すべて存在しない架空の判例でした。
被告側が判例の不存在を指摘し、裁判所がシュワルツ氏に説明を求めたところ、ChatGPTを利用した事実が判明。同氏は「ChatGPTが判例を捏造するとは思わなかった」と供述しました。2023年6月、裁判所はシュワルツ氏と同僚弁護士、所属事務所に5,000ドルの制裁金を科しました（出典：日本経済新聞、ITmedia NEWS）。
特筆すべきは、シュワルツ氏が判例の真偽をChatGPTに問い直していた点です。AIは「これらは実在する判例です」と答え、それを信じて提出に至りました。AIに自己検証を求めても意味がない、という重要な教訓を残した事件です。
さらに深刻な再発事件
事件後もAI幻覚による制裁は止まりません。2024年10月にはテキサス州で別の弁護士が同種の問題で約1万5,000ドルの制裁金勧告を受け、アラバマ州では2023年からAI利用ポリシーを定めていた大手事務所Butler Snowでも、3名の弁護士が架空判例引用で制裁を受けました（出典：JBpress、うるチカラ）。
Butler Snowの事例が示すのは、ポリシーの存在だけでは事故を防げないという厳しい現実です。同事務所は400名超の弁護士を擁し、AI委員会まで設置していたにもかかわらず、ベテラン弁護士がChatGPT出力を未検証のまま法廷文書に組み込んでしまいました。
教訓：AI出力の引用情報は必ず一次資料で裏取りする。「ポリシーを作っただけ」では事故は防げない。所員一人ひとりに検証義務を徹底する仕組み、つまり提出前の引用チェックを所内ワークフローに組み込むことが必要です。
事例2：税理士の税率誤情報【再構成シナリオ】
ある税理士が顧問先向けの説明資料を作成する際、AIに「令和8年度改正後の法人税率で試算して」と指示しました。出力された数字は一見もっともらしく、税理士は資料を見直さずに送付。後日、顧問先が他の税理士に確認した際、改正前の旧税率が混入していたことが発覚し、信頼を大きく損ないました。
原因：AIの学習データには時間的な区切りがあり、最新の税制改正が反映されていない場合があります。「改正後で」と指示しても、AIは旧情報を新情報と誤認して出力することがあります。
対策：税率・控除額・基準額など数字に関わる情報は、必ず国税庁HPで裏取りする。AI出力を「叩き台」として位置づけ、最終資料には必ず一次情報の出典を明記します。
事例3：行政書士の存在しない通達引用【再構成シナリオ】
入管業務でクライアント向け説明資料を作成する際、AIが「2024年○月入管庁通知」という存在しない通達を引用。クライアントが他の専門家に確認した際に発覚し、行政書士は信頼を失いました。
原因：AIは「権威ある文書」ほど、それらしく捏造する傾向があります。通達番号・条文番号・判例番号などの「具体的な数字を伴う引用」は最も騙されやすい領域です。
対策：通達・条文・判例の引用は、必ず公式サイト（出入国在留管理庁、e-Gov法令検索、裁判所HP）で番号と本文を照合してから使用する。番号が一致するだけでなく、内容まで確認する習慣をつけます。
4. 情報漏洩による失敗事例
第二のカテゴリーは情報漏洩です。クラウドAIに入力したデータは外部サーバーに送信され、設定によっては学習データに使われます。士業の守秘義務違反に直結するため、ハルシネーション以上に深刻なリスクです。
事例4：サムスン電子の機密漏洩事件【公開実例】
2023年3月、サムスン電子は社内でのChatGPT利用を解禁しました。その後わずか20日間で、3件の機密漏洩が発生します。
1件目は、半導体設備測定データベースのソースコードをエンジニアがChatGPTに入力し、エラー解決を依頼。2件目は、歩留まりや不良チップを判別するプログラムのコード最適化を依頼。3件目は、社内会議の録音を文字起こしし、議事録作成のためにChatGPTに入力したケースです。
同社は緊急措置として全社員のプロンプト容量を1,024バイトに制限し、最終的にChatGPTを含む生成AIの社内利用を全面禁止しました（出典：PC Watch、ギズモード）。
注目すべきは、サムスンは利用解禁時に「機密情報を入力しないように」と従業員に通達していた点です。それでも漏洩は発生しました。注意喚起だけではヒューマンエラーは防げず、技術的・契約的な仕組みでのブロックが必要だという証明です。
士業に置き換えると：ソースコード→契約書、不良チップ判別プログラム→税務計算ロジック、社内会議録音→顧問先との打ち合わせ録音。構造はまったく同じです。「便利だから入力する」を放置すれば、士業事務所でも同じ事故が起きます。
教訓：個人アカウントでの業務利用は禁止し、法人プラン（ChatGPT Enterprise/Team、Gemini for Workspaceなど）に切り替える。法人プランは入力データが学習に使われない契約になっており、漏洩リスクを構造的に下げられます。アマゾン、ウォルマート、JPモルガン・チェースなど米国大手企業も、同時期に社内AI利用の制限・禁止に踏み切っています。
事例5：弁護士事務所のシャドーAI【再構成シナリオ】
ある中規模法律事務所では、生成AIに関する所内ルールが未整備でした。若手弁護士が個人のChatGPT無料アカウントで訴訟記録を要約させていたところ、後日、別の事件で類似する文章構造がAIから出力される事態が発覚。情報漏洩疑惑として所内調査に発展しました。
シャドーAIとは：所内の管理外で、個人がAIを業務利用している状態を指します。目に見えないため、ルール未整備の事務所では現在進行形で進んでいる可能性があります。
対策：事務所として一元化された法人アカウントのみを使用可能とし、個人アカウントの業務利用を明文で禁止する。同時に「業務でAIをどう使ってよいか」のガイドラインを示すことで、隠れて使う動機自体をなくします。禁止だけでは抜け道を生むため、安全な使用ルートを必ず提供してください。
事例6：税理士のマスキング漏れ【再構成シナリオ】
顧問先名を「A社」に置換したつもりが、貼り付けたPDFの一部に実名と住所が残っていた。担当者は気づかず、機密情報がAIに送信されたケース。
原因：テキストの目視確認だけでは、必ず漏れが発生します。特にPDFやExcelから貼り付けた長文では、ヘッダー・フッター・脚注に実名が残りやすい構造です。
対策：マスキングは置換ツール（テキストエディタの一括置換、専用ツール）で機械的に処理する。入力前に「実名・住所・電話番号・口座番号」のキーワードで再検索し、ゼロ件であることを確認する二重ルールにします。手作業のマスキングは必ず破綻します。
5. 判断ミスによる失敗事例
第三のカテゴリーは、AI出力を検証せず最終成果物にする判断ミスです。AIは「ドラフト生成器」であり「最終判断装置」ではありません。この区別を所内で徹底できないと、事故は時間の問題です。
事例7：契約書レビューの見落とし【再構成シナリオ】
司法書士がAIに契約書レビューをさせ、「問題なし」の結論をそのまま顧問先に伝達。後日、AIが見落としていた不利な条項（解除条件、損害賠償の上限、競業避止義務など）が原因でトラブルが発生しました。
原因：AIは網羅性で人を超える場面もありますが、契約全体の文脈判断、業界慣行への当てはめ、相手方の交渉力を踏まえたリスク評価は不得手です。「問題なし」というAIの結論は、AIが見える範囲での問題なしに過ぎません。
特にAIが見落としやすいのは、複数条項の組み合わせで生じるリスクです。単独の条項を見れば問題なくても、解除条項と損害賠償条項を組み合わせると一方的に不利になる、というケースをAIは検出しにくい傾向があります。
対策：AIによるレビューは「論点の洗い出し」までと位置づけ、リスク評価と最終判断は必ず専門家が行う。レビュー結果を顧問先に伝える際も、「AIで論点を整理した上で当方が判断した」と明示し、AIの出力をそのまま伝えないルールにします。AIに対して「不利な条項を5つ挙げて」のように具体的な観点を指定することで、見落としを減らす運用も有効です。
事例8：相続関係説明図の生成ミス【再構成シナリオ】
行政書士が相続関係説明図の作成にAIを活用。戸籍情報をAIに渡したところ、相続人の続柄を間違えた図を生成。チェックを怠ったまま顧問先に提出してしまったケース。
原因：戸籍は記載順序や用語が独特で、家系の複雑な関係性（代襲相続、養子縁組、認知など）はAIが特に苦手な領域です。AIは「読みやすい構造」を優先し、戸籍の正確な解釈を後回しにします。
対策：戸籍読み解きは絶対にAIに任せず、人が行う。AIは図の体裁整え（線の引き方、配置の調整）に限定して使用します。誤りが顧問先の財産分配に直結する業務では、AIの役割を意図的に縮小することが安全です。
6. 失敗を防ぐ7つの実務ルール
8事例から導かれる実務ルールを整理します。
1. マスキング徹底 固有名詞・金額・住所・口座番号は入力前に置換ツールで機械的に処理する。目視確認は補助手段に過ぎません。
2. 二重チェック AI出力の数字・条文・判例・通達は、必ず一次情報で裏取りする。AIの自信に満ちた口調に騙されないこと。
3. 事務所アカウント統一 個人アカウントの業務利用を禁止し、法人プランに一元化する。学習データへの使用を契約レベルで遮断します。
4. AI使用ログの記録 誰がいつ何の目的でAIを使ったかを残す。事故時の調査と再発防止に直結します。
5. 改正情報の明示 「令和8年度改正後の内容で」など期日を必ず指定する。指定しても旧情報が混入することがあるため、最終確認は必須です。
6. ドラフト扱いの徹底 AI出力は常にドラフトであり、最終文書ではない。所内で「AIの結論をそのまま使わない」を文化として定着させます。
7. 責任所在の明確化 AIの誤りも士業の責任という原則を所内で共有する。クライアントから見れば、AIが間違えたかどうかは関係ありません。
7. 失敗時の対応フロー
予防だけでなく、起きてしまった場合の対応も重要です。
ステップ1：被害範囲の特定 何の情報が、いつ、どのAIに送信されたかをログから特定する。漏洩した情報の機密度を評価します。法人プランを使っていれば管理画面から利用履歴を確認できますが、個人アカウントだと事後の追跡が困難になります。これも法人プラン一元化を推奨する理由の一つです。
ステップ2：顧問先への報告判断 漏洩レベルに応じて、顧問先への報告の要否とタイミングを判断する。守秘義務違反の可能性がある場合は速やかに報告し、隠蔽は絶対に避けます。報告の遅れは、漏洩そのものより重い処分につながる可能性があります。
ステップ3：再発防止策の所内共有 原因を所内で共有し、ルールの不備を修正する。同種事故を二度起こさないことが最優先です。事故報告書の作成・保管をルール化しておくと、所内のリスク管理水準が継続的に上がります。
ステップ4：懲戒・賠償リスクへの対応 弁護士法・税理士法上の守秘義務違反に発展する可能性がある場合、所属士業会への相談を検討する。隠蔽すれば事態は悪化するだけです。
シュワルツ弁護士の事件で裁判官が重視したのも、AI使用そのものより「ミスを指摘された後の対応」でした。同氏は当初、ChatGPT利用を明かさず、判例の不存在についても曖昧な説明を続けました。この対応の悪さが制裁を重くしたと指摘されています。事故対応の質が、最終的な処分の重さを決めます。
8. 失敗を恐れず使うために
ここまで8つの事例を見てきましたが、本記事のメッセージは「AIを使うな」ではありません。
紹介した8事例はすべて、本記事の7つのルールを守っていれば防げた失敗です。恐れるべきは「AIを使うこと」ではなく「ルールなしに使うこと」。
AIを使わない事務所は、3年後には業務効率で大きく後れを取ります。クライアントに提供できる価値の差として、それは表面化します。本記事のルールを守れば、AIは安全な戦力として活用できます。
まとめ
士業のAI失敗は「ハルシネーション」「情報漏洩」「判断ミス」の3カテゴリーに整理できます。海外の公開事例と典型シナリオから、地雷の場所は具体的に把握できます。7つのルールを守れば、ほとんどの失敗は防止可能です。
最後に行動を一つだけ。今週中に、自分の事務所のAI利用ルールを文書化してください。ルールがない状態こそが、最大のリスクです。
関連記事
- AIの基本から学びたい方は → 士業のための生成AI入門
- セキュリティ運用の詳細は → 士業のための生成AIセキュリティガイド
- ツール選定で迷ったら → 士業が生成AIを使い分けるガイド
- 安全に使えるプロンプト集は → 士業のための生成AIプロンプト15選
- 業務フローへの組み込み方は → 税理士のための生成AI業務フロー完全ガイド