ホーム › 記事 › AIに記事を書かせたら、7本の記事に事実でない記述が9件入っていた

AIに記事を書かせたら、7本の記事に事実でない記述が9件入っていた

著者：SecBilly　公開 2026-09-21

このサイトの記事はAIに書かせています。公開前のレビューで止まった「事実でない記述」が、記録に残っているだけで9件あります。7本の記事にまたがっています。

9件はすべて、公開前に別の文脈で走らせたレビューが止めました。運営者である自分が気づいて止めたものは0件です。

さらに、その「公開前に止める」ための検査そのものが、伏せるはずだった情報を公開していました。

この記事の要点

事実でない記述が9件。7本の記事にまたがる
9件とも別の文脈のレビューが公開前に止めた
自分が気づいて止めたものは 0件
公開前の検査そのものが、伏せる情報を公開した
見つけたのはその検査ではなく、別作業のレビュー

なぜAIに書かせているのか

理由は学習です。AIがどこまでできるのか、何ができるのか、どう使うのが良いのかを知るために始めました。

始める前、AIの出力をどのくらい信用していたか。5割程度です。

いまは上がりました。ただし条件がつきます。ハーネスやプロンプトをしっかり組まないと、やり直しが増えます。

7本の記事で、事実でない記述が9件出た

9件の中身をそのまま置きます。どれも公開前に止まったので、サイトに載ったものはありません。

AIが書いたこと	何が間違っていたか
「猶予0か月」	元の回答は知らされ方の話。時期ではない。実際は2か月
「個別に呼ばれて説明されたのではなく」	場面の創作。誰も言っていない
「実技で落ちた回の中身もこの周辺」	別々の2つの回答を因果でつないだ
「日系はそもそも面接まで進んでいない」	同じサイトで公開済みの数字と矛盾していた
「5年で折り返す」	3職種のうち1つだけを見た結論。自分に近い職種は逆の形
「経験者歓迎」「実務経験のある方」	求人票の文言の創作。鉤括弧つきで出した
「統制を整備した」「レビューの流れを作った」	やったと言っていない業務
「報酬があるのに勧めない＝誠実」	収益を捨てていないのに、捨てたように見せた
「市場のせいにはできない」	その統計が言えるのは判定不能まで

いちばん危なかったのは、曖昧な答えが数字になったとき

9件のうち1件だけ、性質が違います。

元になった自分の回答は「全体会議で」でした。部署の解体をどう知らされたか、という知らされ方の話です。

AIはこれを時期の話として読み、「猶予0か月」という数字を作りました。

あとで確認したら、実際は2か月でした。いまの記事は2か月・1か月・3か月と直してあります。

なぜこれが危ないか。ほかの8件も、資料に当たらないと分かりません。違うのは、数字は当たろうと思うきっかけ自体が生まれないことです。

検証の仕組みそのものが、伏せる情報を公開した

このサイトには公開前の検査があります。書いてはいけない語（過去の勤務先名、本名、連絡先、学歴）が原稿に混ざっていないかを機械的に見るものです。

起きたことを順に書きます。

AIが検査スクリプトに、禁止語のリストを直接書き込んだ
AIが、gitの管理から外したので外には出ないと判断した
使っているホスティングは、gitの管理対象ではなく作業ディレクトリをそのままアップロードする
結果、検査スクリプトが公開URLで誰でも取得できる状態になった

伏せたかった固有名詞が、一箇所にまとまった形で置かれていたことになります。個別に伏せてきたものが、一覧の形で一度に出ることになります。

いまはリストをリポジトリの外に出し、配信の除外設定にも入れてあります。リストが見つからないときは、検査が通過ではなく失敗するようにしました。

その検査は、自分の漏洩を素通しさせた

見つけたのは、その検査ではありません。

別の目的でAIにサイトレビューをさせていたときに見つかりました。

漏洩を止めるために作った検査が、自分自身の漏洩を検知しませんでした。検知したのは、まったく関係のない作業です。

GRCの言葉では「検証の風化」

ここからは本業に寄せます。自分はGRC（ガバナンス・リスク・コンプライアンス）を担当しています。

この件はどういう類の失敗か。検証の風化だと考えています。

検査は、作った時点では設計として正しかった。壊れたのは前提のほうです。「gitの管理から外せば外に出ない」という前提が、配信の仕組みと噛み合っていませんでした。そして検査そのものは点検されませんでした。

仕事の統制の検証と、どこが同じか

AIの出力を検証することと、仕事で統制を検証することは似ているか。似ています。ただし細かくはしていません。

似ているのは、レビューを回しつつ本当に問題がないかを疑うところです。

似ていないのは、プライベートでやっているのは開発寄りの作業だという点です。

証跡として何を残すか

このサイトの別の記事で、「動いています」では通らない、記録で示せるかが問われる、と書きました。AIの出力にも同じことが言えます。

実際にやっているのは2つです。

必ず証跡や参考記事を出してもらう
同時に別でQAなどを走らせて、その結果を見る

それらしい文章が出てきたことは、根拠になりません。

レビューが無ければ、9件とも公開されていた

事実でない記述が9件出たことをどう思ったか。想定内でした。

自分が気づいて止めたものはあるか。ありません。基本的にそこはAIで自動化すると決めていたからです。

では、レビューが無かったら公開されていたか。

されていました。

9件が止まったのは、書いたAIが賢かったからではありません。文脈を分けて、公開前に別のレビューに見せたからです。その1工程を外していたら、止める仕組みは残っていません。

まとめ

事実でない記述が 9件。7本の記事にまたがる
9件とも別の文脈のレビューが公開前に止めた。自分が止めたものは 0件
いちばん危ないのは、曖昧な答えが数字の形になったとき。疑うきっかけが無い
公開前の検査そのものが、伏せる情報を公開した。見つけたのは別作業のレビュー
GRCの言葉では検証の風化。検査は作った時点では正しく、壊れたのは前提のほう

AIに文章を書かせる人へ、1つだけ挙げるなら。

必ず、簡単でいいからレビューをする。そのうえで、別で決まり事やQAをチェックする機能を作る。

やらせてよかったことも書いておきます。自分のスキルの棚卸しができたこと、自分の弱点が把握できたこと、AIをどう使うべきかの理解が進んだことです。

この記事もAIが書き、公開前に同じレビューを2回通しました。どちらの回でも、事実でない記述が見つかっています。それでも、残っていない保証はありません。