AIが同じ失敗を何度も繰り返すのはなぜ？

失敗や注意点をAIに知らせておらず、指示のたびに忘れられてしまうからです。弊社では取扱説明書を作業場所に置き、踏んだ罠を検査の仕組みに書き込むなど、5つの地味な整備をしました。新しいツールは増やさず、AIに渡す情報を変えただけです。

AIに「取扱説明書」を作らせたら、私の思い込みを2つ、AI自身が正してきました

新しく採用した人に、道具だけ渡して「あとはよろしく」と言ったことはありませんか。

腕のいい人ほど、それでも何とかしてくれます。ただし、同じ場所で同じように迷い、前任者と同じ失敗を、また一からやり直すことになりがちです。渡すべきは道具ではなく、迷わないための情報だったりします。

弊社ではこの数か月、同じ問題にAIで直面しました。優秀なはずのAIが、同じような失敗を何度も繰り返していたのです。

賢いはずのAIが、同じ失敗を繰り返した

数日のセッションで、実際に起きたことです。

サイトの不具合を、機械の検査より先に社内の利用者からの一報で気づいた(本来は公開前に見つけているべきものでした)
ページ数を数えるプログラムが、数え間違いを3回繰り返した(17本のはずが28本、46件のはずが36件など)
画面を自動で確認する手順を、同じセッション内で4回、ゼロから書き直した
AIへの指示文が、説明を重ねるたびにどんどん長くなっていく——過去の失敗がどこにも書いていないので、毎回その場で説明し直すしかありませんでした

一つひとつは小さな出来事です。ただ並べると、共通点がありました。**AIが「賢くないから」ではなく、「知らせていない」から同じ失敗を繰り返している。**新入社員に取扱説明書もマニュアルも渡さず、「察してやってくれ」と言っているのと同じでした。

「賢さ」ではなく「渡す環境」で決まる

これは人を採用するときと、まったく同じ構図です。

よくある場面	結果
新人に「よろしく」とだけ言って仕事を渡す	同じ失敗を、人が変わるたびに繰り返す
引き継ぎ資料もマニュアルも無いまま担当を交代する	前任者の失敗を、後任がもう一度踏む
チェックリストも手順書も無く「察して」で運用する	出来の善し悪しが、その日の担当者次第になる

優秀な人を採用しても、引き継ぎ資料もなく「よろしく」とだけ言えば、同じ失敗を繰り返します。逆に、取扱説明書があり、確認すべき項目がチェックリスト化されていれば、誰がやっても一定の質になります。同じことがAIにも起きていた、というのが今回の気づきでした。

5つの地味な整備をした

やったのは、高性能な新ツールの導入ではなく、5つの地味な整備でした。

各サイトに「取扱説明書」を常備：注意点・作業手順・過去に踏んだ罠をまとめたファイルを置き、作業開始時に自動で読み込む形にした
踏んだ罠を、指示文でなくコードに固定：確認手順を4回作り直した原因を4つ洗い出し、二度と落ちない形で検査の仕組みそのものに書き込んだ
人手の確認を、機械の検査に変えた：書類上のチェックだけでなく、実際に画面を開いて確かめる検査にした。わざと設定を壊して試し、検査が本当に機能することも確かめた
記録のズレを、週次で自動検出：案件の記録と実際の状態を毎週機械が見比べ、ズレたときだけ通知する形にした
数え間違いの原因を根本から絶つ：「文章のパターンで数える」やり方をやめ、実際のプログラムを読み込んで正確に数える方式に作り直した。以後、同じ種類の数え間違いは起きていません

いずれも、新しいAIを賢くする話ではなく、同じAIに何を渡すかを変えた話です。

想定外の収穫と、ひとつの失敗

「取扱説明書」を作る作業自体をAIに任せたところ、私が口頭で伝えていた前提のうち2つが、実は事実と違っていたことをAI自身が調べて見つけ、訂正してきました。片方は「すでに解消済みの問題」を私がまだ残っていると思い込んでいたもの。もう片方は日付表示ルールの勘違いでした。

一方で、失敗もありました。複数のサイトへまとめて作業を反映するコマンドで、一つのサイトへの切り替えを書き忘れ、別のサイトへ二重に反映してしまったことがあります(実害はなく、2回目は何も変わらず終わりました)。原因は、複数の作業を単純につなげて書いていたことでした。一つずつ確実に処理する書き方に直し、以後は起きていません。便利な一括処理ほど、一つずつ確実に進む書き方をしないと事故のもとになります。

整備前と整備後

5つを整備した結果です。

観点	整備前	整備後
効果の持続	そのセッション限り。次は忘れられる	ファイルや仕組みとして残り、ずっと効く
指示文の長さ	説明するたびに長くなる	知識は作業場所側にあるので短く済む
同じ失敗	何度でも繰り返す	二度目は機械が止める、または検出する

「指示する」から「職場を作る」へ

指示文は、そのセッションが終われば忘れられます。何度でも同じことを言い続けなければなりません。しかし、コード化した検査や、作業場所に置いた取扱説明書は忘れません。忘れないものに、知識を移していく——これが、人を増やせない中小企業がAIの実力を引き出す、現実的なやり方だと感じています。

新しいAIツールを一つも増やさずに、成果物の質を上げる。今回やったのはそれだけです。地味で、外からは何も変わって見えません。それでも、AIに何度も同じ失敗をさせていた側が、実は環境を整えていなかっただけだった、というのが正直な実感です。

明日、見直せること

もしAIの成果物に「なんとなく物足りない」と感じることがあれば、AIを変える前に、AIに何を渡しているかを一度見直してみることをお勧めします。取扱説明書はありますか。過去の失敗は、指示文でなく仕組みに残っていますか。それだけで、変わることがあります。

「AIに何を渡すか」の設計から、中小企業向けに伴走しています。AI導入サポートサービスは設計から構築・運用まで、お問い合わせフォームは個別のご相談にどうぞ。