Human on the Loop
HOTL
人とAIの高度協働プロセス

ヒューマン・オン・ザ・ループ（Human-on-the-Loop）

​

AIエージェント時代における監督能力、その失敗様式、そして委任不能な残余の理論

 

あなたは、ループの上にいると決めたのではありません。速度が、あなたをそこへ押しやったのです。

AIエージェントが判断の実行を担い始めたとき、経営は「人間が最終的に見張っているから大丈夫だ」と言います。本論文が扱うのは、その一文が成り立つ条件です。結論は、多くの現場でその条件はすでに成り立っていない、でした。

VURA Working Paper No.8。本稿は理論の要点の日本語解説です。全文（英語正本116ページ／日本語版111ページ）は末尾からお読みいただけます。書籍版は『なぜ、AIエージェント時代、人のガバナンスが破綻するのか？』として書き下ろしました。

この論文を3分で

• 監督は「役割」ではなく「資源」です。 1日に使える注意は有限で、使えば減る。足りる／足りないは計算できます

• 足りなくなると、人は「見られません」とは言わず承認します。 承認率の高さは安全の証拠ではなく、支払不能の症状です

• 監視しきれない理由は三つ。 反応の遅れ（遅延）、同時に見られる数が4〜6にとどまること（容量）、AIが賢くなるほど失敗が稀になり、稀なものほど見落とすこと（稀少性）

• 「AIにAIを監視させる」では閉じません。 要るのは能力の高さではなく、誤りの出方が生成側と独立していること。独立性は、賢くしても手に入りません

• 経営の問いは「オンザループにいるか」ではなく、「処理量が増えても費用が増えない側に、どの判断を移せたか」です

• 本稿は、自社の提唱を自分で反証しています。 当社が公表した「人間に残る5つの役割」のうち2つは、残余ではありませんでした

いちばん強い主張：監督は「役割」ではなく、使い切ってしまう「資源」である

「Human-on-the-Loop」は通常、姿勢として語られます。ループの外側に立ち、必要なときに介入する。そう決めれば安全だ、という語り方です。

本稿はこれを、姿勢ではなく権限構造、有限の資源として書き直します。

たとえるなら、銀行口座です。 監督は肩書きではなく残高です。1件見るたびに引かれ、尽きれば肩書きがあっても支払えません。

支払能力条件 ρ ≦ 1 ── 足りているかを割り算一本で見る

監督には時間がかかります。1件の例外に向き合う対話時間 IT、それに伴う付随的な費用 c（切り替えや記録の手間）、監督者が他業務を引いたあとに残る未拘束注意 A。例外が**頻度 λ（ラムダ）**で届くとき、監督が成り立つ条件は一本の不等式に収まります。

支払能力条件 ρ ＝ λ(IT ＋ c) / A ≦ 1

何を何で割っているのか。 分子 λ(IT ＋ c) は、その日の例外を全部きちんと見るのに必要な時間（件数 × 1件あたりの所要時間）。分母 A は実際に使える時間。つまり ρ（ロー）＝ 必要な時間 ÷ 使える時間 です。1以下なら間に合い、1を超えたら間に合っていません。 大きいほど破綻は深く、ρ＝3 なら必要な時間が3倍あるということです。

スパン制約 ── 一人が何体まで見られるか

一人が見られるエージェント数 N にも上限があります。放置していられる時間 NT（手を出さなくても大丈夫な時間）を、対話時間 IT と再開遅延 WT（人が戻って手を動かし始めるまでの遅れ）の和で割ったものが、実効監督スパン——実際に面倒を見きれる体数——の天井です。

スパン制約 N ≦ NT / (IT ＋ WT) ＋ 1

放置できる時間を、一人分の手間で割っていると読めます。手のかからないAIほど N は増え、IT・WT が長いと減ります。

重要なのは、A が引き算でしか出てこない点です。1日480分から担当業務を引き、会議を引き、移動と中断を引いた残りが A。書籍版はこの引き算を図にし、こう書きます。「A がゼロに近いという結果は、計算の失敗ではありません。それが答えです。」

支払不能は「拒否」ではなく「承認」として現れる

ここが最も反直観的です。たとえるなら、決裁の書類が積み上がった机です。 山が高くなったとき、人は「もう見られません」とは言いません。ハンコを押す速度を上げます。 その減り方は、全部きちんと読んだときと外からは見分けがつきません。処理量は保たれ、中身だけが抜けます。

命題5｜支払不能はまず質の喪失として現れ、処理量の喪失としては現れない

つまり — 監督が破綻しても件数は減らない。減るのは1件あたりの中身である。

痕跡は臨床の警告システムに大量にあります。

• 157,483件の警告のうち52.6%がオーバーライド（うち53%は適切なオーバーライドで、証拠は両方向で提示されています）

• 薬剤警告の受容率は1%未満。警告が1件増えるごとに受容は30%下がり（IRR 0.70）、一度オーバーライドした人は、以後87.9%／99.9%の確率で同じ警告をオーバーライドします

• 集中治療では1床1日あたり187回の警報、不整脈警報の88.8%が偽陽性

• 2006年の調査でオーバーライド率49〜96%、2020年でも46.2〜96.2%。14年の改善努力で範囲がほとんど動いていません

承認率が高いことは、安全の証拠ではありません。支払不能の症状です。

出発点：自社の提唱を、自分で反証した

本稿には、ふつうの経営論文にない出自があります。当社自身が2026年6月29日に「AIエージェント時代、経営者は『Human-on-the-Loop経営』へ」というプレスリリースを出し、人間に残る5つの役割（目的・価値・資本配分・ガバナンス・例外介入）を提唱していました。

論文化にあたり、その5つを「良い5つ」として書こうとしたところ、人間工学・HCI・エージェント評価・行政記録の4つの証拠群のいずれでも落ちました。そこで反証群から理論を組み直しました。

結果として本稿は、自社が提唱した5つの役割のうち2つ（ガバナンス・例外介入）は、委任不能な残余ではなかったと結論します。自己批判ではなく、理論の方法です。

利益相反は第11.7節で構造として開示しています。監督の測り方を提案する主体が、その測定から利益を得る立場にある、という開示です。

この言葉は、学術ではなく防衛ドクトリンから来ている

もう一点、見落とされている来歴があります。技術的な中身は、Sheridan & Verplank（1978）の自動化水準6——「自動実行の前に、人間に限られた拒否時間を与える」——に対応します。しかし「on the loop」という語自体は、経営学にも人間工学にもありません。**米空軍のUAS Flight Plan（2009）**が "man on the loop" を supervisory control（監督的制御）と註釈し、**Human Rights Watch の Losing Humanity（2012）**が3分類を確定させたものです。

そして、米国防総省指令 DoDD 3000.09（2023年改訂）はこの語彙を採用していません（"operator-supervised autonomous weapon system" と書いています）。

経営論文がこの語に「ドクトリン上の裏づけがある」と主張してはなりません。 本稿はこの語を、権威ではなく権限構造の名前として使います。

人間が監視できない三つの理由

遅延 ── 応答時間SLAは、誤った量を測っている

129研究・520観測のメタ分析では、引き継ぎ要求から操作までの平均時間は2.72秒（0.69〜19.79秒）。興味深いのは、時間予算を大きく与えるほど反応が1.35秒遅くなることです。実路実験では、復帰が2.4秒なのに対し、視線挙動の回復開始には6.1秒。手は戻っていても、見方はまだ戻っていない。

決定的なのは、復帰までの時間と、回避行動の質が、ほぼ独立だったという報告です。速く反応した人が、うまく対処したわけではない。「何秒で反応したか」を監視指標に置くのは、測るべきでない量を測ることです。

容量 ── 実効スパンは4〜6

監督スパンの実測では、1件あたりの対話時間はおよそ15〜17秒、実効スパンは4〜6。8台で成績が崩れ、ロボットの損失は12倍に増えます。

さらに深刻なのは、注意の配分を自動化しても成績が改善しなかったことです。「次にどれを見るべきか」を機械に教えさせても駄目でした。遵守率95%超、主観的負荷も低下。それでも成績への効果は検出されず（F(2,33)=0.50, p=0.609）、参加者の67%はその支援を嫌いました。

稀少性 ── AIが賢くなるほど、人間は失敗に気づけなくなる

視覚探索の古典的研究では、標的の出現率が50%→10%→1%と下がるにつれ見落とし率は7%→16%→30%へ上がり、極端に稀な条件では52%に達しました。重要なのはその理由です。感度 d′（見分ける力）は悪化していません（1.97→2.55）。動いたのは判断基準 c で、0.13から1.14へ移動。c は「有る」と言い出すハードルの高さです。

つまり人は「見えなくなった」のではなく、「無い」と言いやすくなったのです。報酬を操作しても、「ゆっくり答えろ」と指示しても効きません。唯一効いた介入は、高出現率のバースト（わざと当たりを増やした練習区間）と全件フィードバックの組み合わせ。ただし本稿はこれを弱い証拠として扱います——該当実験は N=14 で有意ではなく（p=.312）、46%→21%の改善は実験間比較だからです。

命題7｜失敗が稀になるほど、検知確率は下がる

つまり — AIの性能向上そのものが監督を壊す。本稿の言う「監督のはさみ」です。 上の刃はAIの性能向上、下の刃は人間の検知力低下。

監督は平均して効いていない。ただし、効く条件は分かっている

2024年のメタ分析は、人間とAIの組み合わせについて相乗効果 g＝−0.23 を報告しました。組み合わせが、人間単独・AI単独のうち良い方に負けているという意味です。人間にAIを足すだけの増強では g＝+0.64。決定課題 −0.27、生成課題 +0.19、そしてAIが人間より強い領域では −0.54。

説明の提示も確信度の表示も、調整変数として有意ではありません。「AIに理由を語らせれば人間が判断できる」という期待は支持されません。さらに出版バイアスは楽観側にのみ検出（Egger β=1.96, p=0.002）。163研究・N=82,078 の別のメタ分析も、アルゴリズム嫌悪 d＝−0.50／評価 d＝+0.27 と文脈依存の大きさを示します。

では、効いた事例は何が違ったのか。共通点は「オーバーライド設計ではない」ことでした。 AIの答えに人が○×を付ける形が、効かない形です。

• 児童保護ホットラインの事例では、人間がモデルの持たない独立した情報チャネルを握っていた

• 乳がん検診のランダム化比較試験（80,033名）では、検出率6.0対5.0/1,000 を保ったまま読影負荷が44%減。これはトリアージ設計（AIが仕分けをし、人間は見るべき対象に集中する形）であって、出力に「承認」を押す設計ではありません

• 別の研究は、人間・AI・人間＋AIのいずれも支配的でないことを示します

本稿はここで自らの命題を弱めています。 当初は「独立した情報チャネルがあること」を条件としていましたが、同じ入力を読むクラウドワーカーのチームがAI単独を上回った報告（0.89 対 0.84）に反証されました。そこで条件を**「誤りの脱相関」（人とAIが同じところで同じようには間違わないこと）へ一般化。独立チャネルは最も監査しやすい源泉**であって条件そのものではない、と書き直しました。

「AIにAIを監視させる」は、閉じない

では監督をAIに委ねればよいのか。本稿の最も深い層（命題10・11）です。

• 自己修正の系統的検証では、全条件で横ばいか悪化（GPT-4のGSM8Kは95.5→89.0）

• 自己批評では正答率が5%→3%、16%→2%へ低下。一方、健全な外部検証器を与えると38%、37%へ上昇しました。LLMを検証器にすると偽陰性は95.8%——誤りの大半を取り逃がします

• マルチエージェント系の失敗分類では失敗率41〜86.7%、うち検証の失敗が23.5%（誤検証9.1%）。効いた修正はモデルの改善ではなく組織設計（最終決定権の付与で+9.4%、目的検証段階の追加で+15.6%）

• ある自律運営実験の第2段階では、同一基盤モデルの「上司」エージェントの承認：拒否は約8:1。開発元自身が「同じ盲点を共有している」と説明します

たとえるなら、自分の原稿を自分で校正する作業です。 誤字が残るのは、書いたときと読むときの思い込みが同じだからです。

ただし本稿は、ここで論点を一度壊して立て直します。初稿は「閉ループ＝外部信号なしの自己観測」と定義していましたが、環境からの観測は外部信号なので、これは自己矛盾でした。実運用のエージェントはテストスイートやDBの状態を読みます。そこで論点を**「フィードバックがあるか」から「フィードバック経路が、生成器の誤り分布と独立か」へ移します。** エージェントが自分で書いたテストは独立ではありません（相関した盲点）。コンパイラは独立です。

中核テーゼ 人間が必要なのは、判断が優れているからではありません。閉ループには、生成器と統計的に独立な検証器が必要であり、独立性は能力向上によっては供給されないからです。 ただし——監督価値＝独立性 × 検知確率。能力向上は前者を保ちますが、後者を（稀少性を通じて）侵食します。独立性は必要ですが、十分ではありません。

つまり — 人間の取り柄は賢さではなく、AIと違う間違え方をすること。ただしそれだけでは足りず、気づけているかが同時に要る。掛け算だから、片方がゼロなら全体もゼロ。

スケーリングの二分法 ── 経営の問いが変わる

ここから、本稿は5つの役割を費用の増え方で二分します。軸は一つ。処理量 T（1日の処理件数）が10倍、100倍になったとき費用はどうなるか。

• 構成的監督 … 事前に枠組みを決める仕事（目的・価値・資本配分）。1件ごとには発生しないので、件数が増えても費用は変わらない。これを O(1)（平坦） と書きます

• 統制的監督 … 事後に点検する仕事（承認・抜き取り検査・例外対応）。1件ごとに発生するので、件数とともに増えます

役割種類処理量 T に対する費用委任不能か

目的構成的監督O(1)（平坦）委任不能（論理的な理由）

価値構成的監督O(1)（平坦）委任不能（論理的な理由）

資本配分構成的監督O(1)（平坦）委任不能（論理的な理由）

ガバナンス統制的監督増大委任不能ではない

例外介入統制的監督増大委任不能ではない

命題12｜統制的監督は、固定した検知保証の下では有界化できない 一定件数の抜き取り検査は費用 O(1) に見えますが、被覆率 n/T は O(1/T) で薄まり、未検出曝露は p(T−n)＝Ω(T) で増えます。さらに、標本内の出現率が下がることで検知確率そのものが追加的に劣化します。

つまり — 「毎日100件を抜き取り検査します」という約束は、処理量が増えた瞬間に中身が空になる。守れる範囲は縮み、守れない範囲は膨らむ。

記号の読み方。

• 被覆率 n/T … 全 T 件のうち何件を検査したかの割合。n を100件で固定したまま T が1,000件から10万件になれば、10%が0.1%です

• O(1/T) … 「T に反比例して小さくなる」。T が増えるほど被覆率はゼロへ近づきます

• 未検出曝露 p(T−n) … 検査しなかった件数に誤り率 p を掛けたもの。見逃して外へ出る誤りの量

• Ω(T) … 「少なくとも T に比例して増える」。頭打ちになりません

監督実効率 η（イータ）＝ R・s・d(π)。R は回付率（AIが人間に回した割合）、s は標本率（回ってきたうち実際に検査した割合）、d(π) は検知確率（出現率 π で誤りに気づける確率）。三つとも1以下なので、掛け算の答えは必ず元より小さくなります。 しかも処理量が増えると三つが同時に下がり、一つでもゼロに近づけば η もゼロに近づきます。

経営の問いは「オンザループにいるか」ではなく、**「何を O(1) のクラスへ移せたか」**です。

委任不能な残余は、三つの異なる根拠から成る

委任不能な残余とは、AIにどれだけ任せても人間側に残る部分です。

根拠種類5つの役割との関係

検証の独立性構造的5つの役割の外側。監督者を有効にする性質

構成的設定（目的・価値・資本配分）論理的5つの役割のうち3つ

受託者責任法理的5つの役割の上位。誰を指名しても消えない

受託者責任とは、他人の財産や利益を預かる者が負う責任です。

「委任不能ではない」は「機械に任せてよい」ではありません。 処理量の下では人間にはできない、という意味です。だからこそ、その2行についてだけは測定が要るのです。

今日すでに拘束しているのは、AI規制ではなく会社法

AI規制を待つ選択肢は成立しません。EU AI Act 第14条(4)(b) は自動化バイアス（機械の答えを人間が無批判に受け入れる傾向）を名指しし、第14条(5) の n≥2（二人による確認）は、本稿が調査した規範文書の中で唯一の数量的要求です。ただし Regulation (EU) 2026/1744（Digital Omnibus、2026年7月8日採択・7月27日発効）により、Annex III の高リスク義務は2027年12月2日へ延期されました。2026年8月時点で第14条は未適用です。

日本では、AI推進法（令和7年法律第53号）に罰則がありません。AI事業者ガイドライン第1.2版（2026年3月31日）は自動化バイアスを名指ししますが、動詞は「講じる」ではなく**「検討する」**。金融庁のAIディスカッションペーパー第1.1版は、実務をこう観測します。

「稟議書は融資判断など顧客に重要な影響を及ぼしうるものであり、人の関与（Human in the loop）を必須とする運用が大半となっている」

ISO/IEC 42001 や NIST AI RMF といった標準は、すべて手続きのみで、数量的な要求は皆無です。

それでも、今日すでに拘束しているものがあります。取締役の監督義務です。 米デラウェアの Marchand v. Barnhill（2019）、In re Boeing（2021、2億3,750万ドルの和解）が確立したのは「行っていない監督を、行っていると主張すること自体が違反である」という論理です。日本では会社法第362条第4項第6号と、日本システム技術事件（民集63巻6号1442頁）の「通常想定される」基準が対応します。

そして本稿の最も鋭い法的貢献はここです。公表されたガイドラインが自動化バイアスを名指ししたことによって、ガイドライン自体が、責任判断の鍵となる「予見可能性」を構築している。

罰則がないことは、免責を意味しません。

では、何を測り、何を開示するのか

本稿は11項目の開示プロトコルを提案します。Tier 1（宣言的）8項目、Tier 2（継続的）3項目。Tier 2 は次のとおり。

1. 合成例外の注入率と捕捉率 — 意図的に紛れ込ませた例外を、監督者が捕まえているか

2. 非支援運用への復帰スケジュール — AI支援なしで動かす訓練を、いつどれだけ行っているか

3. 非回付ストリームの残余一様サンプルと、それが推定するルーティング再現率 — AIが人に回さなかった側を無作為に抜き取り、回すべきだったのに回さなかったものを測る

書籍版は、これを役員会で明日使える3問に割っています。

1. 監督を担う人の未拘束注意 A は、他業務を引いたあと1日あたり何分残るか

2. 抜き取り検査の分母が増えたとき、監督実効率はどう推移したか

3. AIに任せている判断のうち、事前に行動空間へ組み込んで「できないようにした」零規則はいくつあるか（零規則とは、事後に止めず、はじめから選べないようにする制約です）

3問目が最重要です。 1問目と2問目は現状の診断、3問目だけが構成的監督への移行の進捗を測ります。

この論文が自ら認めている限界

本稿は、外部の学術誌による査読を受けていません。 社内での確認と検討を重ね、第1.3版まで3度の改訂を経ています。独立した第三者の審査を経ていない以上、本稿の信頼の根拠は、来歴ではなく、13の命題すべてに反証条件を付していることのほうにあります。

開示している弱点は次のとおりです。

• 使わなかった数値があります。 流通する「中断からの復帰に23分15秒」は原典になく（正しくは別条件下の25分26秒）、頻繁に引用される稼働率上限値も検証できないため数値を一切引用していません。「1.9〜25.7秒」「93%の誤り率」も原典に辿れず不使用。ISO/IEC 42001 は本文を読めていないため引用符を一切付けていません

• スパン制約の NT は、命題9の下では原理的に測定不能であることを開示しています。式の中に測れない量が残ります

• 名目的監督の事例のうち2つは「監督の除去」であり、n=1 の事例だと明示しています

• 本稿の提案自体を、本稿が批判しています（第11.8節）。測定指標は目標になった瞬間に腐敗しうるという古典的批判は、11項目にも当てはまります

• 開示のパラドクス（第11.9節）——支払能力を正直に開示すれば、自社に対する監督義務違反の記録を作ることになる。正直なほど不利になる構造です。プロトコルの実施費用も計上していません

• 付録表A2 の内部整合に未解決の指摘が残っています（修正には数値の創作が必要になるため保留）

• 日本の一次法源（e-Gov・民集）およびEU官報・デラウェア判例の原本確認は手続き中です

経営者・取締役にとっての含意

経営者へ。 承認率の高さを安全の証拠として報告していないか確かめてください。それは支払不能の症状かもしれません。測るべきは未拘束注意 A（1日に実際に使える時間）と監督実効率 η（回付率 × 標本率 × 検知確率）です。

取締役会へ。 「人間が最終確認しています」という一文は、2026年の時点ですでに法的なリスク要因です。行っていない監督を主張することが違反を構成するなら、確認すべきは体制図ではなく、1件あたり何秒使えているかです。

AI導入の責任者へ。 目指すべきは監視の強化ではなく、統制的監督を構成的監督へ移すことです。事後の承認を増やすのではなく、事前に行動空間へ零規則を組み込む。そしてオーバーライド設計ではなくトリアージ設計を選ぶ。以上二つです。