ロボットがタオルをつかみ損ねる原因を突き止めるまで――実機ポリシーのメカニズム解析と、4役のAIを活用した自動化の試み

リネンサプライのフェイスタオル折り畳みタスクにおいて、実機ポリシーが布の手前でグリッパーを閉じて空振りし、そのまま何も持たずに運んでしまう現象が発生しました。本稿では、1万回を超えるオフライン制御推論と特徴量解析によって明らかになった「視覚と動作履歴の綱引き」および「二重のロック機構」という技術的知見を共有するとともに、この複雑な調査を3つのAIモデル（4つの役割）と人間のレビューを組み合わせて約半日で自律的に解明した実践プロセスを紹介します。

1. 導入：現場で起きた把持の空振りと空運搬

産業現場で布製品を扱うリネンサプライ工場では、山積みにされたフェイスタオルを1枚ずつ取り出し、正確に折り畳んで集積する自動化が強く求められています。しかし、最新の視覚言語行動（VLA）モデル^[1]をベースにリアルタイム・チャンキング（RTC）制御^[2]を導入した実機ポリシーを稼働させた際、特有の失敗挙動が観測されました。

それは、ロボットアームがタオル山へアプローチするものの、布に指先が届く手前でグリッパーを閉じてしまう（空振り）という現象です。さらに、布をつかめていないにもかかわらず、アームは山の上で直ちに開き直して再試行することなく、グリッパーを閉じたまま台まで空の状態で運搬を継続してしまう（空運搬）挙動が頻発しました。

この失敗には、次の2つの根本的な疑問が存在します。

• 疑問1（早期閉鎖）: なぜポリシーは布に届く手前でグリッパーを閉じ、空振りを生じさせてしまうのか。
• 疑問2（回復遅延）: なぜ空振りの後、山ですぐに開き直して回復せず、閉じたまま台まで運んでしまうのか。

本稿は2部構成をとっています。第1部（§2〜§7）では、10,500件を超えるオフライン制御推論、モデル各層の特徴量読み出し、200本の教師デモデータ照合を通じて解明された深層メカニズムを解説します。第2部（§8〜§10）では、研究開発の生産性を最大化するために、3つのAIモデル（4つの役割）と人間の品質ゲートを組み合わせ、この複雑な調査をわずか半日（約4時間40分）で自律的に完遂した実践手法を共有します。

2. 事前に疑われた仮説の検証と棄却

深層メカニズムの探索に入る前に、チーム内で直感的に予想された代表的な仮説を検証しました。実機ログと制御推論データに基づき、事前に疑われた4つの仮説はいずれも主因ではないことが明らかになっています。

特に仮説2について補足すると、成功した把持における閉鎖中の前進量は4.76 mm、1.36 mm、−0.76 mmであり、成功例の方が深く前進しているわけではありませんでした。布を確実に取り込める位置にあればわずかな移動で保持でき、空振り例は前進を続けていても布を捉えられていませんでした。このことから、ハードウェアの追従不足やアームの引き戻しを空振りの主因とみなすことはできません。

3. なぜ布の手前で閉じてしまうのか――早期閉鎖のメカニズム

3.1 視覚入力への介入実験：画像差し替えとマスクによる分離

「そもそもモデルは視覚情報を見て把持動作を制御しているのか」を切り分けるため、実機の左手手首カメラ画像に対して入力介入実験を行いました。

ロボットの状態や姿勢、乱数を同一に固定したまま、左手画像のみを同一エピソード内の「25ステップ前（接近前）」または「25ステップ後（接近後）」に差し替えて推論させたところ、顕著な挙動変化が現れました。

接近が進んでいない過去の画像を与えると、モデルは接近量を大幅に増やし（27.73 mm → 38.80 mm）、閉じるタイミングを遅らせます。逆に接近が進んだ未来の画像を与えると、接近量を抑えて早期に閉じる予測を出しました。

さらに、「モデルが見ているのは布なのか、それともアーム自身のグリッパー形状なのか」を特定するため、手先部分のマスク実験を実施しました。グリッパー領域をマスクして固定し、背景の布領域だけを25ステップ前後に差し替えると、予測後半のグリッパー値は0.454から0.161（前画像）／0.703（後画像）へと大きく変動しました。一方、背景を固定してグリッパー部分だけを差し替えた場合は、0.454から0.451／0.454とほぼ変動しませんでした。この結果から、モデルは盲目ではなく、布と周囲の相対的な接近状況を視覚的に確かに捉えて接近と閉鎖を調節していることが確認されました。

3.2 動作履歴（プレフィックス）による強い閉鎖拘束

視覚が布の接近を捉えているにもかかわらず、なぜ手前で閉じてしまうのでしょうか。その核心は、直前の動作履歴（アクションプレフィックス）がもたらす強力な拘束力にありました。

対象ポリシーは、現在の観測画像と状態に加え、直前に実行された数ステップの動作系列（プレフィックス）を条件として後続50ステップのアクションチャンクを生成します。初回把持で空振りした12エピソードの閉鎖直前（閉鎖指令0.3の10ステップ前）において、プレフィックスの有無による動作生成の違いを比較しました。

成功例においては、アームの初期位置関係が良好であり、短い接近でも布を巻き込める位置にあるため、動作履歴が閉鎖を促しても把持が成立します。しかし失敗例では、「あと数ミリメートルの押し込みが必要」な局面であるにもかかわらず、直前の「接近して閉じかけた」動作履歴が入力されることで、後続の生成軌道が急激に閉鎖側へ引っ張られ、必要な接近が約5.8 mm切り詰められて布の手前で閉じてしまうことが判明しました。

4. なぜ空振りを「見て」いるのに自己修正できないのか――表現と行動の乖離

4.1 各層における成否シグナルの保持

先行調査において、左手カメラ画像から把持の成否を高い精度で予測できることが示唆されていました。そこで本調査では、ポリシーの内部表現を階層ごとに取り出し、成否の識別情報がどこまで届いているかをエピソード単位の交差検証によって厳密に評価しました。

閉鎖中の段階において、画像エンコーダからマルチモーダル融合、そしてAction Expertが直接参照するKVキャッシュに至るまで、成否を弁別するシグナルはAUROC 0.88〜0.95という極めて高い水準で一貫して保持されていました。関節状態（qpos）単体ではAUROC 0.35〜0.44と判別不能であることと比較しても、視覚特徴から成否情報が失われていないことは明白です。

4.2 フローマッチングにおける動作履歴バイアスの圧倒

Action Expertの手前まで成否情報が届いているにもかかわらず、なぜ空振りを回避する行動が生成されないのでしょうか。外付けプローブにより「失敗」スコアが高く算出された空振り観測（7エピソード）を対象に、プレフィックスの有無による生成行動の差異を検証しました。

• プレフィックスなし（動作履歴なし）: 7例中6例において、モデルは閉鎖を途中で中断し、開き直す方向の行動（平均グリッパー値0.622）を生成しました。
• 6ステップのプレフィックスあり（直前の動作履歴あり）: 7例中7例すべてのケースで、予測後半のグリッパー指令が0.998へと張り付き、完全な閉鎖継続が出力されました。

この対照実験は、「特徴量から成否を読み出せること」と「モデル自身がその情報を行動修正に利用できること」の間に深い断絶があることを明確に示しています。フローマッチングによる軌道生成において、直前の動作履歴が与える継続バイアスが視覚特徴の修正シグナルを圧倒してしまうため、行動の修正（開き直し）が生じないのです。

5. なぜ空振り後に復帰せず運んでしまうのか――二重のロック機構

5.1 グリッパー開閉とアーム運搬の要因分離

続いて第2の疑問である「なぜ空振りの後、山ですぐに開き直さず台まで運搬してしまうのか」を検証しました。空振りの後に山で即座に回復するケース（①）、空振りのまま台へ運搬するケース（②）、正常に保持して台へ運搬するケース（③）の3局面を比較しました。

この比較から、空運搬（②）における閉鎖継続の主因は、現在のセンサ状態（state）ではなく「直前まで閉じていた」というプレフィックスの動作履歴であることが分かります。状態入力を「開」に偽装してもプレフィックスが閉じていれば閉鎖（0.722）が維持されますが、プレフィックス側のグリッパー動作を「開」に変えると直ちに0.103へと開き直します。

一方で山回復（①）では、状態やプレフィックスを「閉」にしても0.179〜0.192と開き予測が出力されます。アームが山の上にとどまっているという強い視覚的・姿勢的文脈が存在すれば、動作履歴の拘束を上書きして開き直すことが可能です。

5.2 「開くこと」と「戻ること」の分離：二重のロック

解析の結果、「グリッパーが開くこと」と「アームが山へ戻ること」は全く別のメカニズムで拘束されていることが分かりました。

空運搬中の観測において、プレフィックス内のグリッパーを開指令に変更することで、グリッパー自体を開かせることには成功しました。しかし、アーム軌道の予測終端における第1関節角度は−99.9°から−98.2°へとわずかに変化しただけで、依然として台に向かう運搬動作を継続していました（プレフィックスなしの予測では約−87.6°）。逆に、アーム関節角度だけを山付近の姿勢に戻すとアームは山へ向かいますが、グリッパーの開閉予測はほとんど変わりませんでした。

5.3 RTC制御器の振る舞い：持続信号と微小パルス

「リアルタイム制御器（RTC）のキューイング処理が開き指令を打ち消しているのではないか」という懸念についても、制御コードのシミュレーション実験を実施しました。

モデルから持続的な開き予測（数ステップ以上続く開き指令）が出力された場合、既存チャンクの消費（3〜25ステップ）や遅延が存在しても、新チャンク受信後わずか4ステップ（約0.08秒）で実機指令に採用されます。したがって、数秒間に及ぶ空運搬の原因をRTCキューの遅延に帰することはできません。

ただし、モデルが1〜3ステップだけ一瞬開くような極小パルスの予測を出した場合、先行チャンクとのブレンド（5ステップ混合処理）や採用タイミングによってかき消される現象が確認されました。真の課題はRTCのバッファ処理そのものではなく、モデルが持続的な復帰シークエンスを生成できていないことにあります。

6. 学習損失と教師データに潜む構造的原因

なぜモデルは動作履歴に過剰に依存し、失敗からの回復軌道を生成できないのでしょうか。学習設定と200本の教師デモデータを照合した結果、3つの構造的原因が浮き彫りになりました。

第1に、RTCトレーニングにおける損失設計の盲点です。学習時には、成功デモの正解アクション列の先頭0〜9ステップを綺麗なプレフィックスとして与え、後続の予測誤差を最小化しています。そのため、「誤って閉じてしまった動作履歴」や「空振りした履歴」を入力として、画像からその誤りを検知して中断・反転させるという負例からのリカバリーを学ぶ機会が、学習の目的関数として直接与えられていませんでした。

第2に、フローマッチング損失における拘束項の欠落です。現行の目的関数は滑らかな動作軌道の模倣誤差を最小化するのみで、「布との接触判定」や「対象物までの幾何学的残距離」といった明示的な評価項を持ちません。そのため、モデルにとっては「直前が閉鎖なら次も閉鎖、直前が運搬なら次も運搬」と予測することが最も容易に損失を低減できる解となり、過度な履歴追従バイアスが形成されました。

第3に、教師デモ自体の運動特性です。成功デモ200本の把持動作を解析したところ、閉鎖に要する時間（中央値0.32〜0.48秒）や閉鎖中の前進量（中央値2.41 mm）は、実機失敗時と大きな差がありませんでした。人間のテレオペレーターも布に深く押し込んでからゆっくり閉じるのではなく、浅いストロークで素早く巻き込む操作を行っていたため、モデルはその際どいタイミングを模倣しようとして空振りを誘発していました。

7. メカニズムに基づく改善アプローチ

解明されたメカニズムに基づき、有効と考えられる具体的な改善アプローチと検証指標を整理します。

8. 第2部：3つのAIモデルと人間レビューによる調査の自動化

8.1 研究生産性の最大化に向けた自動調査の狙い

ここまで紹介した深層メカニズム解析は、1万回を超える制御推論、全層特徴量解析、デモデータの照合など、膨大な工数を要するものです。こうした複雑な実機課題の解決において、人間が自ら実験コードを書き、推論ジョブの完了を待ち、ログの手作業集計に忙殺されていては、仮説検証のサイクルが長期化し、研究開発の停滞を招いてしまいます。

研究開発において本質的に重要なのは、探究の生産性を最大化することです。人間が定型的なスクリプト作成やジョブ監視に時間を奪われるのではなく、「本質的な問題設定と妥協のない品質ゲート（レビュー）」に思考を集中させ、実験コードの記述・GPUでの1万回超の推論実行・集計・レポート作成をAIエージェントに自律遂行させるワークフローを構築することで、仮説検証のサイクルを桁違いに加速させることができます。

8.2 3つのAIモデルの選定理由と4役の分担

本調査では、特定のモデル1つにすべてを依存するのではなく、2026年9月時点における各フロンティアモデルの得意領域を活かし、3つのモデルに4つの役割を割り当てた自律調査パイプラインを構築しました^[5]。

パイプラインは4つのステージで構成されています。ステージ1で予備調査を立ち上げ、ステージ2で人間によるレビューを受けて詳細な調査要件を定義し、ステージ3でGPUを用いた自律実験と解析を完遂させ、ステージ4で人間向けの解説版へ構造化して社内ナレッジベースへ共有しました。各ステージで担った役割と選定理由は以下の通りです。

8.3 4時間40分の連携タイムライン

事前の予備調査の開始から、詳細な深層メカニズム解析、解説版の作成、社内共有に至るまで、全工程は2026年9月9日のわずか4時間40分（UTC 02:49〜07:28）で完結しました。

9. 人間が果たした唯一の役割――「答えになっていない」という品質ゲート

9.1 最大のテコとなった差し戻し

この一連のプロセスにおいて、人間が直接作成・編集したコードや文章は1行もありません。人間がキーボードを叩いて指示やレビューを入力した実時間は、合計してもわずか30分程度でした。

全体の調査品質を決定づけた最大のテコは、一次調査レポートに対して人間が行った「これは答えになっていない」という差し戻しでした。

一次調査において、エージェントは「開直しの遅れは指令が出る前にある」「状態入力を変えると予測が変わる」という測定結果を出してきました。これに対し、人間は次の2つの本質的な指摘を行いました。

• 指摘1: 「開直しの遅れについて、遅れているという指摘だけがあり、それがなぜなのかについてほとんど踏み込んでいない。結局、あなたの結論として理由は何なのか。」
• 指摘2: 「視覚情報から成否が予測できているという別の結果がある。情報があるのになぜ手前で閉じるのか、具体的な機序を深掘りしてほしい。その意味であなたの分析は不十分と言わざるを得ない。より深い分析をするための依頼文を作成せよ。」

安易な事実報告で満足せず、「なぜ」を突き返すことで、エージェントは「状態入力だけでなく動作履歴（プレフィックス）の影響を分離できていなかった」という自らの不足を自覚しました。その結果、エージェント自らが「現象の言い換えや候補の列挙だけでは完了としない」という厳格な完了条件を課した詳細仕様を設計するに至ったのです。

9.2 仕様策定と無人実行の分離

もう一つの重要な工夫は、「仕様を策定するセッション（対話）」と「実験を実行するセッション（無人実行）」を明確に分離したことです。

人間から「別セッションで実行するから、あなた自身は実行せず、作業詳細は担当エージェントに委譲すること」と指示されたCodexは、自分が後で実行する苦労を考慮する必要がありませんでした。その結果、妥協して調査スコープを小さく丸めることなく、純粋な仕様策定者として高い要求水準を掲げた仕様書を書き上げることができました。

そして無人実行を担当したエージェントは、仮説の反証条件を事前に固定するプロトコル設計や、学習時プロンプトの不一致への自律的な気づきなど、人間の指示を超えた科学的規律をもって実験を完遂しました。

10. おわりに

本調査を通じて得られた最大の教訓は、「AIツールへの丸投げでは深い工学的真理に到達できないが、適切な問いの設計と妥協のない品質ゲートを人間が担うことで、研究の生産性を劇的に高め、圧倒的な深さの探究を高速に回せる」という実感です。

AIエージェントは、指示された作業をこなすことには長けていますが、「その結果が本当に知りたい問いの答えになっているか」を厳密に評価することは依然として人間の役割です。「答えになっていない」と突き返し、論理の飛躍を許さない人間のレビューがあって初めて、エージェントは真価を発揮します。

私たちは今後も、現場の実機課題に対し、AIエージェントの活用を試行錯誤しながら、実用的なロボット知能の実現を最短距離で目指していきます。