タスクキャプチャからワークフローへの道のり：ヒューマノイドロボットはどのように工場業務を習得するのか
既に作業を行っているオペレーターを記録し、それを展開可能なヒューマノイドワークフローへと変換します。これが、MotionのField Deployment EngineerとAI Workflow Builderがお客様のタスクを実行するロボットを稼働させる方法です。
Motion1 Inc. ·
私たちが知るロボットプログラミングの終焉
産業界にロボットが存在して以来、それらに有用な作業を行わせるには専門的なプログラミングが必要でした。その言語が、産業用アームで使用されるティーチペンダントのような独自のものであれ、PythonやC++のような汎用的なものであれ、根本的な制約は同じでした。つまり、深い技術的知識を持つ人間が、高レベルのタスクロジックから個々の関節軌道に至るまで、ロボットの挙動のあらゆる側面を手動で指定する必要があったのです。
Physical AIはその制約を打ち破ります。モデルがタスクの実行を観察し、その動作の背後にある意図を推測できるようになれば、挙動の指定はコードを書くことから作業を示すことへと移行します。
この制約は、ロボット工学の経済全体を形成してきました。それは、あらゆる導入に高価なエンジニアリング人材が必要であることを意味しました。それは、新しいタスクごとに新たなプログラミング作業が必要であることを意味しました。それは、作業を理解している人々（オペレーションマネージャーやラインワーカー）が、ロボットをプログラムできる人々から、コンサルタントやエンジニアという翻訳層によって隔てられ、あらゆる段階でコスト、時間、誤解が加わることを意味しました。
Egocentric task captureは、この制約を解消する技術です。オペレーションマネージャーは、コンベアから製品をピックアップし、欠陥を検査し、6個入りの箱に梱包し、封をしてパレットに積む、といった手順を口頭で説明しながら、自身の視点から記録された形で、何をすべきかを示します。Field Deployment Engineersは、そのキャプチャをAI Workflow Builderで導入準備の整ったワークフローに変換します。メーカー側でのエンジニアの雇用は不要です。ロボット工学の学位も不要です。工場での数ヶ月にわたる反復作業も不要です。
その影響は利便性をはるかに超えます。このモデルは、誰がロボットを導入できるか、どれだけ迅速に導入できるか、そしてどれくらいのコストで導入できるかを根本的に変えます。それは、スプレッドシートが財務モデリングにもたらしたもの、ウェブブラウザが情報アクセスにもたらしたもの、そしてスマートフォンがパーソナルコンピューティングにもたらしたものと同じです。つまり、強力な機能を専門家からすべての人へと移行させる技術なのです。
パイプラインの内部
タスクを示して動作するワークフローを受け取るという見かけ上の単純さの裏には、連携して機能するAIエージェントの洗練されたパイプラインが隠されています。舞台裏で何が起こっているかを理解することは、異なる導入プラットフォームの成熟度と信頼性を評価する上で役立ちます。
パイプラインはタスク分解から始まります。専門のAIエージェントが、キャプチャされたタスク（記録とオペレーターによる手順の説明）を解析し、それを個別の操作ステップに分解します。「製品を箱に梱包する」は、コンベアに接近し、製品を識別し、適切な力で把持し、箱まで運び、正しく向きを合わせ、配置し、解放し、箱がいっぱいになるまで繰り返し、箱を封印し、パレットまで運び、定義されたパターンに従って積み重ねる、という一連の原子的なアクションになります。この分解は、操作の順序、ステップ間の依存関係、およびロボットが代替アクションの中から選択しなければならない決定点を考慮する必要があります。
次に、シーン生成エージェントが実際の環境の3次元シミュレーションを作成します。実際の工場の写真やビデオ（通常のカメラで撮影されたもの）を使用して、エージェントは形状を再構築し、主要なオブジェクト（コンベア、箱、製品、パレット）を識別し、各要素に現実的な物理特性（質量、摩擦、変形性）を割り当てます。その結果、メーカーの施設に特化したデジタルツインが生成されます。
その後、ポリシー訓練エージェントが引き継ぎ、強化学習とオンサイトのテレポートレーションデータを使用して、シミュレーション内で各ステップを実行するようにヒューマノイドを訓練します。ロボットは1時間あたり数千回の反復練習を行い、タスクの成功完了に対して報酬を受け取り、失敗に対してはペナルティを受けます。このプロセスを通じて、感覚入力から運動出力へのマッピングである制御ポリシーを開発し、各ステップで目標精度を達成します。
デプロイメントエージェントは、一連のテストを通じて訓練されたポリシーを検証し、シミュレーションから実世界への転送プロセスを処理し、初期運用中のリアルタイム監視を伴う物理ハードウェアへの引き渡しを管理します。
最後に、オーケストレーションエージェントは、タスクがロボット間の協調作業を必要とする場合や、複数のユニットが同じ施設で関連するタスクに取り組んでいる場合に、複数のヒューマノイド間で連携を調整します。
タスクキャプチャが変えるもの
プログラミングからタスクキャプチャへの移行は、単なるツールの変更ではありません。それは、作業を理解している人々が、それを実行するロボットとの関係を根本的に再構築します。
従来のモデルでは、オペレーションマネージャーは何をすべきかを知っていますが、それをロボットに直接伝えることはできません。彼らはそれをロボット工学エンジニアに説明しなければならず、エンジニアはそれを解釈し（ニュアンスや文脈の必然的な喪失を伴い）、コードに翻訳し（必然的な仮定と単純化を伴い）、反復します（要求されたものと提供されたものの間に必然的な不一致が生じます）。この伝言ゲームは、数ヶ月の時間、数万ドルのコスト、そして意図と実装の間の永続的な隔たりを生み出します。
タスクキャプチャモデルでは、オペレーションマネージャーは、カメラの前で作業を行い、Field Deployment Engineerに説明することで、すでに知っている方法で作業を伝えます。Workflow Builderは、キャプチャされたタスクからロボットの挙動への変換を処理します。フィードバックループは密接です。もし結果として得られたワークフローが意図と一致しない場合、マネージャーはその旨を伝え、システムは数週間ではなく数分でワークフローを再生成します。
これは単に速いだけではありません。それは、自動化プロセスに参加する人々の質的な変化です。ロボット工学エンジニアの世界人口は数万人規模です。製造タスクを実演できるオペレーションマネージャー、シフトスーパーバイザー、およびドメインエキスパートの世界人口は数百万人に上ります。タスクキャプチャは、ロボットを稼働させることができる人々の数を2桁拡大します。
反復ループ
導入は一度きりのプロセスではなく、そのように扱うことは誤解を招くでしょう。最も効果的な導入は、迅速な改善サイクルを通じて、生産準備の整った品質に収束する反復ループを使用します。
プロセスは、タスクの初期の高レベルなキャプチャから始まります。プラットフォームは、最初のドラフトワークフローを生成し、シミュレーションで実行します。オペレーションマネージャーはシミュレーション結果を確認し、ロボットの挙動と望ましい結果との間の不一致を特定し、不足している詳細（2回目の記録、修正、チームが当然と考える制約など）を提供します。プラットフォームはワークフローを再生成し、サイクルが繰り返されます。
各反復はシミュレーションでは数分で完了しますが、工場現場では数時間または数日かかります。ほとんどのワークフローは3〜5回の反復で生産準備の整った品質に達し、このプロセスは1営業日で完了できます。これを、従来の現場開発が通常数ヶ月にわたって必要とする50〜100回の反復サイクルと比較すると、その加速は明らかです。
正直な限界
タスクキャプチャは強力なアプローチですが、魔法ではありませんし、その現在の限界は明確に理解されるべきです。
針に糸を通す、結び目を作る、非常に小さいまたは非常に柔軟な部品を操作するなどの高度な器用さを要するタスクは、現在のシステムが処理できる範囲の限界にあります。人間の手の器用さとヒューマノイドグリッパーの能力との間のギャップは現実のものですが、ハードウェアの世代ごとに縮まっています。
新しい環境は、慣れた環境よりも時間がかかります。全く新しいタイプの施設での最初の導入は、シミュレーションモデルが利用できる先行データが少ないため、類似施設でのその後の導入よりも多くの反復を必要とします。
状況が予測不能に変化する動的な環境（屋外の建設現場、農地、非構造化された小売スペースなど）は、管理された工場環境よりも正確にシミュレートするのが難しく、結果として得られるポリシーはより多くの実世界での微調整を必要とします。
これらの限界は今日、現実のものです。それらはまた、データフライホイールがシミュレーションの忠実度を向上させ、強化学習アルゴリズムがますます広範な条件に遭遇し適応するにつれて、導入ごとに縮小しています。その軌跡は明確です。今日困難なことは、明日には日常となるでしょう。