K.Ishi@生成AIの産業応用

この研究は、「人間の認知プロセスを捉えてAIに転移する」というアプローチをとっている点で画期的だ。 AIに人の操作そのものをまるっと、探索ミスや修正手順すら含めて学習させるのがポイントだ。 結果、GUI要素の座標クリックのような従来の汎用LLMが苦手な作業も、柔軟に実行可能になった。

実験では133件の操作データを収集し、PowerPointでのプレゼン作成を検証した。 結果は、ChromeとPowerPointを連携させた最大50ステップの操作を実行することに成功し、20件のポスター作成タスクでは11件が要件を満たすレベルで完了できた。 一方で、エラーからの復帰能力には課題が残った。

論文中にはエラーの分析結果も書かれており、タスク遂行失敗が起こった原因の共通点として、 - 一度ミスが発生すると、エージェントの回復能力が限られてしまう という問題が浮き彫りになった。 実行後にグラウンディングエージェントが、実態との乖離を検知して修正するなどの工夫が必要だ。

品質や汎用性の面からまだ実用的とは言い難いものの、これがわずか133サンプルから得られた結果と考えるとポテンシャルを感じる。 今後ユーザの実操作ログをさらに大量に、かつ長期的に蓄積すれば、PC Agentはさらに多様な用途へと拡張可能だろう。 寝ている間にAIが作業する夢の世界も近い。