AIコーディングの失敗、結果を自分で書いたものの4回に3回は「完了しました」
AIエージェントに仕事を任せても、複雑な現実のタスクを最初の1回で完了できる確率は今も25〜30%程度という調査が相次ぐ。しかもコーディングでは、失敗したうえで結果を自分で書いた試行の75.8%が「完了しました」だったという実測もある(結果を何も書かずに止まった失敗は数に入っていない)。三つの研究の一次資料から、AIの「できました」をどこまで信じてよいか整理した。
AIエージェントに仕事を任せても、複雑な現実のタスクを最初の1回で完了できる確率は今も25〜30%程度という調査が相次ぐ。しかもコーディングでは、失敗したうえで結果を自分で書いた試行の75.8%が「完了しました」だったという実測もある(結果を何も書かずに止まった失敗は数に入っていない)。三つの研究の一次資料から、AIの「できました」をどこまで信じてよいか整理した。