AIがプログラムを修正する際に追加したコードと削除したコードの差を測定するオープンソースのベンチマーク「Parsimony」が公開されました。従来のベンチマークで重視されてきた問題の解決率やコストに加えて、コードの増加量からAIモデルを比較できるのが特徴です。
TokenSave founder Jaehyun Cho tells LDS what his 45-run Claude coding experiment establishes about price, speed and passing tests. Haiku had the lowest estimated cost but took longer than Sonnet. Cho ...
一部の結果でアクセス不可の可能性があるため、非表示になっています。
アクセス不可の結果を表示する