
コーディングエージェントの指示をA/Bテストしてみた。ほとんどは何も生まなかった
1つの実際のイシューを、Opus 5.5上のClaude Codeで7種類の指示構成のもと13回実行し、本物のCIとブラインドレビューで検証した。33KBのCLAUDE.mdは短いファイルがもたらした以上のものを何も買わず、独立した計画ステージは実行をより高コストでバグ多くし、最も安い構成がレビュー指摘も最も少なかった...
シュテファンはFlowHuntを開発するAIおよびソフトウェアエンジニアです。製品そのものを超えて、彼は開発コストを削減しながらコード品質を向上させる、開発者向けのエージェント的ソフトウェアエンジニアリングワークフローを設計しています。



1つの実際のイシューを、Opus 5.5上のClaude Codeで7種類の指示構成のもと13回実行し、本物のCIとブラインドレビューで検証した。33KBのCLAUDE.mdは短いファイルがもたらした以上のものを何も買わず、独立した計画ステージは実行をより高コストでバグ多くし、最も安い構成がレビュー指摘も最も少なかった...

AIコーディングエージェントは付け足す。最初のヘルパーの隣に2つ目のヘルパーを書き、既存のレイヤーの横に新しいレイヤーを置き、すでに仕事をしていた関数の周りにラッパーをかぶせる。このスキルは、エージェントに最も近い既存の例を見つけてそれを踏襲させ、そのうえで問題を解く最小限だけを追加させる。ここではそのスキル、それを強...

私は最も高価なモデルにコードを書かせるのをやめた。それは読み、判断し、安価なワーカーに指示を出し、差分をレビューする。5週間・49セッション分のトランスクリプトが、それがトークン使用量に何をもたらし、何をもたらさなかったか、そしてサブスクリプション契約でDeepSeekに仕事を流すのがなぜ失敗だったかを語っている。...

コンテキストウィンドウは保存場所ではなく、動き続けるメーターです。何がそれを埋めるのか、長いエージェントセッションが行う作業の割に莫大なコストになる理由、プロンプトキャッシュがその計算をどう変えるのか、そしていつクリアし、圧縮し、オフロードすべきか。ドル建ての具体例付き。...

AIコーディングエージェントのコンテキストがどこまで大きくなってよいかに上限を設け、その結果を1,117件のセッション記録で測定しました。プロンプト数は同じでトークンは17%減、8日間で2億6,200万トークンを回避。手法、グラフ、そしてすべての数字を掲載します。...

私たちは最も高価なAIモデルにコードを書かせることを禁止した。606件の実際のセッションから得たトークン明細が、建築家と実装者の分業によってAIコーディングコストがどう下がるかを示している。...

放置しておけば、AIコーディングエージェントは重複とドリフトと未検証の修正を積み上げていく。組み合わせ可能な3つのスキルが、機能を出荷しながらTier-3の5本のPRで821行を削除した。...

10ヶ月間、1,409件のマージされたPR、3つの法医学監査:段階的なエージェントパイプラインが1つのエンタープライズコードベースを12%から92%のエージェント関与開発へと導いた方法 — ルール、ゲート、そしてすべてのマージを管理する人間を備えて。...

同じプルリクエスト、同じプロンプト、同じモデル — コンテキストの読み込み方のみが異なります。コンテキストエンジンダイジェストと1つのポリシーファイルの読み込みが、ドキュメントの読み込みよりもコストと品質の両面で優れていました。詳細なデータは以下の通りです。...