hypharnessの開発を止めた。10月29日に始めて、最後のコミットは11月7日だ。この10日間で376コミット、ADR(設計判断の記録)は40件を超えた。動くところまでは作ったが、ここで止めることにした。何を作り、なぜ止めたかを記録しておく。
作ったもの
hypharnessは、作りたいもの(最終目的)を伝えると、課題に分けて複数のエージェントに解かせ、検査を通った変更をブランチに積んでいくハーネスだ。
- 利用者と論点エージェント(3体)が対話して、最終目的を詰める。
- 分解役が課題文を作る。
- 方針役が、受け入れの条件と「やらないこと」を決める。
- 検証生成役が、元のコードで失敗するテストを書く。
- 回答エージェント(3体)が課題を解き、検査を通ったものを統合ブランチに積む。
- 流れが終わったら、自己改良の1周でハーネス自身のコードとプロンプトを変える。
エージェントの協調はDeLMの方式にした。中央のモデルに案をまとめさせず、追記だけの共有文脈とタスク待ち行列で分担する。課題をまたぐ層では、弱点の発見、提案、回帰テスト、採用、アーカイブを1周として、ハーネス自身を改良する。
途中で一度作り直している。最初の版は、画面と中継をCloudflare(Workers、Durable Objects、R2)に置き、パスキーのログイン、端末のペアリング、実行権の世代管理まで持っていた。11月6日に、これは得られるものに見合わないと判断し、1台のマシンで完結するローカル版に作り直した。
具体的な成果もある。最初の版が作ったブランチから、自作の言語hibanaに4件のPRがマージされた。JavaScriptでの整数の剰余の溢れ方、JavaScriptとCでのsplitの差、字句解析の位置、範囲外のJSON整数の拒否を直したものだ。
止めた理由1: 設計が散らかった
作り直した11月6日だけで、ADRを30件以上書いた。そのあとも、決めたことを別のADRで置き換えることが続いた。
- 自己改良の1周は、最初
bun run evolveという命令で回す形にした(ADR 0036)。翌日、流れの完了後に自動で回す形に置き換えた(ADR 0041)。 - 改良の記録の保存方法を決めたADRは、別のADRと番号が重なり、さらに次のADRで決め直した(ADR 0046、0047)。
- 役割は、論点エージェント、サブエージェント、分解役、方針役、検証生成役、回答エージェント、提案役、critic、pruner、文脈を縮める反射モジュールまで増えた。用語集の項目は30になった。
1つ1つの判断には理由があったが、全体として何が中心なのかを説明できなくなった。役割が増えるたびに、どの役の失敗が結果に効いたのかも追えなくなった。
止めた理由2: 自己改良の効果を測れなかった
自己改良の採否は、2種類の信号で決める設計にした(ADR 0006)。
- すぐに取れる信号: 検査の通過、テストの赤に到達できた割合など。ハーネス自身が計算する。
- 遅れて取れる信号: 作った変更が既定のブランチにマージされたか、マージ後に書き直されたか。
すぐに取れる信号はハーネスが自分で計算するので、改良の対象が細工できてしまう。そのため採用にだけ使い、取り消しは遅れて取れる信号で決めることにした(ADR 0014、0015)。ところが、取り消しの判定は「積んでから14日の観察期間」と「版ごとに10件以上」を待つ必要がある。1周の結果が分かるまでに数週間かかる。
実際の採用条件は「検査に通ること」だけになり、ADRにも「効果のない変更や悪くなる変更も積まれうる」と書いている(ADR 0041)。さらに、候補ごとに提案役が何を読み、解答役が何をしたかの記録は、検査出力の末尾1000文字しか残していなかった(ADR 0047)。良くなったのか、なぜ悪くなったのかを、後から確かめる材料がなかった。
止めた理由3: 仕組みが重すぎた
1つの課題を解くまでに、3体の論点エージェント、方針役、検証生成役、3体の回答エージェントがモデルを呼ぶ。エージェントを3体ずつにした決定(ADR 0048)には、同時のモデル呼び出しと作業ツリーが増える分、費用とディスク使用量が増えると書いている。
旧版のCloudflareの中継を捨てたのも同じ理由だった。最初から重い構成を組み、動かすための費用と保守が、試したいことの検証より先に膨らんだ。
止めた理由4: 人をループの近くに置くのが難しかった
hypharnessでは、人を各段階の承認者にする「Human in the loop」ではなく、人はループの近くにいて、必要なときに方向を直す形を目指した。ここが思っていたより難しかった。
記録を見ると、人の関わり方を何度も決め直している。
- 最初は、論点エージェントが1問ずつ質問し、利用者が答える形だった。これを、利用者とエージェントが最終目的の文書を一緒に書き換える形に変えた(ADR 0018)。承認の手順は持たず、利用者は後から履歴で確かめて戻す。
- 実行中に利用者が文書を書き換えても、すでに準備ができた論点は動き直さなかった。書き換えたら論点を再始動する形に直した(ADR 0038)。実行中のモデル呼び出しは打ち切らないので、その分の費用は無駄になる。
- 流れが止まったときは利用者に聞かず、1つ前の役に差し戻す(ADR 0010)。上限を超えたら全体を止め、再開には利用者の合図と論点エージェントの過半数の一致が要る形にした(ADR 0012)。
- 自己改良の取り消しは、利用者が統合ブランチをマージしたかどうかで判定する(ADR 0015)。利用者が一度もマージしない期間は、判定から外すしかない。
人に聞く回数を減らすと、ずれに気づくのが遅れる。聞く回数を増やすと、人がループの中に戻ってしまう。人の操作を信号として使う設計は、人が動かない間は何も判定できない。どこで人に見せ、どこで任せるかの線を、hypharnessでは最後まで引けなかった。
次に持っていく判断
止めたが、残す価値のある判断もあった。
解答役にはテストを見せず、方針を渡す(ADR 0005)。 テストを見せると、テストを通すことだけが目的になる。方針を見せないと、正しく実装しても名前の付け方が違うだけで失敗になる。方針の各項目に課題文からの引用を根拠として付けさせ、「やらないこと」を必ず書かせることで、作りすぎも抑える。
改良する部分と、改良される部分を分ける(ADR 0014)。 モデル呼び出しの中継、費用の上限、隔離環境の起動、採否の判定は固定し、改良の対象から外した。改良の対象は隔離環境の中で動き、外とは決まった入出力だけでつながる。自分を変える仕組みに、自分の採否を決めさせない。
信号は、ループを作る前に用意する。 自己改良のループを先に作り、効果を測る信号と記録は後から足そうとした。順番が逆だった。何をもって良くなったとするかと、その判断に使う記録が先にないと、ループを回しても結果を読めない。
最小の形で通してから足す。 最初の版も、作り直した版も、必要になる前に役割と層を足していた。最小の流れ(ADR 0021)を通したところで、それを使って何が足りないかを測るべきだった。
今はshiroで、複数のエージェントが共有文脈で分担する部分を、チャットという小さな形で試している。