Orielは、手元のCodexをブラウザーから操作し、GitHub IssueとLinearで開発を進めるツールだ。認証、端末とブラウザーの中継、GitHubとLinearの連携をCloudflare Workersで動かしている。
Browser -- Oriel Web -- Relay (Workers + Durable Objects) -- GitHub / Linear
|
+-- orield (local) -- Codex
アカウントごとの状態は、Durable Objects(以下DO)に置いている。DOは1つのオブジェクトが専用のSQLiteを持つ仕組みで、無料プランではSQLの読み取りが1日500万行までになる。上限に達すると、追加の請求ではなく処理の失敗になる。
止まった
10月、Orielを常時動かしていたら、動かなくなった。Codexの使用量はまだ残っていた。Orielの作業はCodexの使用量で動くので、止まるとしたらそちらが尽きたときだと思っていた。
何かと思って、Cloudflareの管理画面の「Workers & Pages」で今日のリクエスト数を見た。21,189件で、リクエストの無料枠(1日10万件)には届いていなかった。
止まったときのエラーは次のものだった。
Exceeded allowed rows read in Durable Objects free tier.
超えていたのはリクエスト数ではなく、DOのSQLで読み取った行数だった。見ていたリクエスト数の画面からは、どの処理が何行読んでいるかは分からない。
何行読んでいるかを測る
ローカルのworkerd(Workersの実行環境)で、Issue 48件、HOW(Linearに作る実装計画)1件、PRなしの同じデータを使い、処理ごとに読み取り行数を測った。試験用のSQLラッパーで、SQLiteのカーソルが返すrowsReadを集計している。本番に計測用のAPIは足していない。
| 処理 | SQL読み取り行数 |
|---|---|
| HTTPの全件探索 | 967 |
| WebSocketの待機中の全件探索 | 1,542 |
| WebSocketの実行中の1件確認 | 326 |
当時の実装は、待機中も全件探索を繰り返し、実行中は約5秒ごとに確認していた。実行中の確認を24時間続けると、次の計算になる。
326行 × 17,280回/日(5秒ごと)= 5,633,280行/日 > 5,000,000行/日
確認だけで無料枠を超える。約21.3時間で上限に達する計算だ。
周期を減らしても足りない
最初に、処理の回数を減らした。
- 実行中の確認を、全件探索から対象のIssueだけの取得に変えた。HTTPの全件探索と比べて、読み取りは約66%減る。
- GitHubとLinearのWebhookを、署名を検証したうえで受け取り、変更があったときに探索するようにした。待機中の全件照合は60秒ごとから15分ごとになり、1日1,440回から96回に減った。
ただし、実行中の確認は5秒ごとのまま残る。確認できない状態が12秒続いたら実行を止める、という安全側の条件があるためだ。周期だけで無料枠に収めるには約5.63秒以上の間隔が要り、この条件と近すぎる。回数ではなく、1回あたりの行数を減らす必要があった。
326行の中身
326行の内訳を測った。
| 読み取り対象 | 待機中の全件探索 | 実行中の1件確認 |
|---|---|---|
devices(端末の所有者、ホスト、リポジトリ) |
580 | 124 |
account_integrations(連携の世代、状態、認証情報) |
962 | 202 |
| 合計 | 1,542 | 326 |
IssueやHOWの本文を検索しているわけではなかった。外部APIを呼ぶ前後や結果を処理する間に、端末の所有権と連携の状態を何度も読み直していた。ある関数は端末を読んだ直後に別の関数を呼び、その中で同じ端末をもう一度読んでいた。
この二重読み取りを直す試作では、実行中の確認は326行から284行になった。約13%の削減で、無料枠に対しては足りない。読み直しの箇所を1つずつ減らしても、構造が同じなら行数は残る。
権限を毎回読み直さない構造にする
読み直していたのは、確認の途中で権限が変わっていないかを確かめるためだ。ログアウト、連携の解除、端末の所有者の変更が起きたら、実行中の作業を止めなければならない。
そこで、権限の確認を次の形に変えた。
起動・休止からの復帰
SQLから認証と連携の状態を読み、DOの中に持つ
権限を変える操作(ログアウト、連携の解除、所有者の変更、認証情報の更新)
必ず同じ経路を通す
SQLに保存する
DOの中の状態を更新し、世代番号を進める
該当する接続と実行の権限を失効させる
実行中の確認
DOの中の状態と世代番号を照合する(SQLは読まない)
GitHub・Linearの承認状態は、これまで通り毎回取得する
期限まで古い値を使うキャッシュとは違う。権限を変える操作がすべて同じ経路を通り、その場で状態を更新するので、古い権限を使い続ける時間がない。セッションの期限は毎回時刻で比べる。保存に失敗したときは、メモリ上の権限だけを変えることはしない。外部サービスの承認状態は、この仕組みで持たずに毎回取得する。
あわせて、端末の在席確認で10秒ごとに保存していた状態を、接続の付随情報と自動応答の時刻で管理するようにした。保存は接続状態が変わったときだけにした。
結果
同じデータで、処理1回あたりの読み取り行数を測り直した。
| 処理 | 変更前 | 変更後 |
|---|---|---|
| 実行中の1件確認 | 344行 | 0行 |
| Webの48件一覧 | 1,355行 | 0行 |
| 端末一覧の再取得 | 25行 | 0行 |
| Codexの出力1件 | 3行 | 0行 |
| 管理用のアラーム | 23行 | 0行 |
0行は、状態を読み込み済みで、権限の変更がない間の値だ。休止から復帰して読み込み直すと、初期化と確認で十数行を読む。
1台、Issue 48件、Web画面と端末中継を含めて24時間・30日動かす条件で、定期処理を計算した。
| 30日の値 | 変更前 | 変更後 |
|---|---|---|
| SQL読み取り | 194,837,040行 | 10,080行 |
| SQL書き込み | 1,637,280行 | 151,200行 |
1日あたりでは、無料枠に対して次の割合になる。
| 項目 | 1日の試算 | 無料枠 | 割合 |
|---|---|---|---|
| SQL読み取り | 336行 | 5,000,000行 | 0.0067% |
| SQL書き込み | 5,040行 | 100,000行 | 5.04% |
| DOリクエスト(課金換算) | 16,512件 | 100,000件 | 16.5% |
| Workersリクエスト | 192件 | 100,000件 | 0.19% |
この表は、測った1回あたりの行数に処理の回数を掛けた試算で、本番で24時間動かして測った値ではない。再読み込みは1日24回と置いている。
途中で見つかった別の上限
減らす作業の途中で、別の制約にも当たった。
1回の処理で外部に出せる通信は50回まで。 無料プランでは、通常のWorkerから外部へのfetchが1回の処理につき50回に制限される。Webの全件一覧は、Issueごとにコメントを取得していたので59回呼んでいた。ローカルの測定環境ではこの上限を適用していなかったので、気づくのが遅れた。GitHub GraphQLでコメントを20件ずつまとめて取得する形に変え、14回にした。HOWやPR、コメントが増えれば回数も増えるので、14回は任意のデータ量での保証ではない。
ある指標を減らすと別の指標が増える。 実行中の確認をHTTPから既存のWebSocketに移すと、Workersのリクエストは1日17,472件から192件に減る。WebSocketは接続を始めるときだけがリクエストとして数えられるためだ。一方で、外部APIの応答を待つ間はDOが休止できないので、DOの稼働時間は増える。稼働時間は1回1秒と仮定した計算で、本番では測っていない。どちらを減らしたかを書くときは、増えた側も一緒に書くことにした。
残っていること
- 本番で24時間動かした測定はまだしていない。上の数字は、ローカルで測った値と回数の仮定から計算したものだ。
- 通常のWorkerは1回の呼び出しにつきCPU時間10ミリ秒の制限がある。全件取得のCPU時間は測っていない。
- 計算の前提と手順は、リポジトリの
CLOUDFLARE_COST.mdとscripts/estimate-cloudflare-usage.mjsに残した。測定値から同じ計算を再現できる。
分かったこと
管理画面で見えるリクエスト数と、止まった原因の行数は別の指標だった。1回あたりの行数と回数に分けて測ったことで、周期を変えるだけでは足りないことと、行数の大半が権限の読み直しだったことが分かった。最初の二重読み取りの修正は13%の削減にとどまり、行数を減らすには、権限の更新を1つの経路にまとめるところまで構造を変える必要があった。