IOptionsMonitorのアロケーション削減を5方式で比べ、PRを見送った話
登録解除の確保量は減らせた。それでも採用を見送った理由を、通知速度、通知中の変更、オブジェクトの保持から整理する。
公開
IOptionsMonitor<T> の登録解除で発生するメモリ確保を減らそうとして、元実装を含む5方式を比較した。
登録を入れ替えるだけなら、1操作あたりの確保量を33,080 Bから32 Bまで減らせた。
ところが、通知の実行中に登録を変更すると大きな確保が残り、それを減らした別案では通知が遅くなった。
今回はPRを出さず、ここで検討を終えることにした。 これは解決不可能という結論ではない。 どこまで改善できて、何が残ったのかを、実装と測定の記録として残しておきたい。
調べた問題
きっかけは、dotnet/runtimeのIssue #112127だった。 Orleansで多数のgrainが設定変更を購読し、使い終わった購読を解除すると、大きなオブジェクトの確保が発生するという報告だ。 報告者は、マルチキャストデリゲートからの登録解除に伴う呼び出しリストの生成を疑っている。
ここで解除するのは、OnChange が返した購読用ハンドルだ。
OptionsMonitor 本体の Dispose と混同しないように、利用側の形を示す。
IDisposable? subscription = monitor.OnChange((options, name) =>
{
// 設定の変更に対応する。
});
// この購読が不要になったら解除する。
subscription?.Dispose();
比較の基準には、Runtimeのコミット 2023ab783879152a3cfe3a2c7c36296fe8bbc352 の実装を使った。
この時点のOptionsMonitor.csでは、登録したコールバックをデリゲートにまとめている。
今回の試作では、キャッシュやオプション生成の処理を変えず、購読の管理と通知時の列挙を置き換えた。
なお、元IssueのLOHに関する報告と、この記事の確保量は分けて読む必要がある。 今回測ったのは、操作中に現在のスレッドが確保したバイト数だ。 33,080 Bという値から、単一の巨大配列やLOHへの配置が発生したとは判定できない。 Orleansの実負荷そのものを再現した測定でもない。
解除を速くするだけでは足りない理由
たとえば、通知開始時にA、B、Cの順でコールバックが登録されていたとする。 Aが実行中にBを解除し、Dを登録する場合を考える。
この比較では、実行中の通知は開始時に捕まえたA、B、Cを呼び、次の通知からA、C、Dを呼ぶという元実装の挙動を保つようにした。 「解除したから今の通知でもBを飛ばす」という実装では、速くなっても同じ処理の比較にならない。
複数の変更元から通知が重なることもある。 古い登録内容を読んでいる通知を残しながら、新しい登録内容を作らなければならない。 ユーザーのコールバックをロックの中で実行して、変更を丸ごと待たせる方法も採らなかった。
この古い状態の扱いが、比較した方式の違いになった。
| 方式 | 登録内容の持ち方 | 通知中に変更するときの扱い |
|---|---|---|
| 元実装 | マルチキャストデリゲート | 実行中のデリゲートが古い登録内容を保持する |
| 配列方式 | コールバックの配列 | 読み手がいる配列を複製し、新しい配列を変更する |
| 世代番号方式 | 登録時点と解除時点を持つ連結ノード | 通知の世代番号で対象を判定し、ノードの回収を遅らせる |
| ブロック方式 | 小さな不変ブロックを持つ木 | 変更箇所までの経路を複製し、通知は古い木を読む |
| 遅延生成方式 | 連結ノードと、通知用の配列 | 登録内容が変わった後の最初の通知で配列を作り直す |
配列方式は、通知が走っていなければ配列をそのまま変更できる。 一方、世代番号方式は古い通知に必要な情報を残すことで、配列全体のコピーを避ける。 ブロック方式はコピーの範囲を小さくし、遅延生成方式はコピーする時点を通知まで遅らせる。
比較の条件
性能はMac miniのmacOS arm64、.NET 10.0.12上で測った。 通常のサービスも稼働している共有マシンであり、専用の性能測定機ではない。
登録数は0、1、64、2,500、8,192件。 通常の通知に加えて、末尾への追加と解除、先頭からの入れ替え、固定シードによるランダムな入れ替え、変更直後の通知、通知中の変更、全件解除を調べた。 通知中の変更では、最初のコールバックが既存の購読を一つ解除し、新しい購読を末尾へ追加する。
5方式には同じコールバック本体と測定プログラムを使った。 非公開の通知メソッドへのデリゲートを測定前に作り、操作ごとのリフレクション呼び出しは避けている。 通知の計測には、キャッシュの更新とオプションオブジェクトの生成も含まれる。
実行順をローテーションおよび反転し、通常項目は各方式6回ずつ、別プロセスで2試行した。 全件解除は各試行4回ずつ測り、全体で2,160行の結果を保存した。 これは2,160種類の独立した実験という意味ではなく、同じ条件の繰り返しも含む行数だ。
以下の通常項目の表は12標本の中央値を丸めた値だ。 BenchmarkDotNetを使った測定ではなく、共有環境の短い比較なので、小さな時間差から細かい順位は付けない。
普通に登録を入れ替える場合
まず2,500件の購読を維持しながら、ランダムに選んだ一つを解除し、末尾に新しい購読を追加した。 通知は同時に実行していない。
| 方式 | 時間(ns/op) | 確保量(B/op) |
|---|---|---|
| 元実装 | 6,824 | 33,080 |
| 配列方式 | 717 | 32 |
| 世代番号方式 | 41 | 96 |
| ブロック方式 | 585 | 3,221 |
| 遅延生成方式 | 26 | 56 |
この条件では、どの試作も元実装より少ない確保量になった。 配列方式は順序を保つために要素を移動するが、通知中でなければ毎回新しい配列を作る必要がない。 世代番号方式と遅延生成方式は、ハンドルが指すノードを使って解除できる。
ここだけで判断すれば、採用したくなる結果だ。 ただし、これだけでは購読を増減させた後に実際の通知を行う費用も、通知と変更が重なったときの費用も分からない。
通知と登録変更を組み合わせるとどうなるか
同じ2,500件について、登録を変えない通常通知と、通知中に登録を入れ替える場合を比較した。
| 方式 | 通常通知の時間(µs/op) | 通常通知の確保量(B/op) | 通知中の入れ替えを含む時間(µs/op) | その確保量(B/op) |
|---|---|---|---|---|
| 元実装 | 4.77 | 248 | 14.97 | 33,328 |
| 配列方式 | 2.91 | 248 | 5.35 | 33,072 |
| 世代番号方式 | 16.29 | 312 | 19.25 | 408 |
| ブロック方式 | 9.74 | 376 | 10.81 | 3,411 |
| 遅延生成方式 | 3.22 | 248 | 10.14 | 20,336 |
配列方式は、通常通知と今回の通知中入れ替えの時間を短くできた。 しかし、通知中の確保量は33,328 Bから33,072 Bへとわずかに減っただけだった。 古い通知のために配列を保持しながら変更するので、ここでコピーが必要になる。 登録数を8,192件にすると、この条件の確保量は131,376 Bになった。
世代番号方式は、通知中の確保量を408 Bまで減らした。 その一方で、通常通知の時間は元実装の約3.4倍になった。 ノードをたどって世代を判定する実装ではあるが、今回の比較では走査、同期、世代番号の演算などの費用を個別に分離していない。 遅延の全量を一つの処理に帰すことはできない。
ブロック方式も、通知中の確保量を約3.4 KBへ減らせた。 ただし通常通知は約2倍の時間を要した。 変更時のコピーを小さくする仕組みを追加しても、読み出し側まで速くなるとは限らなかった。
遅延生成方式は、登録内容が変わらない通知なら配列を再利用できる。 しかし、変更後には人数分の配列を作り直す。 今回の通知中入れ替えでは各通知が次の通知用の配列を無効にするため、約20 KBの確保が続いた。 通知の直前に入れ替える測定でも、1操作あたり20,328 Bを確保した。
確保しなくても、保持が増える場合
確保量とは別に、解除済みの対象がいつ回収可能になるかも確認した。 通知をコールバック内で意図的に止め、その間に1万件の購読を登録して解除した。 その後にGCを実行し、弱参照からコールバック対象の生存を調べた。
世代番号方式では、通知を止めている間、1万件すべての対象が残った。 ほかの4方式では、この1万件の対象は残らなかった。 世代番号方式でも通知の終了後には全件を回収できたため、終了後も残り続けるリークを観測したわけではない。
この試作は、通知が動いている間のノード回収をまとめて遅らせる設計だった。 長い通知があれば、そこに解除済みの対象が蓄積する。 1回の確保量を減らす評価と、長く保持されるメモリの評価は別に必要だった。 世代管理を使う実装すべてにこの保持が必須だと証明したわけでもない。
テストで確認したこと
登録順序、同じコールバックの複数登録、通知中の変更、再入、例外、二つの通知が重なる場合の対象などを検証した。 固定シードで登録と解除を繰り返す別の検証では、各方式で28,880回の変更と721回の通知を実行し、呼び出された対象と順序を確認した。 この検証は5方式とも通った。
性能測定とは別に、Runtime本体の.NET 11のテスト環境にも組み込んだ。 元の177件に今回の24件を追加した結果は次のとおりだった。
| 方式 | 本体テストの結果 |
|---|---|
| 元実装 | 201件合格 |
| 配列方式 | 201件合格 |
| 世代番号方式 | 201件合格 |
| ブロック方式 | 201件合格 |
| 遅延生成方式 | 199件合格、2件失敗 |
遅延生成方式で失敗したのは、登録を変更した後の通知で余分な確保が増えないことを調べる、今回追加した2件だった。 元からある177件の機能テストに失敗したという意味ではない。 配列を通知時に作り直す設計の負担が、設定した性能要件に合わなかった。
世代番号方式には統合作業も必要だった。
世代番号の桁あふれを避けるために BigInteger を使っており、本体の現行ターゲットに System.Runtime.Numerics のプロジェクト参照を追加して検証した。
ほかのターゲットすべての互換性まで確認したわけではない。
動作テストは.NET 11、比較の時間と確保量は.NET 10で得た結果だ。 テストに通ったことを根拠に、.NET 11本体でも表の速度改善を確認したとは言わない。
今回PRを見送った理由
今回の判断では、通常の登録解除に加えて、通知と変更が重なる条件の確保量、通知速度、長い通知中の保持も見た。 この判断基準は今回の検討で置いたもので、メンテナーから全条件の改善を要求されたわけではない。 PRを出して不採用になった、という経緯でもない。
世代番号方式とブロック方式は、確保量を減らす代わりに通常通知が遅くなった。 遅延生成方式は、登録変更が続く場面で通知側に確保が移った。 追加した3案は採用しなかった。
配列方式は、それらとは少し違う。 通常の登録解除では大きく改善し、今回の2,500件の測定では通知も速かった。 通知中に約33 KB確保すること自体は、元実装から新たに増えた問題ではない。 したがって、この結果だけで部分的な改善としての価値まで否定するのは正確ではない。
それでも今回は、通知中の大きな確保を残したままPRへ進めることを選ばなかった。 登録ゼロの通知では113 nsから136 nsへの遅延も観測しており、すべての条件で有利だったわけではない。 ここから本体の性能測定や設計の絞り込みを続ける費用も含め、今回の取り組みを終了した。
元Issueを解決できないと証明したわけではないし、今回のデータ構造に別の実装余地がないとも言えない。 残ったのは、どの処理を軽くすると別の処理に負担が出たかを追える記録だ。 次に同種の変更を試すときは、登録解除の確保量だけで採用を決めず、通知と変更が重なる条件まで最初から測定に入れたい。
測定資料
設計検討と実装にはAIの補助を使った。 測定プログラム、ソースのハッシュ、失敗を含む検証結果を保存し、AIの自己評価だけで採用を決めないようにした。 この記事はマージ報告ではなく、採用を見送った試作の検証記録である。