https://coder.tw/ja/tags/prometheus/Recent content in Prometheus on Lin's BlogHugoja-JPMon, 19 Oct 2026 22:19:33 +0800https://coder.tw/ja/posts/opensearch-memory-alert-old-generation/Mon, 19 Oct 2026 22:19:33 +0800https://coder.tw/ja/posts/opensearch-memory-alert-old-generation/<p>私は 100 近くの OpenSearch クラスターを管理しています。先日、Heap のアラートが鳴りました。ただし全クラスターではなく、いくつかのクラスターだけです。このアラートの条件は Heap 使用率が 75% を超えることです。鳴ったクラスターは数分後に自然に回復し、また鳴る、を繰り返していました。</p> <p>最初はノードに問題が起きたのではと心配になり、まずクラスターに異常がないか確認しました。</p> <ul> <li><strong>クラスターの状態</strong>：Green で、Unassigned Shard はなし</li> <li><strong>書き込みは正常</strong>：Fluentd のバッファは溜まっておらず、リトライも続いていない</li> <li><strong>Pod は OOM になっていない</strong>：再起動回数は増えておらず、<code>Last State</code> も OOMKilled ではない</li> </ul> <p>3 つとも正常だったので、Heap のメトリクスを開きました。すると Heap 使用率は「上がり続けて、落ちて、また上がる」というノコギリ型の波形でした。アラートはちょうど山の頂点で鳴り、数分後に落ちたところで回復していたのです。</p> <p>最初は 75% のしきい値を上げようと考えました。しかし鳴るのは一部のクラスターだけなので、しきい値だけの問題ではなさそうです。さらに不思議だったのは、同じノコギリ型でも、ほかのクラスターは 60% で落ちるのに、このクラスターは 80% まで上がってから落ちることでした。設定がほかと違うのか？ 特に忙しくてメモリが足りないのか？</p> <p>これに答えるには、まず JVM がどうやってメモリを回収するのか、特に Young GC を理解する必要があります。</p>