OpenSearch

私は 100 近くの OpenSearch クラスターを管理しています。先日、Heap のアラートが鳴りました。ただし全クラスターではなく、いくつかのクラスターだけです。このアラートの条件は Heap 使用率が 75% を超えることです。鳴ったクラスターは数分後に自然に回復し、また鳴る、を繰り返していました。 最初はノードに問題が起きたのではと心配になり、まずクラスターに異常がないか確認しました。 クラスターの状態：Green で、Unassigned Shard はなし 書き込みは正常：Fluentd のバッファは溜まっておらず、リトライも続いていない Pod は OOM になっていない：再起動回数は増えておらず、Last State も OOMKilled ではない 3 つとも正常だったので、Heap のメトリクスを開きました。すると Heap 使用率は「上がり続けて、落ちて、また上がる」というノコギリ型の波形でした。アラートはちょうど山の頂点で鳴り、数分後に落ちたところで回復していたのです。 最初は 75% のしきい値を上げようと考えました。しかし鳴るのは一部のクラスターだけなので、しきい値だけの問題ではなさそうです。さらに不思議だったのは、同じノコギリ型でも、ほかのクラスターは 60% で落ちるのに、このクラスターは 80% まで上がってから落ちることでした。設定がほかと違うのか？ 特に忙しくてメモリが足りないのか？ これに答えるには、まず JVM がどうやってメモリを回収するのか、特に Young GC を理解する必要があります。 ...