https://coder.tw/tags/jvm/Recent content in JVM on Lin's BlogHugozh-twMon, 19 Oct 2026 22:19:33 +0800https://coder.tw/posts/opensearch-memory-alert-old-generation/Mon, 19 Oct 2026 22:19:33 +0800https://coder.tw/posts/opensearch-memory-alert-old-generation/<p>我負責管理近百個 OpenSearch Cluster，前陣子發現 Heap 的 Alert 響了，但不是每一個 Cluster 都響，只有其中幾個。這個 Alert 的條件是 Heap 使用率超過 75%。響的那幾個，過幾分鐘會自己恢復，然後又響。</p> <p>一開始我很緊張，擔心是節點出了問題，所以先檢查 Cluster 有沒有異常：</p> <ul> <li><strong>Cluster 狀態</strong>：是 Green，沒有 Unassigned Shard</li> <li><strong>寫入正常</strong>：Fluentd 的 Buffer 沒有堆積，也沒有一直在 Retry</li> <li><strong>Pod 沒有被 OOM</strong>：Restart 次數沒有增加，<code>Last State</code> 也不是 OOMKilled</li> </ul> <p>三項都正常，我才打開 Heap 的 Metric 看。結果發現 Heap 使用率是一條「一直往上爬、掉下來、再往上爬」的鋸齒，警報響的時候剛好爬到高點，過幾分鐘掉下來就恢復了。</p> <p>第一反應是把 75% 調高，但不是每個 Cluster 都響，似乎不只是閾值的問題。我更困惑的是：同樣是鋸齒，別的 Cluster 爬到 60% 就掉下來了，這個 Cluster 卻要爬到 80% 才掉。是它的設定跟別人不一樣嗎？還是它特別忙，記憶體給不夠？</p> <p>要回答這些問題，得先搞懂 JVM 是怎麼回收記憶體的，特別是 Young GC。</p>