SRE on Lin's Blog

OpenSearch Memory Alert 響了又恢復，是記憶體不夠嗎？

Mon, 19 Oct 2026 22:19:33 +0800

我負責管理近百個 OpenSearch Cluster，前陣子發現 Heap 的 Alert 響了，但不是每一個 Cluster 都響，只有其中幾個。這個 Alert 的條件是 Heap 使用率超過 75%。響的那幾個，過幾分鐘會自己恢復，然後又響。

一開始我很緊張，擔心是節點出了問題，所以先檢查 Cluster 有沒有異常：

Cluster 狀態：是 Green，沒有 Unassigned Shard
寫入正常：Fluentd 的 Buffer 沒有堆積，也沒有一直在 Retry
Pod 沒有被 OOM：Restart 次數沒有增加，Last State 也不是 OOMKilled

三項都正常，我才打開 Heap 的 Metric 看。結果發現 Heap 使用率是一條「一直往上爬、掉下來、再往上爬」的鋸齒，警報響的時候剛好爬到高點，過幾分鐘掉下來就恢復了。

第一反應是把 75% 調高，但不是每個 Cluster 都響，似乎不只是閾值的問題。我更困惑的是：同樣是鋸齒，別的 Cluster 爬到 60% 就掉下來了，這個 Cluster 卻要爬到 80% 才掉。是它的設定跟別人不一樣嗎？還是它特別忙，記憶體給不夠？

要回答這些問題，得先搞懂 JVM 是怎麼回收記憶體的，特別是 Young GC。

bash: warning: setlocale: LC_ALL: cannot change locale

Wed, 22 Feb 2017 10:01:41 +0000

用 SSH 登入遠端伺服器時，看到「-bash: warning: setlocale: LC_ALL: cannot change locale」的錯誤訊息嗎？會遇到它是因為 SSH 連線上遠端主機時，會自動將本機的 LC_* 變數（locale）傳送一份到遠端主機，如果伺服器上不支援你指定的語系，就會出現「-bash: warning: setlocale: LC_ALL: cannot change locale」錯誤啦！

Google Cloud Platform 自動扣款餘額不足處理

Tue, 07 Feb 2017 10:19:02 +0000

因為我登記在 GCP 的信用卡是「VISA 金融卡」形式，所以每月自動扣款時有可能會遇到銀行餘額不足的問題，目前 GCP 針對該問題的做法，會再扣款失敗後寄信提醒你，並在一日後重試扣款，如果依舊失敗就會要求你在解決問題後自行登入ＧCP 後台付款，過去在登入 GCP 後台付款都沒有遇到問題，但這次似乎動線有改變，按照他的連結引導會被帶到帳單頁面，但無法執行扣款動作，此外即使你找到正確的扣款按鍵，但使用 Chrome Canary 卻似乎會有前端的問題導致扣款對話框無限載入中，必須要切換到正常版 Chrome 才可以正常扣款，真好奇這個扣款對話框是用了什麼最新最潮的技術…

當 GitLab 誤刪資料庫，我們該如何管好 rm 指令？

Wed, 01 Feb 2017 23:58:28 +0000

不小心把根目錄刪除這種慘劇，我們從小都當笑話聽，但可千萬別以為這只是個笑話！光小弟自己就看過無數朋友的電腦發生這種慘劇，而今天 GitLab （類似 Github 的服務）的工程師也親身示範了 rm -rf 指令的莫大威力…… 他們把 Production Server 的 Database 砍掉了…… 過去一直覺得這種慘劇不會發生在自己身上，但現在連 GitLab 這種有上萬人在用的服務，都因為大意而發生這種事情，也讓我研究了一下該如何避免，這邊就來聊聊我們該如何把 rm 指令管好吧！

UptimeRobot - 網站存活狀態檢查服務

Tue, 31 Jan 2017 17:26:37 +0000

UptimeRobot 是一個老牌子、穩定且功能完整的網站狀態檢查服務，當你設定完成後，UptimeRobot 會定時去檢查網站是否在線上，這對於網站管理者十分重要，試想如果你更新伺服器後網站壞掉 3 小時你才發現，這三小時的客戶就都流失了！ UptimeRobot 的免費方案是 50 個觀測對象內、每五分鐘檢查一次，此外有支援 HTTP Status、Keyword、Ping、Port 等四種檢測方式，如果有狀況 UptimeRobot 支援簡訊、Email、Slack、WebHook 等多種通知方式，對我而言更重要的是 UptimeRobot 經營穩定，我從 2011 年使用至今。

Generate Large File on Linux/macOS

Fri, 27 Jan 2017 23:59:59 +0000

有時候為了測試網路速度、硬碟讀寫，或是程式的運作效能等等，我們會需要產生指定大小的檔案作為測試之用，這時大家肯定腦海都浮現出 dd 這傢伙對吧！但使用 dd 產生檔案時，是否覺得很慢呢？此外你知道除了 dd 之外，還有 truncate、fallocate 這兩個傢伙可以使用嗎？這邊會簡單說明如果要產生大檔案，你有哪些方法可以使用、如何使用，以及他們之間的差異。要特別注意，這邊產生的檔案其內容都是無意義的。

如何在 Terminal 計算指令執行的時間？

Fri, 27 Jan 2017 23:58:26 +0000

你有想過幫你在 Terminal 執行的指令計算執行時間嗎？前陣子因為工作上的需求，用各種指令兜了一個檔案分類工具出來，但因為對效能有嚴格的要求，需要在指定時間內完成，所以查到 time 這個好用的指令可以幫我們計算指令的執行時間。

Linux Grep Tips - 搜尋有指定字串的列

Fri, 20 Jan 2017 18:32:31 +0000

在 Linux 裡面有時我們會需要從檔案中快速的搜尋帶有關鍵字的「列」，例如在看 log 時可能會想找出某個時間發生的錯誤，打開檔案一行行找實在不怎麼經濟實惠，這時你就會需要 grep 的幫助啦！

如何確認我的 Crontab 正常運作？

Fri, 20 Jan 2017 18:16:15 +0000

不知道大家是否都有同樣的煩惱？剛學會 crontab 時，始終不確定自己的設定是否正確，每次設定完都不確定是否有照預期的跑，在這我分享兩招可以讓大家確定自己的 crontab 是否正確設定！

Kibana Date Type Field Query

Thu, 19 Jan 2017 02:18:24 +0000

在 Kibana 裡面，想要搜尋某段時間內的資料，第一個一定是想到 Kibana 內建的 Time Picker，不得不說這真的是很好用的工具，但少數情況你的資料可能不只一個日期欄位，而你必須用 Query 的方式而非 Time Picker 處理，例如 Email 的資料，寄信、開信、點擊都會有 Log 傳到我的伺服器，這時候會有兩個時間，一個是信件寄出的，另一個則是事件發生的時間（例如開信、點擊），像這樣的情況就可能會需要在搜尋框裡面用日期欄位做搜尋。

WTF Elastic X-Pack License - How to uninstall X-Pack

Mon, 16 Jan 2017 10:30:47 +0000

如果你透過搜尋引擎找到這篇文章，想必對 X-Pack 跟我一樣有著滿滿的怨念。最開始覺得 X-Pack 是個免費好用的外掛就把它裝到 Elasticsearch 跟 Kibana 身上，結果過了 30 天才看到提示說因為 License 過期，你需要去「更新授權碼」，否則不能登入 Kibana，其實到這邊我都還以為是註冊一個帳號就可以拿到新的授權碼，結果到官方網站看了很久，我沒有看到任何關於授權、費用、購買之類的文字（後來發現其實有，很小… 你們是有沒有想賺錢阿），最後竟然是靠 Google 搜尋才找到價格方案的頁面。

Elasticsearch、Kibana 使用者認證設定

Sun, 15 Jan 2017 10:00:51 +0000

當你將 Elasticsearch 和 Kibana 安裝完後，你會發現一個十分嚴重的問題：「咦，帳號密碼勒？」沒錯，Elasticsearch 和 Kibana 是沒有提供一般常見的使用者模組，你只能透過 Bind IP 或是 Bind Port 的方式設定內網使用，但如果你跟敝公司一樣沒有固定 IP，或是你想要設定幾組帳密來使用的話，就繼續讀下去吧，這篇文章將會分享當 Elasticsearch 和 Kibana 的基本使用者認證該如何設定，採用 HTTP Auth 的方式。

Siege - HTTP 網站壓力測試好幫手

Fri, 06 Jan 2017 22:54:59 +0000

身為一個後端工程師，偶爾想幫網站做一下壓力測試也沒什麼好意外的，透過壓力測試我們可以了解伺服器架構的穩定度，以及在某種層面上觀察程式的效能，常見的工具有 ab、jMeter 等等，我想應該沒有人是選擇用人工來做壓力測試的吧（抖），今天要跟大家介紹 Siege，、它是個功能蠻完善但又簡單的 HTTP 壓力測試工具，用命令列的方式執行，透過 Siege 可以幫助你測試網站、API 的負載能力，但也要注意效能測試是很多層面的事情，並非壓力測試通過就萬無一失哦！

How to make a Dashboard on TV

Fri, 23 Dec 2016 01:58:44 +0000

電視掛在辦公室上頭很久了，一直空蕩蕩的也不是辦法，所以最近開始在規劃把一些重要的數據例如轉換率、流量、即時訪客等等放到電視上，原以為 Dashboard 不過是簡單的需求，花個 2-3 天後端整理資料，前端用 D3.js 繪製出圖表就可以，甚至更簡單還可以用 Google Analytics 的自訂報表來做，沒想到研究下去後卻發現事情並不單純，就讓我們娓娓道來吧。

How to hook SSH Login and send notification (email or others)

Sat, 30 Jul 2016 11:01:44 +0000

When you first time login to Google, Facebook, It will send a notification email for you to improve security. I think many IT think “How to make SSH to same thing” right? If any user login ssh can send notify to system manager, It was help for security.

uWSGI

Fri, 24 Jul 2015 19:17:45 +0000

介紹

uWSGI 是一種協議，同時它也是一個程式。

為什麼這麼複雜？從程式講起吧，uWSGI 這個程式最初是為了讓 Python 所撰寫的 Web Application 能夠跟 Nginx、Apache 等等的 Web Server 溝通而設計的，他採用自己設計的 uwsgi 通訊協議，此外他也支援 cgi、fastcgi、socket 等多種協議，所以除了服務 Python 之外，他也可以跟 PHP、Go 等等的程式語言整合。

Amazon Web Service 多重驗證（MFA）設備遺失處理記述

Wed, 15 Jan 2014 00:00:09 +0000

這是一篇記錄AWS MFA遺失時處理方式的文章，我的AWS帳戶都會啟用多重驗證，也就是登入時除了輸入密碼，還要輸入手機上面的驗證碼，但之前因為不小心刪掉驗證碼的App，害我不能登入AWS，而且AWS不知為何，一般會使用二段式驗證的網路服務，都會讓使用者可以把驗證碼寄到簡訊，但AWS卻只有提供手機App產生驗證碼這種方式！後來我查了些文章才解決這次危機。

手動編譯、安裝PHP Extension （Linux）

Thu, 26 Jan 2012 16:53:57 +0000

如果要幫PHP安裝Extension的話要怎麼做呢？很多人都會回答Pecl，這的確是一個很方便的安裝Extension的方式，不過如果你的Server上面沒有Pecl怎麼辦呢？然後又因為某些原因不能安裝Pecl，這時候你就只好手動去編譯、安裝囉～而這篇文章也就是要教大家如何手動編譯PHP Extension在Linux上面

Mongodb的安全性設定：帳戶設定、登入IP設定

Wed, 25 Jan 2012 15:12:55 +0000

預設情況下Mongodb是沒有任何防護的，不需要任何帳號就可以遠端登入，如果要用它來寫程式其實是很危險的，所以在這篇文章中，我會教大家如何幫Mongodb加入帳戶的設定，變成需要帳號密碼才能登入，然後也會教大家設定登入的IP限制

如何在Linux裡面手動安裝Python並且避免yum不能運作的問題

Fri, 19 Aug 2011 08:00:45 +0000

之前曾經寫過一個程式可以自動備份Linux裡的重要資料並且上傳到Google Storage，當時用的語言是Python 2.7，但是Linux裡面內建的Python是2.4，而且就算你用yum去進行升級，最高也只會到2.4，這時候你如果想要安裝更新版的Python就只能自行編譯了，下面將用Python 3.2進行教學

如何修改SSH預設的22連接埠改走其他Port？

Sat, 16 Apr 2011 10:56:20 +0000

▲▲透過SSH，可以遠端幫主機進行很多工作

SSH幾乎是所有Linux系統都會內建的程式了，因為他可以讓你很方便的去連線、管理你的主機，只要連線到SSH就能對你的Server進行很多工作，但也因為這樣，SSH很有可能被人攻擊，預設的SSH Port都是22，只要別人猜到你的密碼，那你的Server就會變得很危險，因此這裡要教大家做第二層的防護，也就是修改掉預設的Port，這樣子別人在攻擊時除了要知道密碼，還必須知道你走哪個連接埠

【Linux】如何修改使用者密碼（適用iOS系統修改SSH密碼）

Fri, 18 Mar 2011 15:59:06 +0000

在Linux系統裡面為了安全性問題，我們一定要幫每個帳戶都設下一道密碼，使用者必須持有正確的密碼才能登入系統，而再這篇文章中就是要教大家在管理Linux類的主機、VPS時如何修改帳戶密碼，另外這個方法同樣可以應用在JB之後的iPad、iPhone等使用iOS的系統上，因為iOS預設的密碼是Alpine，如果你沒有去修改然後你的iOS裝置又有JB，那就有可能被別人攻擊

Uptime Robot - 最短間隔5分鐘，檢查你網站是否能瀏覽

Sun, 20 Feb 2011 13:48:36 +0000

Uptime Robot是我個人蠻推薦的一個上線率檢查服務，也就是他可以檢查你的主機是否有正常運作，訪客是否能瀏覽你的網站，目前類似Uptime Robot的服務很多，但是大多數的免費上線率檢查服務的檢查間隔都是1個小時或更長(也就是該服務每隔多久檢查一次你的網站)，而Uptime Robot的最短間隔是5分鐘，一旦發現你網站出問題還會自動寄信給你，目前Uptime Robot是免費的，但之後要不要付費就不太確定了ˊ...

PHPMyAdmin資料庫手動備份與還原

Fri, 11 Feb 2011 11:11:08 +0000

今天這篇文章是要敎各位如何用"手動"的方式來備份與還原資料庫,大家如果有點架站常識的話都知道要定期備份資料庫,因為網站裡的資料幾乎都是存放在資料庫內,但話是這麼說確有多少人會備份資料庫呢?大多數人會架站都是去看所謂"十分鐘架站密笈"學的,通常那類書籍不會教你深入的東西,也因此有很多人不懂如何備份資料庫,所以在這裡站長要敎大家手動備分資料庫(Mysql的資料庫)

【VPS】購買VPS的注意事項、推薦VPS商：PhotonVPS

Wed, 09 Feb 2011 09:10:26 +0000

在這篇文章中我們要教大家如何去挑選VPS，至於什麼是VPS大家可以看【VPS】什麼是VPS? 使用VPS有什麼好處嘛? 這篇文章，同時在這篇文章中還會跟大家介紹我現在使用的PhotonVPS這家廠商，如果有要買VPS的話可以先來試看看這家～

【VPS】什麼是VPS? 使用VPS有什麼好處嘛?

Sat, 05 Feb 2011 09:00:59 +0000

如果各位大大們常看本站的【關於本站】頁面，或是有在看小弟的Plurk、Facebook那就應該知道本站最近也換用VPS了吧～其實換VPS到這篇文章出現已經有3週左右了，沒有在換VPS的那天就寫文章跟大家介紹VPS是因為那時快要段考了，所以時間上來不及，段考結束之後我又去北商上課，就一直給他拖到現在才有時間寫文章0.0

如何檢查網址的DNS是否設定成功？

Tue, 01 Feb 2011 18:00:25 +0000

有在架網站的人應該很常設定網址對應DNS吧,也都知道DNS設定完之後要12～24小時才會正式對應完成,這是因為各家ISP業者需要清除DNS快取的關係,因為DNS對應完之後要等一段時間才能對應成功,不是立即的,所以今天要跟各位介紹一條指令,可以幫你檢查指定的網域是否對應到正確的IP了

PHP探針了解你使用的空間穩定程度

Sun, 14 Jun 2009 14:53:09 +0000

我想有很多的人架站時都是使用免費的虛擬主機吧! 一定也會很好奇說自己用的主機是否穩定,速度如何? 今天剛好在免費的喘息上看到一篇文章是?人使用PHP探針來檢查的在這裡?各位用吧~~~~

首先請下載PHP探針