BigQuery SQL Get First or Last Day of Month From Specify Date

In BigQuery, If you want get first day from a Date (or timestamp, datetime type) , for example, type “2017-05-24” and get “2017-05-01”, you can call UTC_USEC_TO_MONTH function in Legacy SQL, or DATE_TRUNC() in Standard SQL, In fact, BigQuery have a series function do these thing, Get First day, hour, week…..etc from a Date.

繼續閱讀 BigQuery SQL Get First or Last Day of Month From Specify Date

BigQuery SQL Get Random N Row Sampling

在做資料分析時,從資料裡面取隨機 N 列(抽樣)是很常見的需求,可能是抽樣觀察資料正確性,也可能是抽樣去作模型避免資料太多跑不動,其實在資料庫內用 SQL 進行抽樣十分簡單,以下就用 BigQuery Standard SQL 進行示範,Legacy SQL 的作法相同。

繼續閱讀 BigQuery SQL Get Random N Row Sampling

第一次在 GCP Storage 放置靜態網頁就上手

想要在 Google Cloud Storage 放置靜態網頁卻不知從何下手嗎?每次把檔案放到 Google Cloud Storage 分享給朋友還要按「公開」很麻煩麻?  這幾天因為工作需求研究了下,最開始以為只要設定好 Domain 並將檔案共享就可以了,研究後才知道還有許多小撇步,例如每次上傳檔案都要設定公開實在麻煩,其實可以設定上傳到指定 Bucket 預設都公開,甚至還可以設定 Index、404 頁面的預設檔案名稱,甚至一直以為無解的 SSL 問題,官方也提示了不錯的解法!

繼續閱讀 第一次在 GCP Storage 放置靜態網頁就上手

Google Cloud Platform 自動扣款餘額不足處理

因為我登記在 GCP 的信用卡是「VISA 金融卡」形式,所以每月自動扣款時有可能會遇到銀行餘額不足的問題,目前 GCP 針對該問題的做法,會再扣款失敗後寄信提醒你,並在一日後重試扣款,如果依舊失敗就會要求你在解決問題後自行登入 GCP 後台付款,過去在登入 GCP 後台付款都沒有遇到問題,但這次似乎動線有改變,按照他的連結引導會被帶到帳單頁面,但無法執行扣款動作,此外即使你找到正確的扣款按鍵,但使用 Chrome Canary 卻似乎會有前端的問題導致扣款對話框無限載入中,必須要切換到正常版 Chrome 才可以正常扣款,真好奇這個扣款對話框是用了什麼最新最潮的技術…

繼續閱讀 Google Cloud Platform 自動扣款餘額不足處理

Tips for Upload Large File to Google Cloud Storage

因為我有定期備份資料的習慣,會把 Google、Facebook、Evernote、相簿等等資料都定期備份到 Google Cloud Storage 上面,每次用瀏覽器上傳都會很煩惱上傳速度慢的問題,而且如果網路斷線還要重新傳送那 10 GB 的大檔案,後來研究了官方文件,找到一些關於上傳大檔案到 Google Cloud Storage 時很好用的小技巧分享給大家。

包含:

  • 如何讓 GCP Storage 幫你驗證檔案的 MD5 Checksum
  • 如何啟動續傳功能,斷線沒關係可以繼續傳送
  • 如何透過平行化傳輸把上傳速率榨到極限

繼續閱讀 Tips for Upload Large File to Google Cloud Storage

Set Cross-Origin Resource Sharing (CORS) Enable on Google Cloud Storage

最近因為社課教大家用 Phaser 開發小遊戲,有許多素材需要讓學員在 Codepen 上使用,所以需要一個支援 CORS 的網路空間來放置素材,腦筋動著動著就想到便宜大碗又可以綁定自己 Domain 的 Google Cloud Storage 去啦!

其實 Google Cloud Storage 預設是不支援 Cross-Origin Resource Sharing (CORS) 的,但只要透過 gsutil (Google Cloud Storage Cli Tool) 就可以幫指定的 Bucket 啟用 CORS 功能!

繼續閱讀 Set Cross-Origin Resource Sharing (CORS) Enable on Google Cloud Storage