BigQuery SQL String Split

相信大家對 split 都不陌生,這可說是程式設計師最常用的十個函式之一,在 BigQuery 也有 split,但因為是 SQL 的關係用法和一般程式語言不太一樣,此外 BigQuery 又分成 Standard SQL 和 Legacy SQL,而這兩種版本雖然都有 split,但使用方式更是截然不同。

閱讀全文 BigQuery SQL String Split

BigQuery Federate Google Sheet Table Occur Access Denied Error

BigQuery 可以讓你把資料表和 Google Drive 的 Google Sheet 連結在一起,當 Google Sheet 有修改時資料表會立刻跟著修改,在使用這種 Federate Table 時有些人可能會遇到 Access Denied 的問題,當你在 WebUI 上查詢時沒有問題,但如果用 Command Lin Tool 的 bq 來查詢,會出現以下錯誤訊息:

Access Denied: BigQuery
BigQuery: No OAuth token with Google Drive scope was found

閱讀全文 BigQuery Federate Google Sheet Table Occur Access Denied Error

BigQuery SQL Get First or Last Day of Month From Specify Date

In BigQuery, If you want get first day from a Date (or timestamp, datetime type) , for example, type “2017-05-24” and get “2017-05-01”, you can call UTC_USEC_TO_MONTH function in Legacy SQL, or DATE_TRUNC() in Standard SQL, In fact, BigQuery have a series function do these thing, Get First day, hour, week…..etc from a Date.

閱讀全文 BigQuery SQL Get First or Last Day of Month From Specify Date

BigQuery SQL Get Random N Row Sampling

在做資料分析時,從資料裡面取隨機 N 列(抽樣)是很常見的需求,可能是抽樣觀察資料正確性,也可能是抽樣去作模型避免資料太多跑不動,其實在資料庫內用 SQL 進行抽樣十分簡單,以下就用 BigQuery Standard SQL 進行示範,Legacy SQL 的作法相同。

閱讀全文 BigQuery SQL Get Random N Row Sampling

端午連假,跟塞車說掰掰 – 宜蘭篇

維睽將近一年之久,終於又發表新文章啦。2016 端午連假,相信許多台北朋友的首選肯定是宜蘭吧!不管是開車或搭客運,經國道五號雪隧到宜蘭順利的話只要 40 分鐘,當然大家都知道,端午連假這種時候肯定不那麼順利的… 今天小弟就要來跟大家分析一下雪隧的塞車模式,讓大家可以避開車潮順利抵達宜蘭! 下面會有簡單的技術說明,以及分析過程,非技術的朋友可以直接看結論! 附帶一提,小弟今天人就在宜蘭,這篇文章其實是撰寫於金車伯朗咖啡城堡。

閱讀全文 端午連假,跟塞車說掰掰 – 宜蘭篇