【從 teradata 到 BigQuery】美國職棒大聯盟資料倉儲搬遷實錄
#搬遷背景
美國職棒大聯盟 (MLB) 過去打造的 data pipeline 在建置時並沒有要做大數據分析的預期，所以多數對模型而言並不適用。存放於 teradata 中的資料也無法直接讓 30 支球隊存取，必須將資料複製到雲端上的 30 個獨立資料夾，讓球隊各自存取，球隊亦無法雙向向聯盟回饋數據，下述種種阻礙迫使 MLB 必須改變：
1⃣ 購退票、轉賣票券等行為導致已備份的歷史資料仍頻繁異動，需不斷再更新。
2⃣ 若分享的資料要新增欄位或改變格式，歷史資料需重新複製。
3⃣ 球隊須設定資料更新的通知，否則不會發現。
4⃣ 無法及時分享資料，頂多每五分鐘更新一次。
5⃣ 目標是提供具商業價值的分析給 MLB 跟球隊，但花費大量時間處理備份事宜。
6⃣ 當 MLB 開始尋找新的 BI 平台，發現既有倉儲和第三方工具整合有限。
#搬遷Tips
💡 新專案直接在 BigQuery 上開案。
💡 在 dependency graph 中找出 table 與 ETL jobs 間的關連，從關聯較少的開始搬遷。
💡 搬遷過程中，在 BigQuery 即時產生 teradata ETL 的副本，資料即時程度在 1 分鐘內，讓數據團隊可及早在 BigQuery 上使用資料。
💡 可在 GCP Marketplace 使用 #第三方轉譯器工具 CompilerWorks：自動化且正確地將 teradata SQL 轉換成 BigQuery SQL。
💡 ETL 搬遷的邏輯驗證可在 BigQuery 中完成。
#BigQuery解放MLB技術能量
✅ 球隊、聯盟員工存取同一份資料，MLB 無需處理歷史資料異動時，備份更新的問題。
✅ 性能與效率：大型查詢時間減少 50％。
✅ 完善資安功能：G Suite 提供身份驗證功能，Google Cloud IAM 負責處理權限控管。
✅ 友善體驗：Console 和 BigQuery API 極易上手，入門門檻低。
✅ 靈活性、降低成本：允許按需求量收費，不必承諾使用量，以便逐步上線。支援自動備份、自動擴展。
▎報名收看 Google 官方中文演講場次：https://bit.ly/2ZMYzv5
▎Next OnAir Week 1 精華整理：https://bit.ly/3jpSwnU
#GoogleCloud #NextOnAir #NextRecap
#iKalaCloud #數位轉型就找iKala
etl中文 在 ETL-Kettle使用手册 的推薦與評價
Kettle是一款开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到 ... ... <看更多>