在天下數據中心,Data Engineer的任務是打造更穩健可靠的數據平台,以支撐推薦系統/動態付費牆/CRM/預測型標籤等應用,透過資料做更好的決策,實現Data Driven的文化。
你在這裡會遇到的挑戰有
天下雜誌群共有《天下》、《康健》、《天下學習》、《親子天下》等品牌,分屬在財經管理、健康生活、工作職場以及親子教育等領域。
因此對於數據團隊,我們相當於是多家公司的合體,各有各的商業模式跟需求,舉凡電商、內容訂閱、線上教育的數據應用,你都可以遇得到。
在這裡你會跟Data Analyst Team、IT Team、Data Platform Team協力合作,以Open-source tools (eg. Airflow, Spark, …) 與GCP服務 (Bigquery, GCS, …) 參與內部Data Lake的發展運作,持續改善效能與穩定,將新的技術、創新想法引入,成為各種加值應用最堅實的後盾,發揮影響力。
Data Engineering 相關經驗三年以上:
包含建立或維護與優化 Pipeline、Data Storage、Avro/Parquet
有做過 BigQuery 優化的經驗,熟悉 Cluster table, Partition table等
熟悉 ETL 流程,包含資料收集、資料清理、資料建模
有 Data Orchestration 的實務經驗,我們用 Airflow
熟悉 SQL & Python
熟悉關聯式資料庫,例如 MySQL
有NoSQL的實務經驗,例如 HBase、Redis、MongoDB
有建立 Data serving 服務的相關經驗,像是建立高性能 Message queue、API service 等
熟悉 GNU/Linux 系統
熟悉 GCP Cloud service,特別是 GCS、BigQuery
會寫或曾寫過 R
自建或使用過第三方 Tracking tool,我們用 Firebase、Google Analytics
熟悉視覺化工具,我們用 Data Studio
具有架構 streaming 資料處理系統的實務經驗。例如 Spark-streaming 等
人才,是我們最重視的投資。
如果你樂於學習、喜歡挑戰,這裡將會是你最棒的舞台!
知性的、感性的,好玩的、健康的,你將擁有豐富的生活調色盤。
【天下人的幸福清單】
【天下人的暖心確幸】
※ 部分內容為通過適應期之正職同仁福利