一、工具介紹
Trinity
ETL資料轉換作業工具,ETL工具屬於資料管理中最基礎的應用,ETL代表的意義為從資料來源端擷取(Extract)出來,經過轉換(Transform),再載入(Load)到目的端的資料傳輸過程
擷取(Extract):從各種不同的資料來源中,將資料擷取出來。
轉換(Transform):對資料進行適當的轉換,如型態轉換、字串相連、彙總運算等等
載入(Load):將資料載入目的端,目的通常是為了報表產製及商業智慧分析而最佳化得資料倉儲
ETL工具是數據工程重要的工具,它可以幫助企業實現自動化抓檔、統一匯入凌亂不堪的數據進行開發、產出不同格式的資料表,節省了不少人力與時間成本的消耗與減少工作衝突的發生 Trinity結合工作排程與ETL管理,橋接傳統關聯式資料庫與新趨勢BigData之資料整合平台,Trinity提供豐富的資料轉換功能、內建大量的轉換函數,強力的SQL指令編輯腳本,還有其他選用的擴充功能,例如元數據(Metadata)管理、資料保護(Data Protection)、資料品質管理(Data Protection)等等應用功能。
Teradata
Teradata主要為開發並銷售關聯式資料庫管理系統(RDBMS)的企業及軟體公司,以大數據分析、數據倉庫和整合行銷管理解決方案為主要業務。 是全球最大、專注於資料倉儲解決方案、資料倉儲專用平台、諮詢服務及企業分析方案的供應商。Teradata的產品和技術遍及服務、零售、保險、電信、媒體、娛樂、政府與公共服務、醫療與製藥、製造、飯店餐飲、博彩、旅遊與運輸、公共事業、石油、天然氣等產業。 Teradata產品為資料倉儲系統與儲存並管理資訊,資料倉庫使用技術被稱作無共享(shared nothing)架構,各個伺服器之間擁有獨立記憶體與處理能力,增加伺服器與節點及增加可儲存的資料量。 由於Teradata的定位是大型數據倉庫系統,因此價格昂貴,導致在台灣使用Teradata產品的基本上都為大企業,台積電、遠傳等三大電信和半數大型金控業都是他的客戶。
Teableau
Talbeau為一個視覺化整合式分析平台,適用於直覺式視覺化分析與商業智慧(BI)應用(結合了商業分析、資料挖掘、資料視覺化、資料工具和基礎結構,以及各種最佳做法,以便協助組織做出更多以資料為依據的決定)
Tableau為一套熱門的視覺化平台,幾乎可以連接到任何資料來源,介面簡單強大,以直覺滑鼠拖拉的方式處理大量資料,大大降低運用商業智慧(BI)的門檻,讓更多人可以簡單地做出報表。
二、訓練
為了能讓我能夠快速學習上述提到的工具與熟習部門業務流程,公司與主管為我安排了許多訓練與課程,無論是廠商在公司外的外訓、公司舉辦的新進員工訓練、OCA Team內部的訓練等等。