AWS在去年re:Invent 2018大會(huì)上介紹的數(shù)據(jù)湖管理工具AWS Lake Formation，現(xiàn)在推出正式版，用戶可以使用AWS Lake Formation對(duì)數(shù)據(jù)進(jìn)行擷取、清理、分類、轉(zhuǎn)換以及保護(hù)的工作，方便後續(xù)分析或是機(jī)器學(xué)習(xí)使用。

　　AWS提到，只要企業(yè)開始使用數(shù)字格式的數(shù)據(jù)，那就可能需要建立一個(gè)數(shù)據(jù)倉儲(chǔ)，從CRM或是ERP等營運(yùn)系統(tǒng)收集數(shù)據(jù)，并給其他決策支援系統(tǒng)使用，這些數(shù)據(jù)包括未組織的原始數(shù)據(jù)、日志、圖片、影片或是掃描的文件等，而這也是數(shù)據(jù)湖的概念，將所有數(shù)據(jù)以各種規(guī)模與形式，儲(chǔ)存在中央儲(chǔ)存庫中。

　　而AWS新推出的數(shù)據(jù)湖服務(wù)Lake Formation，能簡化數(shù)據(jù)湖的管理工作，用戶可以使用中央控制臺(tái)，處理建置和配置數(shù)據(jù)湖繁雜的工作，包括載入不同來源的數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)流、設(shè)定數(shù)據(jù)分區(qū)、加密和管理金鑰，以及格式轉(zhuǎn)換與監(jiān)控營運(yùn)等工作。

　　只要在Lake Formation中指定數(shù)據(jù)來源，系統(tǒng)就會(huì)自動(dòng)從數(shù)據(jù)庫和物件儲(chǔ)存擷取數(shù)據(jù)，并將這些數(shù)據(jù)儲(chǔ)存到Amazon S3數(shù)據(jù)湖中，以適當(dāng)?shù)拇笮∨c方式整理，增加存取效能，并以機(jī)器學(xué)習(xí)演算法清理和分類數(shù)據(jù)，為敏感數(shù)據(jù)提供存取保護(hù)。

　　用戶還可以使用Glue ML Transforms刪除數(shù)據(jù)湖中重復(fù)的數(shù)據(jù)，提高後續(xù)分析數(shù)據(jù)的效率，避免因?yàn)橹貜?fù)的數(shù)據(jù)，造成分析工作的混淆。AWS提到，這項(xiàng)工作并非單純透過鍵值比對(duì)，就能找出重復(fù)的數(shù)據(jù)，很多情況需要進(jìn)行模糊比對(duì)，像是當(dāng)用戶需要在不同表格查詢類似的項(xiàng)目時(shí)，就需要使用模糊連接（Fuzzy Join），在不共用唯一鍵值的兩個(gè)數(shù)據(jù)庫表格查詢相似數(shù)據(jù)。

　　在保護(hù)數(shù)據(jù)存取方面，用戶可以在Lake Formation中，定義精細(xì)的存取政策，保護(hù)Glue Data Catalog中的元數(shù)據(jù)，以及儲(chǔ)存在Amazon S3的數(shù)據(jù)，AWS提到，在數(shù)據(jù)湖中管理存取權(quán)限是一件復(fù)雜的任務(wù)，因?yàn)閿?shù)據(jù)的各種特性，包括結(jié)構(gòu)化與否、敏感性或是可存取的數(shù)據(jù)范圍不一，而Lake Formation賦予用戶以IAM使用者、角色、群組和AD來管理數(shù)據(jù)存取，也能夠拒絕表格特定的科目被存取。