會(huì)上，中國(guó)信息通訊研究院為通過(guò)大數(shù)據(jù)產(chǎn)品能力評(píng)測(cè)的產(chǎn)品頒發(fā)證書，華為云FusionInsight MRS超大規(guī)模單集群以測(cè)試項(xiàng)全部滿分的成績(jī)順利通過(guò)評(píng)估，并成功突破單集群2萬(wàn)節(jié)點(diǎn)的超大規(guī)模，樹立行業(yè)新標(biāo)桿。
中國(guó)信通院大數(shù)據(jù)產(chǎn)品評(píng)測(cè)是國(guó)內(nèi)最權(quán)威的大數(shù)據(jù)評(píng)測(cè)體系，評(píng)測(cè)范圍涵蓋大數(shù)據(jù)產(chǎn)品的基礎(chǔ)能力與性能專項(xiàng)，歷經(jīng)六年的蓬勃發(fā)展，大數(shù)據(jù)產(chǎn)品認(rèn)證已經(jīng)成為政企客戶選購(gòu)選型過(guò)程中的重要參考，是業(yè)界衡量大數(shù)據(jù)產(chǎn)品質(zhì)量和能力的重要標(biāo)準(zhǔn)。
華為云FusionInsight MRS大數(shù)據(jù)為政企客戶提供一站式企業(yè)級(jí)大數(shù)據(jù)平臺(tái)，滿足客戶對(duì)全棧大數(shù)據(jù)平臺(tái)高性能、低成本、靈活易用的訴求，助力企業(yè)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)。
在本次評(píng)估測(cè)試中，華為云FusionInsight MRS一次性通過(guò)了27個(gè)必選用例，此外，在集群無(wú)宕機(jī)升級(jí)、雙集群互備、運(yùn)維監(jiān)控模塊失效及恢復(fù)、跨數(shù)據(jù)庫(kù)關(guān)聯(lián)操作、在線水平搜索能力等六個(gè)可選用例中也實(shí)現(xiàn)了一次性通過(guò)，100%的通過(guò)率使得FusionInsight MRS在本次評(píng)估測(cè)試中交出了一份完美的答卷。
豐碩的成果離不開辛勤的勞作，在整個(gè)研發(fā)過(guò)程中，華為云FusionInsight MRS超大規(guī)模單集群的實(shí)踐也遇到了諸多挑戰(zhàn)，華為云大數(shù)據(jù)研發(fā)團(tuán)隊(duì)?wèi){借雄厚的研發(fā)實(shí)力和豐富的探索實(shí)踐經(jīng)驗(yàn)，通過(guò)以下七個(gè)方面實(shí)現(xiàn)了業(yè)界首個(gè)單集群突破2萬(wàn)+規(guī)模，具體如下：
01運(yùn)維管理架構(gòu)改造
將原來(lái)的集約主從模式調(diào)整成了可彈性伸縮的分布式模式，提升了主備模式的監(jiān)控、告警、配置、元數(shù)據(jù)存儲(chǔ)模塊的性能，成功解決了運(yùn)維管理面臨的難題。
02Superior超級(jí)調(diào)度器
自研調(diào)度引擎，支持35w/s個(gè)Container的調(diào)度速率，資源利用率達(dá)到98%以上，超出開源Capacity的能力近一倍。
03文件對(duì)象管理優(yōu)化
利用合并單次讀寫流程中的交互次數(shù)、使用改良的數(shù)據(jù)通信壓縮算法、DataMovementTool等技術(shù)方案，在確保文件對(duì)象管理性能的同時(shí)，自動(dòng)均衡不同命名空間之間的數(shù)據(jù)，大大降低了集群維護(hù)成本。
04多租戶的資源隔離能力
支持標(biāo)簽存儲(chǔ)、多服務(wù)、多實(shí)例、DN分組等方式進(jìn)行細(xì)粒度隔離，提升多租戶的資源隔離能力。
05元數(shù)據(jù)優(yōu)化
支持分布式緩存Redis方案，結(jié)合分布式鎖、緩存黑白名單機(jī)制、緩存生命周期管理等技術(shù)手段突破了Hive服務(wù)的元數(shù)據(jù)讀寫性能瓶頸，使得元數(shù)據(jù)能夠在大規(guī)模的單集群上規(guī)模商用。
06跨AZ的網(wǎng)絡(luò)帶寬消減
存儲(chǔ)上提供感知AZ的文件存儲(chǔ)策略，計(jì)算上提供感知AZ的任務(wù)調(diào)度機(jī)制，優(yōu)先在同AZ下進(jìn)行存儲(chǔ)與計(jì)算，減少跨AZ的網(wǎng)絡(luò)帶寬消耗。
07可靠性增強(qiáng)
支持多種機(jī)制保障任務(wù)的可靠運(yùn)行，如Hive不中斷業(yè)務(wù)的能力可確保發(fā)生異常時(shí)任務(wù)不中斷；Application Master的斷點(diǎn)續(xù)傳能力可記錄任務(wù)狀態(tài)，待AM恢復(fù)后繼續(xù)執(zhí)行。
得益于以上七個(gè)方面的大數(shù)據(jù)技術(shù)增強(qiáng)與優(yōu)化，華為云FusionInsight MRS順利通過(guò)信通院分布式批處理平臺(tái)基礎(chǔ)能力測(cè)試，節(jié)點(diǎn)規(guī)模達(dá)21000，成為業(yè)界首個(gè)單集群突破2萬(wàn)節(jié)點(diǎn)的商用大數(shù)據(jù)產(chǎn)品。
華為云FusionInsight已是60+國(guó)家，3000+客戶的共同選擇，廣泛布局于政府、金融、安平、大企業(yè)、互聯(lián)網(wǎng)等領(lǐng)域。FusionInsight聯(lián)合800+合作伙伴，踐行“平臺(tái)+生態(tài)”戰(zhàn)略，釋放政企數(shù)據(jù)價(jià)值，讓數(shù)據(jù)“慧”說(shuō)話，使企業(yè)更智能。
