DMP系統技術架構【技術類】

要建立一個(ge)完整的大數據系統，需要扎(zha)實、完善、高處理(li)效率(lv)、高安全性、高穩(wen)定性、易擴(kuo)展(zhan)(zhan)、大規模存儲的技術架(jia)(jia)(jia)構(gou)。以下(xia)是(shi)一些截取物DMP系統的技術架(jia)(jia)(jia)構(gou)圖(tu)(主要包括應用架(jia)(jia)(jia)構(gou)、數據架(jia)(jia)(jia)構(gou)、技術架(jia)(jia)(jia)構(gou)等(deng)。)供大家參考(kao)，對非(fei)技術學生也有一個(ge)感性的認(ren)識(shi)。不要做大規模的發展(zhan)(zhan)。

應用(yong)架構主(zhu)(zhu)要是(shi)從應用(yong)功能的(de)角度描述模塊之(zhi)間的(de)關系(xi)和(he)(he)分(fen)工的(de)圖(tu)紙，主(zhu)(zhu)要從應用(yong)集成視(shi)圖(tu)和(he)(he)功能視(shi)圖(tu)的(de)角度。幫(bang)助(zhu)您直觀地了(le)解(jie)系(xi)統，并幫(bang)助(zhu)每個模塊協調開發和(he)(he)友好集成。

集成視圖：

該視(shi)圖主要(yao)反映了各模塊(kuai)之(zhi)間的(de)(de)關(guan)(guan)系(xi)(xi)，如圖9-28所(suo)示(shi)DMP以(yi)系(xi)(xi)統(tong)(tong)(tong)為(wei)(wei)例，大(da)(da)(da)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)平臺（BigData）通過不(bu)同的(de)(de)渠道交(jiao)換或收集(ji)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)。例如：通過數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)采集(ji)網絡采集(ji)線(xian)(xian)(xian)下掃(sao)描設備采集(ji)的(de)(de)用(yong)戶掃(sao)描數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)，WIFI上(shang)(shang)網服務(wu)(wu)(wu)(wu)Portal用(yong)戶登錄認(ren)證數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、互聯網數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、點擊流(liu)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)等(deng)(deng)(deng)(deng)，從企業數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、連鎖(suo)店、特許(xu)經營店等(deng)(deng)(deng)(deng)線(xian)(xian)(xian)下場景中(zhong)獲取掃(sao)描數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、認(ren)證數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、互聯網數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)等(deng)(deng)(deng)(deng)。交(jiao)換各種業務(wu)(wu)(wu)(wu)維度(du)的(de)(de)位(wei)置(zhi)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、消費數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、通信數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)等(deng)(deng)(deng)(deng)，準(zhun)確描述用(yong)戶行(xing)為(wei)(wei)。在(zai)(zai)(zai)本例中(zhong)，大(da)(da)(da)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)平臺以(yi)服務(wu)(wu)(wu)(wu)在(zai)(zai)(zai)線(xian)(xian)(xian)廣(guang)(guang)(guang)告(gao)(gao)(gao)業務(wu)(wu)(wu)(wu)為(wei)(wei)主要(yao)業務(wu)(wu)(wu)(wu)應(ying)(ying)用(yong)方向(xiang)，將(jiang)廣(guang)(guang)(guang)告(gao)(gao)(gao)管(guan)理系(xi)(xi)統(tong)(tong)(tong)視(shi)為(wei)(wei)外部(bu)(bu)系(xi)(xi)統(tong)(tong)(tong)（大(da)(da)(da)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)為(wei)(wei)本體(ti)域(yu)，業務(wu)(wu)(wu)(wu)應(ying)(ying)用(yong)為(wei)(wei)客體(ti)域(yu)），進行(xing)外部(bu)(bu)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)交(jiao)換，開放用(yong)戶離線(xian)(xian)(xian)ID及線(xian)(xian)(xian)上(shang)(shang)ID。將(jiang)用(yong)戶的(de)(de)線(xian)(xian)(xian)下行(xing)為(wei)(wei)與線(xian)(xian)(xian)上(shang)(shang)行(xing)為(wei)(wei)相結合，分(fen)析并貼上(shang)(shang)標(biao)簽，指導線(xian)(xian)(xian)上(shang)(shang)程序化廣(guang)(guang)(guang)告(gao)(gao)(gao)。廣(guang)(guang)(guang)告(gao)(gao)(gao)系(xi)(xi)統(tong)(tong)(tong)將(jiang)從媒體(ti)、廣(guang)(guang)(guang)告(gao)(gao)(gao)系(xi)(xi)統(tong)(tong)(tong)、ADX、在(zai)(zai)(zai)廣(guang)(guang)(guang)告(gao)(gao)(gao)監(jian)控中(zhong)收集(ji)各種在(zai)(zai)(zai)線(xian)(xian)(xian)用(yong)戶行(xing)為(wei)(wei)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)，并將(jiang)與在(zai)(zai)(zai)線(xian)(xian)(xian)廣(guang)(guang)(guang)告(gao)(gao)(gao)相關(guan)(guan)的(de)(de)查看、點擊、招標(biao)信息等(deng)(deng)(deng)(deng)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)注(zhu)入大(da)(da)(da)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)系(xi)(xi)統(tong)(tong)(tong)，從大(da)(da)(da)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)系(xi)(xi)統(tong)(tong)(tong)中(zhong)獲得人(ren)群(qun)肖像、招標(biao)決策等(deng)(deng)(deng)(deng)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)支(zhi)持(chi)。當然，不(bu)同的(de)(de)業務(wu)(wu)(wu)(wu)應(ying)(ying)用(yong)目的(de)(de)將(jiang)連接不(bu)同的(de)(de)業務(wu)(wu)(wu)(wu)系(xi)(xi)統(tong)(tong)(tong)交(jiao)互數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)，并將(jiang)大(da)(da)(da)數(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)服務(wu)(wu)(wu)(wu)于不(bu)同的(de)(de)業務(wu)(wu)(wu)(wu)應(ying)(ying)用(yong)目的(de)(de)。

圖9?28 DMP集成視(shi)圖示例(li)

功能視圖：

主(zhu)(zhu)(zhu)(zhu)要描(miao)述視(shi)(shi)圖DMP如圖9-29所(suo)示，大數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)平臺的(de)基(ji)本(ben)技術功(gong)(gong)能(neng)(neng)(neng)包(bao)(bao)(bao)(bao)括(kuo)數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)采(cai)集(ji)、數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)導(dao)(dao)(dao)出(chu)、數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)分析、數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)可視(shi)(shi)化等。數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)采(cai)集(ji)的(de)主(zhu)(zhu)(zhu)(zhu)要功(gong)(gong)能(neng)(neng)(neng)是(shi)(shi)收集(ji)數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)，包(bao)(bao)(bao)(bao)括(kuo)掃描(miao)采(cai)集(ji)數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、驗(yan)證數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)有效性、處理(li)(li)清潔數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、上傳數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、備份數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)、加密解密、壓縮(suo)解壓縮(suo)ID生成等功(gong)(gong)能(neng)(neng)(neng)模塊(kuai)。數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)導(dao)(dao)(dao)出(chu)的(de)主(zhu)(zhu)(zhu)(zhu)要功(gong)(gong)能(neng)(neng)(neng)是(shi)(shi)服務內(nei)外數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)導(dao)(dao)(dao)入(ru)導(dao)(dao)(dao)出(chu)需(xu)求，主(zhu)(zhu)(zhu)(zhu)要包(bao)(bao)(bao)(bao)括(kuo)內(nei)部(bu)ID關聯、內(nei)部(bu)ID以及數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)導(dao)(dao)(dao)出(chu)和(he)外部(bu)ID匹配(pei)、外部(bu)ID功(gong)(gong)能(neng)(neng)(neng)模塊(kuai)，如數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)導(dao)(dao)(dao)入(ru)。數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)分析的(de)主(zhu)(zhu)(zhu)(zhu)要功(gong)(gong)能(neng)(neng)(neng)是(shi)(shi)根(gen)據(ju)(ju)(ju)業務應用方向的(de)需(xu)要對數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)進行分析和(he)整理(li)(li)。在這種情況(kuang)下，廣告(gao)主(zhu)(zhu)(zhu)(zhu)要包(bao)(bao)(bao)(bao)括(kuo)廣告(gao)數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)分析、人群(qun)肖像(xiang)等功(gong)(gong)能(neng)(neng)(neng)模塊(kuai)。數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)可視(shi)(shi)化是(shi)(shi)數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)有效輸(shu)出(chu)、支持(chi)決策、數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)顯示價值的(de)重要窗(chuang)口，主(zhu)(zhu)(zhu)(zhu)要包(bao)(bao)(bao)(bao)括(kuo)數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)采(cai)集(ji)和(he)監控、數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)管理(li)(li)、行為域可視(shi)(shi)化、數(shu)(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)查詢等功(gong)(gong)能(neng)(neng)(neng)模塊(kuai)。

圖(tu)9?29 DMP功能(neng)視圖(tu)示例

如(ru)(ru)果我(wo)們(men)(men)想清(qing)楚地(di)梳理(li)數(shu)(shu)(shu)據(ju)，我(wo)們(men)(men)必須首先(xian)繪(hui)制(zhi)(zhi)數(shu)(shu)(shu)據(ju)架構。在(zai)(zai)數(shu)(shu)(shu)據(ju)架構中(zhong)，我(wo)們(men)(men)將(jiang)(jiang)根據(ju)現有的(de)(de)數(shu)(shu)(shu)據(ju)內容和(he)(he)應用方向繪(hui)制(zhi)(zhi)主(zhu)(zhu)(zhu)題域(yu)(yu)(yu)(yu)(yu)。通過對(dui)(dui)(dui)(dui)主(zhu)(zhu)(zhu)題域(yu)(yu)(yu)(yu)(yu)視圖的(de)(de)描述，我(wo)們(men)(men)可以(yi)對(dui)(dui)(dui)(dui)系統主(zhu)(zhu)(zhu)要管理(li)的(de)(de)數(shu)(shu)(shu)據(ju)維度和(he)(he)數(shu)(shu)(shu)據(ju)之間(jian)的(de)(de)關系有一定的(de)(de)了(le)解。這可以(yi)有效地(di)引(yin)導有目的(de)(de)地(di)收集和(he)(he)交(jiao)(jiao)換數(shu)(shu)(shu)據(ju)。我(wo)們(men)(men)通常(chang)將(jiang)(jiang)數(shu)(shu)(shu)據(ju)分為(wei)(wei)不同的(de)(de)主(zhu)(zhu)(zhu)題域(yu)(yu)(yu)(yu)(yu)進行(xing)存儲和(he)(he)分析(xi)。不同的(de)(de)主(zhu)(zhu)(zhu)題域(yu)(yu)(yu)(yu)(yu)有唯一的(de)(de)主(zhu)(zhu)(zhu)域(yu)(yu)(yu)(yu)(yu)數(shu)(shu)(shu)據(ju)對(dui)(dui)(dui)(dui)象(xiang)，其他數(shu)(shu)(shu)據(ju)是圍繞主(zhu)(zhu)(zhu)域(yu)(yu)(yu)(yu)(yu)數(shu)(shu)(shu)據(ju)對(dui)(dui)(dui)(dui)象(xiang)族的(de)(de)客(ke)體(ti)(ti)域(yu)(yu)(yu)(yu)(yu)數(shu)(shu)(shu)據(ju)。如(ru)(ru)圖9-30所示，以(yi)人為(wei)(wei)核心的(de)(de)本(ben)體(ti)(ti)域(yu)(yu)(yu)(yu)(yu)，包括個(ge)體(ti)(ti)特(te)征、身份(fen)證號碼、群(qun)體(ti)(ti)特(te)征、本(ben)體(ti)(ti)關系網(wang)(wang)絡(luo)、標簽(qian)、數(shu)(shu)(shu)據(ju)維度、類(lei)別等(deng)。作為(wei)(wei)人本(ben)體(ti)(ti)域(yu)(yu)(yu)(yu)(yu)，有許多(duo)描述的(de)(de)圖像數(shu)(shu)(shu)據(ju)，如(ru)(ru)計算(suan)機網(wang)(wang)絡(luo)中(zhong)的(de)(de)應用層(ceng)(ceng)QQ微信，表(biao)示層(ceng)(ceng)CookieID、網(wang)(wang)絡(luo)層(ceng)(ceng)的(de)(de)IP地(di)址，物(wu)理(li)層(ceng)(ceng)MAC電信網(wang)(wang)絡(luo)中(zhong)的(de)(de)地(di)址、手機號碼、IDFA、IMEI、AndroidID等(deng)。相對(dui)(dui)(dui)(dui)于以(yi)人為(wei)(wei)本(ben)的(de)(de)主(zhu)(zhu)(zhu)體(ti)(ti)是客(ke)體(ti)(ti)區(qu)域(yu)(yu)(yu)(yu)(yu)，即與(yu)人相關的(de)(de)對(dui)(dui)(dui)(dui)象(xiang)或非本(ben)體(ti)(ti)數(shu)(shu)(shu)據(ju)或行(xing)為(wei)(wei)，包括個(ge)體(ti)(ti)特(te)征和(he)(he)群(qun)體(ti)(ti)特(te)征。對(dui)(dui)(dui)(dui)于以(yi)廣(guang)(guang)告(gao)為(wei)(wei)主(zhu)(zhu)(zhu)要業務(wu)應用方向，以(yi)廣(guang)(guang)告(gao)為(wei)(wei)主(zhu)(zhu)(zhu)要描述的(de)(de)客(ke)體(ti)(ti)數(shu)(shu)(shu)據(ju)，如(ru)(ru)計算(suan)和(he)(he)網(wang)(wang)絡(luo)中(zhong)應用層(ceng)(ceng)的(de)(de)廣(guang)(guang)告(gao)ID行(xing)為(wei)(wei)語義表(biao)達(da)等(deng)。人類(lei)本(ben)體(ti)(ti)和(he)(he)網(wang)(wang)絡(luo)廣(guang)(guang)告(gao)和(he)(he)行(xing)為(wei)(wei)數(shu)(shu)(shu)據(ju)對(dui)(dui)(dui)(dui)象(xiang)通過時間(jian)和(he)(he)空間(jian)交(jiao)(jiao)互，這些相關數(shu)(shu)(shu)據(ju)記(ji)(ji)錄在(zai)(zai)交(jiao)(jiao)互域(yu)(yu)(yu)(yu)(yu)中(zhong)，如(ru)(ru)電子郵件記(ji)(ji)錄、網(wang)(wang)絡(luo)記(ji)(ji)錄和(he)(he)廣(guang)(guang)告(gao)行(xing)為(wei)(wei)、網(wang)(wang)絡(luo)層(ceng)(ceng)DHCP上(shang)網(wang)(wang)IP電信網(wang)(wang)絡(luo)中(zhong)的(de)(de)終(zhong)端(duan)位置、通話(hua)記(ji)(ji)錄、基站位置等(deng)自動獲(huo)取記(ji)(ji)錄、物(wu)理(li)客(ke)戶(hu)端(duan)位置和(he)(he)設備位置。只有通過如(ru)(ru)此嚴格和(he)(he)豐富的(de)(de)數(shu)(shu)(shu)據(ju)區(qu)分，我(wo)們(men)(men)才(cai)能有效地(di)分析(xi)數(shu)(shu)(shu)據(ju)，找出有價值(zhi)的(de)(de)內容。

圖9?30 DMP主(zhu)題(ti)域視圖示例

技術(shu)架構(gou)通(tong)(tong)常(chang)(chang)是從技術(shu)實(shi)現(xian)的(de)(de)角度劃分(fen)(fen)不同技術(shu)開發(fa)組件和(he)模(mo)(mo)塊(kuai)的(de)(de)重(zhong)(zhong)(zhong)要(yao)(yao)過程(cheng)，以(yi)確保開發(fa)分(fen)(fen)工(gong)的(de)(de)協調性(xing)和(he)系(xi)(xi)統(tong)功能的(de)(de)完(wan)整性(xing)。對組件視圖的(de)(de)描(miao)述非(fei)常(chang)(chang)重(zhong)(zhong)(zhong)要(yao)(yao)。在(zai)(zai)一(yi)般技術(shu)開發(fa)中，不同的(de)(de)技術(shu)組件必然會(hui)被劃分(fen)(fen)，主要(yao)(yao)是為(wei)了提高(gao)組件在(zai)(zai)系(xi)(xi)統(tong)建設中的(de)(de)可重(zhong)(zhong)(zhong)用性(xing)，提高(gao)重(zhong)(zhong)(zhong)用率，提高(gao)系(xi)(xi)統(tong)代碼質量(liang)，減少重(zhong)(zhong)(zhong)復輪的(de)(de)浪費。如(ru)(ru)圖9-31所示，我們(men)將DMP系(xi)(xi)統(tong)的(de)(de)技術(shu)組件分(fen)(fen)為(wei)基(ji)(ji)礎資(zi)(zi)(zi)源(yuan)，主要(yao)(yao)負(fu)責(ze)(ze)資(zi)(zi)(zi)源(yuan)的(de)(de)管理(li)(li)(li)和(he)操作交(jiao)互(hu)（bd-res）、主要(yao)(yao)負(fu)責(ze)(ze)業(ye)務(wu)處(chu)理(li)(li)(li)的(de)(de)業(ye)務(wu)層(ceng)(ceng)（bd-mod）、接(jie)(jie)(jie)(jie)口層(ceng)(ceng)主要(yao)(yao)負(fu)責(ze)(ze)集成(cheng)和(he)輸(shu)(shu)入(ru)輸(shu)(shu)出(chu)接(jie)(jie)(jie)(jie)口（bd-port）、以(yi)及貫穿各(ge)層(ceng)(ceng)的(de)(de)公(gong)共(gong)工(gong)具（bd-util）。公(gong)共(gong)工(gong)具（bd-util）也就是說，每(mei)個人在(zai)(zai)各(ge)級(ji)技術(shu)開發(fa)中都會(hui)使用的(de)(de)公(gong)共(gong)工(gong)具，如(ru)(ru)異常(chang)(chang)處(chu)理(li)(li)(li)、類管理(li)(li)(li)、開發(fa)調試工(gong)具等(deng)(deng)(deng)(deng)。基(ji)(ji)礎資(zi)(zi)(zi)源(yuan)層(ceng)(ceng)主要(yao)(yao)負(fu)責(ze)(ze)數據(ju)(ju)庫處(chu)理(li)(li)(li)等(deng)(deng)(deng)(deng)資(zi)(zi)(zi)源(yuan)的(de)(de)管理(li)(li)(li)和(he)操作交(jiao)互(hu)（res-db）包(bao)含(han)對hbase、jpa、redis交(jiao)互(hu)模(mo)(mo)塊(kuai)、文(wen)件處(chu)理(li)(li)(li)等(deng)(deng)(deng)(deng)（res-file）包(bao)含(han)對csv、excel、大(da)數據(ju)(ju)文(wen)件dfs、文(wen)件系(xi)(xi)統(tong)fs等(deng)(deng)(deng)(deng)交(jiao)互(hu)模(mo)(mo)塊(kuai)，網(wang)絡處(chu)理(li)(li)(li)（res-net）包(bao)含(han)對ftp、http、 ** il、rest交(jiao)互(hu)模(mo)(mo)塊(kuai)、流(liu)(liu)處(chu)理(li)(li)(li)等(deng)(deng)(deng)(deng)（res-stream）包(bao)含(han)對mns、ons等(deng)(deng)(deng)(deng)交(jiao)互(hu)模(mo)(mo)塊(kuai)，還有(you)對緩存(cun)（res-cache）、大(da)數據(ju)(ju)計(ji)(ji)(ji)算資(zi)(zi)(zi)源(yuan)spark（res-spark）、大(da)數據(ju)(ju)計(ji)(ji)(ji)算emr（MapReduce）資(zi)(zi)(zi)源(yuan)（res-emr）、通(tong)(tong)用資(zi)(zi)(zi)源(yuan)（res-common）等(deng)(deng)(deng)(deng)交(jiao)互(hu)模(mo)(mo)塊(kuai)。業(ye)務(wu)層(ceng)(ceng)負(fu)責(ze)(ze)業(ye)務(wu)處(chu)理(li)(li)(li)，如(ru)(ru)基(ji)(ji)于(yu)spark業(ye)務(wu)計(ji)(ji)(ji)算模(mo)(mo)塊(kuai)(包(bao)括聚集（gather）、學(xue)習（learn）、訓練(lian)（trans）(訓練(lian)包(bao)括清潔(jie)（clean）、映射（ ** p）、聚類（aggregate））、查詢（query）（包(bao)含(han)匹配（ ** tch）、導出(chu)（export）、檢索（search））），基(ji)(ji)于(yu)流(liu)(liu)業(ye)務(wu)計(ji)(ji)(ji)算模(mo)(mo)塊(kuai)（mod-stream），基(ji)(ji)于(yu)mr（MapReduce）業(ye)務(wu)計(ji)(ji)(ji)算模(mo)(mo)塊(kuai)（mod-mr），基(ji)(ji)于(yu)共(gong)享內(nei)存(cun)業(ye)務(wu)計(ji)(ji)(ji)算模(mo)(mo)塊(kuai)（mod-shm）等(deng)(deng)(deng)(deng)。接(jie)(jie)(jie)(jie)口層(ceng)(ceng)主要(yao)(yao)負(fu)責(ze)(ze)集成(cheng)和(he)輸(shu)(shu)入(ru)輸(shu)(shu)出(chu)，如(ru)(ru)集成(cheng)接(jie)(jie)(jie)(jie)口模(mo)(mo)塊(kuai)（port-integration）、客戶端接(jie)(jie)(jie)(jie)口模(mo)(mo)塊(kuai)（port-cli）、API接(jie)(jie)(jie)(jie)口模(mo)(mo)塊(kuai)（port-api）、WEB接(jie)(jie)(jie)(jie)口模(mo)(mo)塊(kuai)（port-web）等(deng)(deng)(deng)(deng)。

圖(tu)9?31 DMP組件視(shi)圖(tu)示例

(轉載(zai)請(qing)注明出處(chu):微(wei)信(xin)訂(ding)閱(yue)號(hao):ad_auto ** tion）

文字表達有限，歡迎參加(jia)《karrylady.cn線(xian)下(xia)課堂面對面回答你(ni)的問題。

上海(hai)西陸信(xin)息科技有(you)限(xian)公司 承接各類微(wei)信(xin)小(xiao)程序(xu)開發(fa)制作、小(xiao)程序(xu)定制、APP 網(wang)站 開發(fa)制作，聯系電話 18221533805、15900430334