DSP系統技術架構參考【技術類】

基本上已經在前面了(le)DSP介紹了(le)典型的(de)(de)模式(shi)、主要(yao)機制和要(yao)點。有些(xie)學(xue)生可能(neng)會好奇DSP系(xi)統(tong)(tong)內(nei)部的(de)(de)技術(shu)架(jia)(jia)構。截取以下部分DSP系(xi)統(tong)(tong)的(de)(de)技術(shu)架(jia)(jia)構圖供大(da)家參考，對非技術(shu)學(xue)生也有一個感性的(de)(de)認識(shi)。不要(yao)做(zuo)大(da)的(de)(de)展(zhan)開。

1. 總結技術架構

如(ru)圖7-22所(suo)示，DSP系統涉及技(ji)術(shu)架(jia)構：交付平(ping)臺(tai)和用(yong)(yong)(yong)(yong)戶(hu)(hu)交互模(mo)塊(kuai)(kuai)(kuai)（setup UI）、報表(biao)（Report）、算(suan)法引擎等(deng)模(mo)塊(kuai)(kuai)(kuai)。分(fen)布(bu)式(shi)技(ji)術(shu)主要用(yong)(yong)(yong)(yong)于大數(shu)據(ju)和算(suan)法的(de)機(ji)器(qi)學(xue)習(xi)(如(ru)hadoop），建模(mo)用(yong)(yong)(yong)(yong)戶(hu)(hu)日志和人群(qun)數(shu)據(ju)，智能處(chu)理機(ji)器(qi)。通過(guo)海量內(nei)(nei)(nei)(nei)存(cun)技(ji)術(shu)(如(ru)算(suan)法引擎模(mo)塊(kuai)(kuai)(kuai)處(chu)理的(de)人群(qun)數(shu)據(ju)、算(suan)法模(mo)型(xing)等(deng))。redis）內(nei)(nei)(nei)(nei)存(cun)暫存(cun)，方便Bid為了在(zai)1000中(zhong)快速(su)查詢(xun)和使(shi)用(yong)(yong)(yong)(yong)暫存(cun)內(nei)(nei)(nei)(nei)存(cun)的(de)目的(de)都是100ms完成招標(biao)過(guo)程(cheng)，確保在(zai)DSP方<30ms完成處(chu)理，為網絡通信流出時間(jian)。Bid發(fa)射機(ji)是響(xiang)應大并(bing)(bing)發(fa)請求的(de)典型(xing)大集群(qun)模(mo)式(shi)，并(bing)(bing)確保每個請求<30ms處(chu)理完成。Bid發(fa)射機(ji)的(de)發(fa)射規則(預算(suan)、頻(pin)率、發(fa)射策(ce)略設(she)置(zhi)等(deng)數(shu)據(ju))也存(cun)在(zai)于內(nei)(nei)(nei)(nei)存(cun)中(zhong)，便于快速(su)查詢(xun)。投放(fang)策(ce)略設(she)置(zhi)的(de)數(shu)據(ju)內(nei)(nei)(nei)(nei)容由用(yong)(yong)(yong)(yong)戶(hu)(hu)通過(guo)投放(fang)設(she)置(zhi)用(yong)(yong)(yong)(yong)戶(hu)(hu)交互模(mo)塊(kuai)(kuai)(kuai)中(zhong)的(de)界面完成。此外，還有一些非常重要的(de)輔助模(mo)塊(kuai)(kuai)(kuai)，如(ru)廣告曝光點擊(ji)數(shu)據(ju)回收模(mo)塊(kuai)(kuai)(kuai)id ** pping內(nei)(nei)(nei)(nei)置(zhi)模(mo)塊(kuai)(kuai)(kuai)、大數(shu)據(ju)報表(biao)模(mo)塊(kuai)(kuai)(kuai)DMP模(mo)塊(kuai)(kuai)(kuai)等(deng)等(deng)。

圖7-22 技術架構概要示例

2. DSP內部技術處理流程總(zong)結

DSP內部技(ji)(ji)術(shu)(shu)處(chu)理(li)(li)主要(yao)依靠一(yi)些(xie)關(guan)鍵的(de)技(ji)(ji)術(shu)(shu)處(chu)理(li)(li)設施，主要(yao)包括：原(yuan)始海(hai)(hai)量(liang)(liang)(liang)log并(bing)行(xing)(xing)處(chu)理(li)(li)系(xi)(xi)(xi)統和(he)(he)(he)(he)海(hai)(hai)量(liang)(liang)(liang)消息(xi)的(de)隊(dui)(dui)列(lie)(lie)(例如使用(yong))spark技(ji)(ji)術(shu)(shu))、海(hai)(hai)量(liang)(liang)(liang)內存系(xi)(xi)(xi)統(如采用(yong))redis技(ji)(ji)術(shu)(shu))、業務系(xi)(xi)(xi)統關(guan)系(xi)(xi)(xi)數(shu)(shu)(shu)(shu)據(ju)(ju)庫(ku)(ku)等。如圖7-23所(suo)示，一(yi)條技(ji)(ji)術(shu)(shu)處(chu)理(li)(li)線是(shi)廣(guang)告(gao)請(qing)求處(chu)理(li)(li)線：廣(guang)告(gao)競(jing)價(jia)(jia)Bidder處(chu)理(li)(li)大(da)(da)(da)量(liang)(liang)(liang)的(de)實(shi)時廣(guang)告(gao)請(qing)求會產生大(da)(da)(da)量(liang)(liang)(liang)的(de)原(yuan)始log、同(tong)時Bidder與(yu)海(hai)(hai)量(liang)(liang)(liang)內存系(xi)(xi)(xi)統交互(hu)讀寫廣(guang)告(gao)請(qing)求相(xiang)(xiang)關(guan)的(de)頻(pin)(pin)率(lv)、消耗(hao)等數(shu)(shu)(shu)(shu)據(ju)(ju)也很頻(pin)(pin)繁(fan)，然后(hou)log并(bing)行(xing)(xing)處(chu)理(li)(li)隊(dui)(dui)列(lie)(lie)后(hou)，注入報表數(shu)(shu)(shu)(shu)據(ju)(ju)庫(ku)(ku)和(he)(he)(he)(he)相(xiang)(xiang)應的(de)大(da)(da)(da)數(shu)(shu)(shu)(shu)據(ju)(ju)人(ren)(ren)群和(he)(he)(he)(he)模型(xing)數(shu)(shu)(shu)(shu)據(ju)(ju)庫(ku)(ku)。另一(yi)條技(ji)(ji)術(shu)(shu)處(chu)理(li)(li)線是(shi)回收廣(guang)告(gao)曝(pu)光(guang)(guang)、點(dian)擊(ji)(ji)等監控數(shu)(shu)(shu)(shu)據(ju)(ju)，最(zui)初產生大(da)(da)(da)量(liang)(liang)(liang)原(yuan)始數(shu)(shu)(shu)(shu)據(ju)(ju)log、同(tong)時，數(shu)(shu)(shu)(shu)據(ju)(ju)回收引擎與(yu)廣(guang)告(gao)曝(pu)光(guang)(guang)、點(dian)擊(ji)(ji)相(xiang)(xiang)關(guan)頻(pin)(pin)率(lv)、消光(guang)(guang)、點(dian)擊(ji)(ji)相(xiang)(xiang)關(guan)頻(pin)(pin)率(lv)、消耗(hao)等。然后(hou)曝(pu)光(guang)(guang)和(he)(he)(he)(he)點(dian)擊(ji)(ji)廣(guang)告(gao)log并(bing)行(xing)(xing)處(chu)理(li)(li)隊(dui)(dui)列(lie)(lie)后(hou)，注入相(xiang)(xiang)應的(de)報告(gao)數(shu)(shu)(shu)(shu)據(ju)(ju)庫(ku)(ku)和(he)(he)(he)(he)相(xiang)(xiang)應的(de)大(da)(da)(da)數(shu)(shu)(shu)(shu)據(ju)(ju)人(ren)(ren)群和(he)(he)(he)(he)模型(xing)數(shu)(shu)(shu)(shu)據(ju)(ju)庫(ku)(ku)，并(bing)行(xing)(xing)處(chu)理(li)(li)隊(dui)(dui)列(lie)(lie)進行(xing)(xing)大(da)(da)(da)量(liang)(liang)(liang)的(de)機器智能分析和(he)(he)(he)(he)更新部分人(ren)(ren)群數(shu)(shu)(shu)(shu)據(ju)(ju)和(he)(he)(he)(he)模型(xing)數(shu)(shu)(shu)(shu)據(ju)(ju)，同(tong)時同(tong)步(bu)更新Bidder提供(gong)數(shu)(shu)(shu)(shu)據(ju)(ju)庫(ku)(ku)和(he)(he)(he)(he)內容系(xi)(xi)(xi)統Bidder實(shi)時競(jing)價(jia)(jia)時使用(yong)。

圖7-23 DSP內部技術處理流程概述示例

3. DSP招標核心(xin)處理流程總(zong)結（<30ms）

如圖(tu)7-24所示，DSP的(de)(de)(de)(de)Bidder核心處(chu)理(li)(li)時間(jian)限制在競(jing)價模塊設(she)(she)計中，<30ms。為了解(jie)決不(bu)(bu)(bu)(bu)同的(de)(de)(de)(de)適(shi)應(ying)性(xing)(xing)(xing)ADX不(bu)(bu)(bu)(bu)同接(jie)口的(de)(de)(de)(de)流量。在接(jie)受廣告請(qing)求和(he)輸出返回(hui)時，會有(you)所不(bu)(bu)(bu)(bu)同ADX不(bu)(bu)(bu)(bu)同的(de)(de)(de)(de)適(shi)配器(qi)(qi)用于平臺接(jie)口的(de)(de)(de)(de)設(she)(she)計模式。但整體處(chu)理(li)(li)過(guo)程保持不(bu)(bu)(bu)(bu)變(bian)(bian)。中間(jian)業(ye)務處(chu)理(li)(li)部分也采用過(guo)濾器(qi)(qi)的(de)(de)(de)(de)設(she)(she)計模式，可根據(ju)業(ye)務需要增加新業(ye)務。這樣做的(de)(de)(de)(de)好處(chu)是(shi)整體的(de)(de)(de)(de)Bidder核心招(zhao)標模塊處(chu)理(li)(li)流程框(kuang)架相對穩定(ding)，不(bu)(bu)(bu)(bu)會隨業(ye)務變(bian)(bian)化而變(bian)(bian)化。它具有(you)很強(qiang)的(de)(de)(de)(de)業(ye)務靈活性(xing)(xing)(xing)和(he)應(ying)對高(gao)性(xing)(xing)(xing)能(neng)的(de)(de)(de)(de)水平擴展性(xing)(xing)(xing)。

圖7-24 DSP招標核心(xin)處理流(liu)程(cheng)概(gai)述(shu)示例

4. 招標程(cheng)序處理過程(cheng)總結

如圖7-25所示，Bidder根(gen)據(ju)業務處理(li)，招(zhao)標處理(li)器(qi)內部也將分為(wei)：索(suo)(suo)引(yin)(yin)(yin)快速過(guo)(guo)(guo)(guo)濾(lv)廣(guang)告(gao)（索(suo)(suo)引(yin)(yin)(yin)的(de)(de)優點(dian)是(shi)檢(jian)索(suo)(suo)效(xiao)率高，當(dang)然，索(suo)(suo)引(yin)(yin)(yin)只能是(shi)用(yong)戶簡單的(de)(de)過(guo)(guo)(guo)(guo)濾(lv)條(tiao)件，如：尺寸(cun)索(suo)(suo)引(yin)(yin)(yin)、平臺和(he)廣(guang)告(gao)索(suo)(suo)引(yin)(yin)(yin)、瀏覽器(qi)索(suo)(suo)引(yin)(yin)(yin)、操作系統索(suo)(suo)引(yin)(yin)(yin)、區域索(suo)(suo)引(yin)(yin)(yin)等(deng)）。廣(guang)告(gao)過(guo)(guo)(guo)(guo)濾(lv)(投放(fang)策略(lve)相關規則需要計算(suan)的(de)(de)過(guo)(guo)(guo)(guo)濾(lv)條(tiao)件是(shi)不(bu)能使用(yong)索(suo)(suo)引(yin)(yin)(yin)器(qi)，如預算(suan)、曝光、日期、頻率、人群定(ding)(ding)位、創(chuang)意(yi)類型(xing)等(deng)。以(yi)上兩層過(guo)(guo)(guo)(guo)濾(lv)是(shi)為(wei)了過(guo)(guo)(guo)(guo)濾(lv)廣(guang)告(gao)請(qing)(qing)求(qiu)中(zhong)的(de)(de)候選(xuan)廣(guang)告(gao)列表，然后(hou)(hou)通過(guo)(guo)(guo)(guo)招(zhao)標算(suan)法(fa)（動(dong)態(tai)招(zhao)標算(suan)法(fa)或固定(ding)(ding)招(zhao)標策略(lve)（使用(yong)什么招(zhao)標策略(lve)和(he)是(shi)否使用(yong)算(suan)法(fa)在(zai)設置界面中(zhong)手動(dong)設置）。然后(hou)(hou)進行(xing)低價(jia)(jia)過(guo)(guo)(guo)(guo)濾(lv)(根(gen)據(ju)廣(guang)告(gao)請(qing)(qing)求(qiu)中(zhong)的(de)(de)底價(jia)(jia)過(guo)(guo)(guo)(guo)濾(lv)掉(diao)出(chu)價(jia)(jia)低于底價(jia)(jia)的(de)(de)候選(xuan)廣(guang)告(gao))。最(zui)終(zhong)排(pai)名并決(jue)定(ding)(ding)獲勝(sheng)（根(gen)據(ju)各候選(xuan)廣(guang)告(gao)的(de)(de)出(chu)價(jia)(jia)和(he)算(suan)法(fa)給出(chu)的(de)(de)優先權重綜(zong)合排(pai)名，排(pai)名第一的(de)(de)獲勝(sheng)將準備以(yi)廣(guang)告(gao)內容返回）。曝光點(dian)擊(ji)動(dong)態(tai)代(dai)碼生(sheng)成(cheng)(以(yi)上一步獲勝(sheng)的(de)(de)廣(guang)告(gao)內容生(sheng)成(cheng)曝光點(dian)擊(ji)動(dong)態(tai)代(dai)碼，生(sheng)成(cheng)動(dong)態(tai)曝光點(dian)擊(ji)代(dai)碼有很(hen)多目(mu)的(de)(de)，如防作弊、全程(cheng)跟(gen)蹤投放(fang)參數等(deng)。Bid/Unbid日志(zhi)記(ji)錄(處理(li)結束(shu)時異步啟(qi)動(dong))。

圖7-25競價(jia)程(cheng)(cheng)序處理流程(cheng)(cheng)概述示例

5. 分(fen)布式集群總結

如圖(tu)7-26所示，為了(le)滿足大(da)量廣告競價業(ye)務和大(da)數(shu)據(ju)分布式計算基(ji)礎設施的需(xu)要(yao)。DSP在系統架構設計中，需(xu)要(yao)支(zhi)持大(da)并發、大(da)數(shu)據(ju)、高(gao)(gao)可用性、高(gao)(gao)容錯性等特點。

圖7-26 分(fen)布式(shi)集群概要示(shi)例

(轉載請注明(ming)出處:微(wei)信(xin)訂閱號:ad_auto ** tion）

歡迎參(can)加9月9日DSP上面的(de)專(zhuan)題(ti)線下(xia)課堂(tang)面對(dui)面地(di)回答你的(de)問(wen)題(ti)，解(jie)決你所關心的(de)問(wen)題(ti)。現場福利：您可以(yi)為您的(de)新書(shu)定制(zhi)個性簽名(ming)詞。

網(wang)上文章比(bi)較分散。如(ru)果想(xiang)系統學習，可以考慮(lv)作者剛(gang)出版(ban)的原創新(xin)書《程序化廣告實戰(zhan)》，各大電商(shang)網(wang)站(如(ru)karrylady.cn)都有(you)銷售。

近期活動通(tong)知(zhi)(直接(jie)點擊(ji)鏈(lian)接(jie)報名):

916一線(xian)實戰(zhan)經驗分(fen)享-《程序化廣告實戰(zhan)新(xin)書發布會(hui)通知》(北(bei)京站)

923一線(xian)實(shi)戰經驗(yan)分享-《程序化廣(guang)告(gao)實(shi)戰新書發布(bu)會通知》(上海站)

9月9日15時(shi)，機械工(gong)業出版社(she)3號樓10層流水(shui)課(ke)通知(zhi):DSP下”

上海西陸信息科技有(you)限公司 承接(jie)各類(lei)微信小(xiao)(xiao)程序開發(fa)(fa)制(zhi)作、小(xiao)(xiao)程序定制(zhi)、APP 網(wang)站(zhan) 開發(fa)(fa)制(zhi)作，聯(lian)系(xi)電話 18221533805、15900430334