貴廣網(wǎng)絡(luò)應(yīng)用廣電大數(shù)據(jù)

同洲攜手貴廣網(wǎng)絡(luò)實(shí)踐應(yīng)用廣電大數(shù)據(jù)

廣電行業(yè)的內(nèi)容生產(chǎn)與傳播消費(fèi)過(guò)程中產(chǎn)生的海量數(shù)據(jù)蘊(yùn)含著豐富的價(jià)值，探索實(shí)踐廣播電視行業(yè)應(yīng)用大數(shù)據(jù)技術(shù)，有助于提升廣電內(nèi)容生產(chǎn)的能力、創(chuàng)新廣電業(yè)務(wù)的產(chǎn)品、提升廣電運(yùn)營(yíng)服務(wù)水平，從而助力廣電媒體融合發(fā)展，推動(dòng)廣播電視行業(yè)產(chǎn)業(yè)升級(jí)。

可見，在廣電行業(yè)內(nèi)并不缺乏大數(shù)據(jù)，關(guān)鍵在于如何應(yīng)用這些大數(shù)據(jù)！同洲攜手貴廣網(wǎng)絡(luò)在實(shí)踐應(yīng)用廣電大數(shù)據(jù)的路途上為這個(gè)問(wèn)題做了最好的注解。

截止2019年11月，貴廣網(wǎng)絡(luò)大數(shù)據(jù)系統(tǒng)已經(jīng)采集到數(shù)據(jù)的機(jī)頂盒數(shù)超過(guò)310萬(wàn)臺(tái)，每一天產(chǎn)生原始數(shù)據(jù)超過(guò)15億條，通過(guò)數(shù)據(jù)清洗，日均產(chǎn)生約4000萬(wàn)條完整播放記錄。

2019年，貴廣網(wǎng)絡(luò)在實(shí)現(xiàn)所有雙向機(jī)頂盒的數(shù)據(jù)采集后，開始建設(shè)數(shù)據(jù)分析平臺(tái)，通過(guò)對(duì)采集數(shù)據(jù)分析，實(shí)現(xiàn)了直播收視率、點(diǎn)播及時(shí)移回看排行分析，用戶流失預(yù)警、網(wǎng)絡(luò)流量監(jiān)控預(yù)警，專區(qū)頁(yè)面訂購(gòu)率，終端用戶行為事件分析等功能，另外基于大數(shù)據(jù)系統(tǒng)分析結(jié)果對(duì)接SMP網(wǎng)管，實(shí)現(xiàn)了用戶點(diǎn)播錯(cuò)誤碼統(tǒng)計(jì)預(yù)警，用戶話單提取等功能，幫助運(yùn)維人員快速定位故障。同時(shí)，貴廣網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)將數(shù)據(jù)提供給推薦系統(tǒng)、廣告系統(tǒng)等第三方業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)智能推薦、精準(zhǔn)廣告、個(gè)性化門戶等新業(yè)務(wù)，提升用戶體驗(yàn)。

接下來(lái)，我們將帶您看看同洲是如何三步走，攜手貴廣網(wǎng)絡(luò)實(shí)踐應(yīng)用廣電大數(shù)據(jù)的！

一、技術(shù)驅(qū)動(dòng)，建設(shè)大數(shù)據(jù)平臺(tái)總體架構(gòu)

大數(shù)據(jù)關(guān)鍵技術(shù)涵蓋從數(shù)據(jù)存儲(chǔ)、處理、應(yīng)用等多方面的技術(shù)。根據(jù)大數(shù)據(jù)的處理過(guò)程，可將其分為數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析與挖掘、數(shù)據(jù)應(yīng)用等環(huán)節(jié)。因此，在平臺(tái)架構(gòu)上，貴廣網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)主要架構(gòu)為數(shù)據(jù)采集層、應(yīng)用層和展示層。

數(shù)據(jù)采集層主要通過(guò)各種方式（包括系統(tǒng)接口、監(jiān)測(cè)設(shè)備、監(jiān)測(cè)模塊、機(jī)頂盒等）獲取子系統(tǒng)需要的數(shù)據(jù)，并且通過(guò)接口適配，提供通用的數(shù)據(jù)訪問(wèn)接口，實(shí)現(xiàn)對(duì)數(shù)據(jù)的存取等操作，屏蔽數(shù)據(jù)異構(gòu)帶來(lái)的對(duì)平臺(tái)的影響。同時(shí)，實(shí)現(xiàn)數(shù)據(jù)的對(duì)象化，面向上層軟件模塊提供面向?qū)ο蟮臄?shù)據(jù)訪問(wèn)。

系統(tǒng)應(yīng)用層主要通過(guò)各個(gè)軟件模塊的建設(shè)，對(duì)數(shù)據(jù)采集層獲取的數(shù)據(jù)進(jìn)行綜合計(jì)算、統(tǒng)計(jì)、分析，針對(duì)不同的管理對(duì)象，有不同的管理策略，并且系統(tǒng)提供對(duì)數(shù)據(jù)增、刪、改、查的基本管理功能。

系統(tǒng)展示層提供列表、圖表、曲線圖等多種呈現(xiàn)方式，方便用戶直觀了解并管理業(yè)務(wù)以及監(jiān)測(cè)當(dāng)前性能。同時(shí)，系統(tǒng)支持對(duì)機(jī)頂盒、性能數(shù)據(jù)等信息綜合統(tǒng)計(jì)分析，幫助用戶快速并直觀的了解平臺(tái)業(yè)務(wù)的運(yùn)營(yíng)情況。

二、應(yīng)用功能為本，從而精準(zhǔn)感知用戶需求

同洲在建設(shè)貴廣網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)時(shí)，以應(yīng)用功能為本，充分挖掘媒體內(nèi)容數(shù)據(jù)、分析用戶數(shù)據(jù)，從而精準(zhǔn)感知用戶需求，并將其轉(zhuǎn)化為可廣泛應(yīng)用在廣播電視內(nèi)容的采集與生產(chǎn)、節(jié)目的推薦與經(jīng)營(yíng)、用戶的跟蹤與服務(wù)、輿情的監(jiān)控與管理、節(jié)目的傳輸與分發(fā)以及節(jié)目監(jiān)控監(jiān)管等領(lǐng)域的數(shù)據(jù)輸出。

其中主要功能包括：

數(shù)據(jù)采集功能——

1）離線數(shù)據(jù)采集功能。通過(guò)離線FTP定時(shí)采集高清互動(dòng)平臺(tái)、IP視頻平臺(tái)和OTT平臺(tái)數(shù)據(jù)，收集現(xiàn)網(wǎng)的用戶點(diǎn)播及直播數(shù)據(jù)，進(jìn)行清洗后，存入離線數(shù)據(jù)庫(kù)中。

2）在線數(shù)據(jù)采集功能。通過(guò)終端機(jī)頂盒采集探針模塊實(shí)時(shí)在線上報(bào)nginx負(fù)載地址，經(jīng)過(guò)在線采集模塊分析清洗后，存入在線數(shù)據(jù)庫(kù)中。

數(shù)據(jù)分析及報(bào)表功能——

1）用戶趨勢(shì)分析功能。通過(guò)離線數(shù)據(jù)收集全網(wǎng)所有互動(dòng)用戶的每日活躍度情況，可根據(jù)區(qū)域信息，分析近期的新增用戶，在線用戶數(shù)據(jù)，并呈現(xiàn)在報(bào)表中，供運(yùn)營(yíng)分析使用

2）用戶流失預(yù)警功能?；诖髷?shù)據(jù)的信息收集的情況下，利用用戶播放行為數(shù)據(jù)，付費(fèi)行為數(shù)據(jù)，使用機(jī)器學(xué)習(xí)方法，推斷一段時(shí)間后可能會(huì)流失的用戶數(shù)據(jù)，給系統(tǒng)運(yùn)營(yíng)，挽留用戶提供數(shù)據(jù)支持，提高工作效率。

3）直播頻道收視數(shù)據(jù)分析及報(bào)表功能。通過(guò)離線數(shù)據(jù)收集全網(wǎng)所有互動(dòng)用戶直播數(shù)據(jù)信息，對(duì)直播頻道的收視率等數(shù)據(jù)進(jìn)行計(jì)算，輸出報(bào)表呈現(xiàn)。

4）點(diǎn)播、時(shí)移及回看數(shù)據(jù)分析及用戶播放清單報(bào)表功能。通過(guò)離線數(shù)據(jù)收集全網(wǎng)所有互動(dòng)用戶點(diǎn)播數(shù)據(jù)信息，對(duì)媒資點(diǎn)播排行，欄目點(diǎn)播排行，用戶時(shí)移播放及用戶回看播放進(jìn)行計(jì)算分析，并可根據(jù)區(qū)域信息，輸出用戶播放清單等詳細(xì)報(bào)表

5）組播切換清單功能。針對(duì)IP平臺(tái)用戶，同時(shí)收集用戶在觀看直播過(guò)程中的組播切換情況，輸出報(bào)表，用于分析終端用戶區(qū)域的網(wǎng)絡(luò)狀況信息。

6）在線數(shù)據(jù)分析及報(bào)表功能。根據(jù)終端探針上報(bào)的用戶行為，對(duì)用戶行為事件進(jìn)行分類采集，并分析清洗，輸出用戶行為報(bào)表功能。

7）專區(qū)用戶訂購(gòu)率及點(diǎn)播轉(zhuǎn)化率報(bào)表。根據(jù)特定的專區(qū)用戶點(diǎn)播行為及訂購(gòu)信息數(shù)據(jù)，分析計(jì)算，輸出用戶點(diǎn)播轉(zhuǎn)化率及專區(qū)用戶的訂購(gòu)率報(bào)表功能。

8）流量數(shù)據(jù)報(bào)表功能。根據(jù)對(duì)接貴廣網(wǎng)絡(luò)的網(wǎng)管平臺(tái)，采集流量數(shù)據(jù)信息，輸出流量數(shù)據(jù)報(bào)表功能

9)數(shù)據(jù)采集數(shù)據(jù)輸出功能。依據(jù)大數(shù)據(jù)系統(tǒng)的輸出規(guī)范，可根據(jù)第三方需求，通過(guò)在線接口，離線FTP等多種方式輸出數(shù)據(jù)，供第三方系統(tǒng)使用。

三、守正創(chuàng)新，分步賦能貴廣網(wǎng)絡(luò)

同洲在貴廣網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)的建設(shè)策略上，一方面要明確需求目標(biāo)，做好整體規(guī)劃。另一方面立足業(yè)務(wù)現(xiàn)實(shí)，分步推進(jìn)大數(shù)據(jù)平臺(tái)的建設(shè)與完善。在結(jié)合貴廣網(wǎng)絡(luò)當(dāng)前需求分析的基礎(chǔ)上，分步推動(dòng)大數(shù)據(jù)業(yè)務(wù)應(yīng)用服務(wù)建設(shè)，增加平臺(tái)上的業(yè)務(wù)。

在后續(xù)的規(guī)劃建設(shè)中，同洲將持續(xù)開發(fā)更多應(yīng)用功能，不斷推動(dòng)貴廣網(wǎng)絡(luò)的智慧發(fā)展，全面提升貴廣網(wǎng)絡(luò)的商業(yè)價(jià)值，為貴廣網(wǎng)絡(luò)產(chǎn)業(yè)升級(jí)提供支撐。其中包括：

數(shù)據(jù)采集可視化編輯功能——

對(duì)當(dāng)前的數(shù)據(jù)采集系統(tǒng)及報(bào)表輸出功能進(jìn)行功能優(yōu)化改造，將大數(shù)據(jù)做成可視化編輯，數(shù)據(jù)結(jié)果可自定義排列，自定義選擇所有字段，自定義報(bào)表樣式，自定導(dǎo)出結(jié)果，自定義查詢條件。

用戶畫像功能——

基于數(shù)據(jù)采集的用戶行為分析，將用戶的每個(gè)具體信息抽象成標(biāo)簽，利用這些標(biāo)簽將用戶形象具體化，建立用戶畫像功能，針對(duì)特定的用戶群體進(jìn)行差異化服務(wù)。

收視報(bào)告分析——

可支持廣告運(yùn)營(yíng)大數(shù)據(jù)分析，廣告精準(zhǔn)投放。開機(jī)畫面廣告、頻道Banner 條廣告、音量調(diào)節(jié)畫面廣告是廣電網(wǎng)絡(luò)運(yùn)營(yíng)商最主要的廣告形式。用戶行為分析數(shù)據(jù)報(bào)告能給廣電運(yùn)營(yíng)商提供充足的數(shù)據(jù)支撐，根據(jù)收看率高低、用戶收看時(shí)間等條件，把開機(jī)畫面廣告、頻道Banner 條廣告和音量調(diào)節(jié)畫面廣告按照區(qū)域、時(shí)段和收視熱度分組打包，精細(xì)化運(yùn)營(yíng)廣告資源。

智能推薦，提升用戶ARPU 值。視頻的獲取渠道越來(lái)越多，基本上可以讓用戶在任何時(shí)間，任何地點(diǎn)，任何有屏的設(shè)備上獲得。視頻的播發(fā)越來(lái)越智能化，讓用戶以最簡(jiǎn)單的方式得到自己想看的內(nèi)容。視頻智能推薦成為所有的視頻業(yè)務(wù)運(yùn)營(yíng)商的標(biāo)配。如何讓數(shù)字電視

用戶得到最佳的視頻觀賞感受，除了推送其他渠道無(wú)法做到的更加高清的視頻節(jié)目源之外，我們還需要感知用戶的收視習(xí)慣，積極向用戶推薦其最有可能收看的節(jié)目以及讓用戶在家中若干娛樂(lè)屏之間漫游。最終把用戶留在廣電網(wǎng)內(nèi)，提升廣電網(wǎng)視頻資源利用率和提升用戶ARPU 值。

聚類分析、軌跡分析留住客戶 。大數(shù)據(jù)分析能夠通過(guò)聚類分析，了解每個(gè)客戶日常喜愛收看的節(jié)目類型和頻道類型，以及對(duì)最新大片的可能購(gòu)買度，讓客戶經(jīng)理能挑出最有可能購(gòu)買產(chǎn)品的前20%的用戶，采取上門拜訪或電話推廣的方式，迅速有效的達(dá)成交易。

運(yùn)維上的應(yīng)用——

有效處理故障 。用戶終端通過(guò)雙向網(wǎng)絡(luò)將其狀態(tài)數(shù)據(jù)、管理控制信息等數(shù)據(jù)上傳，終端管理系統(tǒng)通過(guò)雙向協(xié)議，在通過(guò)對(duì)終端設(shè)備進(jìn)行開機(jī)管理、認(rèn)證鑒權(quán)、參數(shù)讀寫、日志上報(bào)、升級(jí)管理、故障診斷等管理操作的基礎(chǔ)上，實(shí)現(xiàn)用戶終端的可視化管理、終端運(yùn)行狀態(tài)可呈現(xiàn)、終端可控、故障可遠(yuǎn)程診斷。終端管理系統(tǒng)能夠以定制化報(bào)表，以各種粒度提供當(dāng)前系統(tǒng)網(wǎng)絡(luò)、業(yè)務(wù)的運(yùn)營(yíng)狀態(tài)的信息，提供給系統(tǒng)管理人員了解網(wǎng)絡(luò)當(dāng)前的運(yùn)營(yíng)情況，為高層進(jìn)行系統(tǒng)決策提供依據(jù)，提升廣電運(yùn)營(yíng)商的服務(wù)質(zhì)量和管理效率。

運(yùn)維趨勢(shì)預(yù)測(cè)。 現(xiàn)在大部分廣電網(wǎng)絡(luò)運(yùn)營(yíng)商在用戶故障處理方面都是事后維護(hù)，即在用戶收看電視出現(xiàn)了問(wèn)題，撥打電話申告故障后，運(yùn)營(yíng)商才派人處理，運(yùn)維工作非常被動(dòng)。 1)大數(shù)據(jù)技術(shù)可以實(shí)時(shí)采集和分析用戶的狀態(tài)，在用戶端網(wǎng)絡(luò)或用戶終端出現(xiàn)告警時(shí)，及時(shí)響應(yīng)，在用戶故障申告之前解決問(wèn)題，改善用戶體驗(yàn)。 2)在管理系統(tǒng)的運(yùn)營(yíng)中，會(huì)積累足夠多的數(shù)據(jù)，形成整個(gè)網(wǎng)絡(luò)的運(yùn)行狀態(tài)曲線，由管理系統(tǒng)根據(jù)一定的算法計(jì)算出網(wǎng)絡(luò)的運(yùn)行趨勢(shì)數(shù)據(jù)。當(dāng)系統(tǒng)監(jiān)測(cè)到當(dāng)前的網(wǎng)絡(luò)運(yùn)行狀態(tài)偏離了趨勢(shì)曲線時(shí)，系統(tǒng)發(fā)出預(yù)警信息，方便運(yùn)維人員及時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行檢測(cè)和調(diào)整，把問(wèn)題解決在尚未大面積發(fā)生的狀態(tài)。 3)在對(duì)VIP 客戶的維護(hù)中，記錄VIP 客戶的終端使用習(xí)慣，如每周開關(guān)機(jī)頻次、切換頻道次數(shù)、切換應(yīng)用次數(shù)等數(shù)據(jù)，并分析每個(gè)客戶的收視喜好。當(dāng)實(shí)際發(fā)生的情況與歷史記錄相對(duì)差異度超過(guò)一定的閥值時(shí)，系統(tǒng)發(fā)出告警。