網(wǎng)絡(luò)數(shù)據(jù)分析的需求由來(lái)已久，早期的用戶(hù)通過(guò)SNMP平臺(tái)采集網(wǎng)絡(luò)設(shè)備端口的流量MIB 并通過(guò)圖形化工具來(lái)顯示流經(jīng)網(wǎng)絡(luò)設(shè)備的流量情況。隨著硬件技術(shù)的發(fā)展，xFLOW技術(shù)被集成在網(wǎng)絡(luò)設(shè)備中，網(wǎng)絡(luò)設(shè)備可以基于2到4層的信息把網(wǎng)絡(luò)數(shù)據(jù)包形成flow分類(lèi)，繼而進(jìn)行統(tǒng)計(jì)和輸出，用戶(hù)可以基于網(wǎng)絡(luò)設(shè)備輸出的flow信息進(jìn)行數(shù)據(jù)分析。隨著網(wǎng)絡(luò)速度的飛速提高，網(wǎng)絡(luò)規(guī)模的快速增大，數(shù)據(jù)中心、云計(jì)算、虛擬化、容器技術(shù)的普及和應(yīng)用，一些用戶(hù)對(duì)網(wǎng)絡(luò)數(shù)據(jù)分析的要求進(jìn)一步提高，基于xFLow技術(shù)的網(wǎng)絡(luò)數(shù)據(jù)采集方式在實(shí)時(shí)性、顆粒度和規(guī)模上很難滿(mǎn)足要求，這些用戶(hù)轉(zhuǎn)而采用網(wǎng)絡(luò)設(shè)備 SPAN或者是外部TAP的方式來(lái)進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)的采集，這些方式在采集能力和代價(jià)上作出了較大的折衷。

挑戰(zhàn)是創(chuàng)新的源泉，思科公司Nexus 9000 交換機(jī)的研發(fā)團(tuán)隊(duì)與科研機(jī)構(gòu)共同努力，在業(yè)界首先實(shí)現(xiàn)了大規(guī)模高速網(wǎng)絡(luò)的數(shù)據(jù)采集、存儲(chǔ)和分析平臺(tái)-Tetration AnalyticsTM。該平臺(tái)由數(shù)據(jù)采集部分、存儲(chǔ)和分析部分組成：數(shù)據(jù)采集部分包括安裝在實(shí)體服務(wù)器或者是虛擬機(jī)中的軟件數(shù)據(jù)采集器、以太網(wǎng)交換機(jī)轉(zhuǎn)發(fā)芯片的硬件數(shù)據(jù)采集邏輯和第三方數(shù)據(jù)接口組成;存儲(chǔ)和分析部分由基于思科UCS計(jì)算平臺(tái)的服務(wù)器集群組成。

軟件數(shù)據(jù)采集器支持業(yè)界主流的操作系統(tǒng)平臺(tái)，可以通過(guò)用戶(hù)自己的自動(dòng)化服務(wù)器部署工具自動(dòng)地部署到服務(wù)器中。軟件數(shù)據(jù)采集器只針對(duì)操作系統(tǒng)協(xié)議棧發(fā)出和接受的數(shù)據(jù)包頭部信息進(jìn)行數(shù)據(jù)采集，并且收集相應(yīng)的發(fā)送和接受進(jìn)程的信息，這些收集到的數(shù)據(jù)經(jīng)過(guò)嚴(yán)格加密后，發(fā)送到存儲(chǔ)和分析部分。軟件數(shù)據(jù)采集器看似簡(jiǎn)單，但是，為了減少對(duì)主機(jī)CPU、內(nèi)存和網(wǎng)絡(luò)資源的占用，加強(qiáng)對(duì)用戶(hù)隱私的保護(hù)，對(duì)成千上萬(wàn)個(gè)分布部署的軟件采集器進(jìn)行統(tǒng)一管理和維護(hù)，支持多種操作系統(tǒng)，思科公司的開(kāi)發(fā)人員為此做了大量的工作。

“硬件數(shù)據(jù)采集器”實(shí)際上是思科公司Cloud Scale芯片技術(shù)的內(nèi)置硬件數(shù)據(jù)采集邏輯，數(shù)據(jù)中心交換機(jī)可以在1RU的設(shè)備中做到Tbps級(jí)別的轉(zhuǎn)發(fā)能力，每秒中流過(guò)一臺(tái)接入設(shè)備的數(shù)據(jù)包可以達(dá)到幾十億個(gè)，思科在芯片技術(shù)上的創(chuàng)新可以將每個(gè)數(shù)據(jù)包的元信息和其它網(wǎng)絡(luò)相關(guān)信息都記錄下來(lái)，并且及時(shí)地發(fā)送到Tetration AnalyticsTM存儲(chǔ)和分析部分。軟件數(shù)據(jù)采集器和“硬件數(shù)據(jù)采集器”可以根據(jù)需求同時(shí)部署，或者單獨(dú)部署。軟件數(shù)據(jù)采集器與用戶(hù)采用何種網(wǎng)絡(luò)設(shè)備、何種網(wǎng)絡(luò)拓?fù)涞韧耆珶o(wú)關(guān)，為用戶(hù)提供了網(wǎng)絡(luò)數(shù)據(jù)采集的靈活性和覆蓋的廣泛性。

Tetration AnalyticsTM存儲(chǔ)和分析部分是該平臺(tái)的精彩所在，億萬(wàn)個(gè)網(wǎng)絡(luò)數(shù)據(jù)流的秒級(jí)快速檢索能力、多維度(在第一版軟件中可以同時(shí)通過(guò)20個(gè)維度)網(wǎng)絡(luò)數(shù)據(jù)流可視化展示只是基本能力。針對(duì)萬(wàn)億個(gè)數(shù)據(jù)的無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法的采用，為網(wǎng)絡(luò)訪(fǎng)問(wèn)行為基線(xiàn)設(shè)立、網(wǎng)絡(luò)訪(fǎng)問(wèn)異常檢測(cè)、應(yīng)用訪(fǎng)問(wèn)關(guān)系的動(dòng)態(tài)甄別、聚類(lèi)動(dòng)態(tài)劃分等提供了方便的工具。這些內(nèi)置的應(yīng)用也僅僅是網(wǎng)絡(luò)數(shù)據(jù)分析新篇章的序曲，這個(gè)緊湊高效的平臺(tái)為用戶(hù)的數(shù)據(jù)分析專(zhuān)家提供了網(wǎng)絡(luò)數(shù)據(jù)完善的、全面的大數(shù)據(jù)來(lái)源，基于Tetration AnalyticsTM存儲(chǔ)和分析部分的外部接口，用戶(hù)可以在網(wǎng)絡(luò)數(shù)據(jù)分析領(lǐng)域無(wú)限地發(fā)揮自己的創(chuàng)造力。

這個(gè)世界上沒(méi)有無(wú)人區(qū)，只有無(wú)畏的探索者——作為專(zhuān)注網(wǎng)絡(luò)領(lǐng)域的廠(chǎng)商，思科不僅將技術(shù)創(chuàng)新視為公司持續(xù)發(fā)展的根本，更將其視作行業(yè)領(lǐng)導(dǎo)者對(duì)業(yè)界的責(zé)任。新想法、新技術(shù)接連不斷地孕育和誕生，為業(yè)界源源不斷地注入發(fā)展動(dòng)力，這就是思科公司作為科技樂(lè)觀(guān)主義者對(duì)創(chuàng)新的絕佳踐行。

崔歡歡