智維數(shù)據(jù)【智能運(yùn)維技術(shù)專題】概覽

隨著互聯(lián)網(wǎng)不斷發(fā)展，為了適應(yīng)高并發(fā)、大流量業(yè)務(wù)，負(fù)載均衡技術(shù)在整個(gè)IT架構(gòu)中占據(jù)著重要地位。

F5作為全球領(lǐng)先的應(yīng)用交付廠商，為全球大型企業(yè)、運(yùn)營商、政府與消費(fèi)品牌提供更加快速、安全以及智能的應(yīng)用。

隨著語音、數(shù)據(jù)、視頻流量、移動(dòng)員工和應(yīng)用的迅猛增長，F(xiàn)5在滿足企業(yè)和機(jī)構(gòu)IT需求的同時(shí)，也抓住了市場的潛在機(jī)遇。通過收購Nginx，進(jìn)一步鞏固了市場地位。

智維數(shù)據(jù)（nCompass）通過與F5 LTM、F5 GTM、Nginx對接，助力企業(yè)實(shí)現(xiàn)業(yè)務(wù)長期穩(wěn)定運(yùn)行。

1、通過iControl集中管理所有F5設(shè)備，減少IT人員維護(hù)成本。

2、通過HSL獲取Http、DNS、系統(tǒng)日志，并進(jìn)一步分析處理，助力企業(yè)保障業(yè)務(wù)穩(wěn)定運(yùn)行。

3、通過Telemetry Streaming，監(jiān)控設(shè)備性能指標(biāo)，助力企業(yè)保障設(shè)備穩(wěn)定運(yùn)行。

4、通過Nginx日志分析網(wǎng)站運(yùn)行情況，助力企業(yè)保障業(yè)務(wù)穩(wěn)定運(yùn)行。

5、通過綜合數(shù)據(jù)分析實(shí)現(xiàn)端到端的可視化，助力IT人員更加了解自己業(yè)務(wù)架構(gòu)。

數(shù)據(jù)可視化之HSL

1.1   前言

F5為了打造自己的生態(tài)，不斷增強(qiáng)可擴(kuò)展性，同時(shí)提供了很多工具鏈，部分如下：

F5 Application Services 3 Extension簡稱AS3。通過使用聲明性模型對應(yīng)用程序進(jìn)行配置，由此可以打造基于F5的CI/CD平臺。

F5 iControl LX是F5擴(kuò)展性的基礎(chǔ)，通過REST API可以獲取配置信息，狀態(tài)信息等。

F5 Telemetry Streaming簡稱TS。TS是獨(dú)立于TMOS的RPM包，作為iControl LX擴(kuò)展。規(guī)范化將統(tǒng)計(jì)信息和事件從BIG-IP轉(zhuǎn)發(fā)到消費(fèi)者。例如Fluentd、ES、S3存儲等。功能非常強(qiáng)大，作為F5的監(jiān)控工具，未來必定是一個(gè)趨勢。

如今業(yè)務(wù)復(fù)雜性越來越高，對自動(dòng)化、智能化需求也變得非常迫切，我們可以基于F5提供的工具鏈打造自己運(yùn)維自動(dòng)化和監(jiān)控平臺。同時(shí)借助F5自身的日志輸出來分析和優(yōu)化我們的業(yè)務(wù)，本章主要介紹如何利用HSL來分析http日志。后面我們會分享TS和iControl的一些應(yīng)用場景。

1.2   HSL是什么

HSL是一種高容量，低開銷的日志記錄機(jī)制。HSL支持通過TCP或者UDP方式將日志發(fā)送到日志平臺。HSL的CPU和內(nèi)存使用率非常低，CPU占用小于10%，幾乎沒有什么內(nèi)存開銷。

1.3   HSL應(yīng)用場景

HSL收集日志通常包含很多字段，有了這些字段我們就可以基于一些場景做分析：

運(yùn)營分析：通過一天日志總請求量，計(jì)算UV、PV、獨(dú)立IP。整體了解自己網(wǎng)站運(yùn)營情況。

負(fù)載調(diào)度分析：通過$VIRTUAL_POOL_NAME、$SERVER_IP來分析調(diào)度算法是不是合理，避免分配不均的情況出現(xiàn)。

用戶分布：可以統(tǒng)計(jì)IP、UA的分布做集中展示。

性能分析：通過$RESPONSE_USECS可以分析請求的響應(yīng)時(shí)間，優(yōu)化請求慢的URL。

行為審計(jì)：通過Audit Log對F5管理員行為進(jìn)行審計(jì)，完善企業(yè)安全建設(shè)。

系統(tǒng)日志分析：通過System Log 對系統(tǒng)狀態(tài)進(jìn)行診斷。例如Member的up、 down信息，Pool的健康檢查信息等。

1.4   通過HSL收集HTTP日志

1 Profile—> Other—> Request Logging （默認(rèn)request-log是系統(tǒng)自帶的profile模板，不能刪除。

2點(diǎn)擊Create，填寫name，Parent Profile引用系統(tǒng)的模板

Template是日志模板格式，HSL Protocol我們選擇UDP。Pool Name指定把日志發(fā)送到哪個(gè)Pool里面，Pool里面定義的Member是用來接收日志的服務(wù)器。

Pool配置如下：日志會發(fā)送到192.168.40.70服務(wù)器的20001端口

F5 LTM 常用日志字段如下：可以根據(jù)自己需要添加

3關(guān)聯(lián)VS：我們已經(jīng)定義好了Profile，需要關(guān)聯(lián)具體VS。也就是說Logging Profile是Virtual Services作為區(qū)分的，沒有全局的。點(diǎn)擊進(jìn)入到具體Virtual Services，在Configuration選擇Advanced，找到Logging Profile選項(xiàng)，選擇之前定義好的Profile。（此處VS type是standard，使用http profile）

1.5   通過HSL收集系統(tǒng)日志

1 工作流程:

LTM or GTM —> Log Filter —> Log Publisher —> Log Destinations

2 系統(tǒng)日志收集配置步驟如下：

找到System —> logs —> Configuration

首先配置Log Destinations，配置如下：

Name：根據(jù)自己情況自己定義。

Type：選擇Remote High-speed Log。

Protocol：選擇UDP，也可以選擇TCP根據(jù)自己情況來，建議使用UDP。

Pool Name：選擇要轉(zhuǎn)發(fā)的地址池，地址池里面配置具體Member和端口，端口根據(jù)自己情況設(shè)置即可。

Distribution：選擇adaptive，也可以選擇balanced和replicated，根據(jù)自己情況來。

Name：根據(jù)自己情況自己定義

Type：選擇Remote Syslog

Syslog Format：推薦選擇BSD Syslog

Forward To：選擇圖1.5.1定義的Log Destinations

為什么既要定義Remote Syslog也要定義Remote High-speed Log？只定義一個(gè)不行嗎？可以只定義Remote High-speed Log，不定義Remote Syslog，如果要定義Remote Syslog必須先定義Remote High-speed Log。此處定義Remote Sylog主要是因?yàn)檩敵龅娜罩咀裱瑽SD的規(guī)范，方便后面解析。很重要?。?！

配置Log Publishers：

Name：根據(jù)自己情況定義

Destinations：選擇圖7定義的Dest-syslog

配置Log Filters：

Name：根據(jù)自己情況定義

Severity：根據(jù)自己情況選擇，建議Notice。

Source：選擇all，也可以選擇其他選項(xiàng)較多，此處不一一列舉

Log Publisher：選擇圖8定義的Publisher-hsl

1.6   智維數(shù)據(jù)（nCompass）日志分析平臺

通過上面配置我們已經(jīng)獲取了F5 http日志和系統(tǒng)日志。接下來就是如何分析，目前智維數(shù)據(jù)（nCompass） 日志分析平臺可以處理和分析任何日志。包括但不僅限于負(fù)載均衡、Tomcat中間件、數(shù)據(jù)庫等并提供如下能力：

應(yīng)用梳理：基于F5 數(shù)據(jù)，快速、準(zhǔn)確的呈現(xiàn)應(yīng)用間的訪問關(guān)系，為網(wǎng)絡(luò)、應(yīng)用、安全部門提供數(shù)據(jù)支撐。

IPv6統(tǒng)計(jì)：基于F5 數(shù)據(jù)，提供應(yīng)用的IPv6/IPv4的運(yùn)行統(tǒng)計(jì)分析，提供IPv6應(yīng)用運(yùn)行狀態(tài)的可視化能力。

異常監(jiān)控：基于F5 日志數(shù)據(jù)及TDA平臺的算法庫，實(shí)現(xiàn)零配置的異常檢測、告警，主動(dòng)發(fā)現(xiàn)異常事件。

智能分析：基于F5 日志數(shù)據(jù)及TDA平臺的知識圖譜，實(shí)現(xiàn)告警事件的智能分析，降低MTTR，提升用戶體驗(yàn)。  

優(yōu)化統(tǒng)計(jì)：基于F5 日志數(shù)據(jù)，主動(dòng)發(fā)現(xiàn)應(yīng)用存在的錯(cuò)誤、慢、重載等隱患頁面，為應(yīng)用部門優(yōu)化應(yīng)用提供數(shù)據(jù)支撐。

指標(biāo)監(jiān)控：基于F5數(shù)據(jù)實(shí)時(shí)查看每個(gè)VS以及Member的運(yùn)行狀態(tài)，可提供多個(gè)指標(biāo)數(shù)據(jù)，為業(yè)務(wù)狀態(tài)監(jiān)控提供數(shù)據(jù)支撐。

有了這些數(shù)據(jù)，智維數(shù)據(jù)（nCcompass）日志分析平臺可以根據(jù)不同場景靈活定制視圖，使得客戶更加了解自己的業(yè)務(wù)。遇到突發(fā)問題可以快速定位，甚至是提前預(yù)警。

應(yīng)用梳理：

大屏展示：

1.7    下期預(yù)告

有了日志，我們還缺少對基礎(chǔ)指標(biāo)的監(jiān)控，像磁盤、網(wǎng)絡(luò)、設(shè)備信息、統(tǒng)計(jì)信息（流量、連接數(shù)、pool vs狀態(tài)等）下期我們主要來介紹如何使用Telemetry Streaming來完善F5監(jiān)控以及如何配置Telemetry Streaming，并做具體的場景分析。

zhangnn