這是10月12日-18日在北京舉行的的“2016國家大眾創(chuàng)業(yè)萬眾創(chuàng)新活動周(簡稱‘國家雙創(chuàng)周’)暨中關(guān)村創(chuàng)新創(chuàng)業(yè)季”推出的“最具創(chuàng)新潛力創(chuàng)業(yè)企業(yè)榜單”入選企業(yè)展示活動。

這不是日志易的公司形象首次在中關(guān)村創(chuàng)業(yè)大街出現(xiàn)。半年前,中關(guān)村創(chuàng)業(yè)大街南街口的大屏,同樣展示過日志易及創(chuàng)始人陳軍,彼時的主題,是“騰訊系創(chuàng)業(yè)風云榜”。2009年-2012年,日志易創(chuàng)始人陳軍在騰訊負責數(shù)據(jù)中心網(wǎng)絡平臺部,并同時在搜搜任職。

1

“我們已經(jīng)申請了12項日志處理方面的技術(shù)發(fā)明專利,6項軟件著作權(quán)登記。日志易在2014年成立之初即獲得朝陽區(qū)政府的‘鳳凰計劃’初創(chuàng)企業(yè)資助,去年獲得北京科技型中小企業(yè)促進專項(創(chuàng)新類)獎金,今年入選北京中關(guān)村前沿企業(yè),獲得中關(guān)村管委會500萬元資助。”日志易創(chuàng)始人兼CEO陳軍告訴記者。

不僅僅如此。2014年日志易剛成立時,已經(jīng)獲得真格基金等天使投資人1400萬天使輪融資,2015年12月,獲得紅杉資本A輪6000萬融資。2016年,預計公司營業(yè)收入將超過千萬元。

資料顯示,日志易的海量日志搜索分析產(chǎn)品,能對日志進行集中采集和實時索引,提供實時搜索、分析、可視化和監(jiān)控告警等功能,幫助企業(yè)用戶在統(tǒng)一平臺實時管理日志數(shù)據(jù),進行線上業(yè)務實時監(jiān)控、異常原因定位、數(shù)據(jù)統(tǒng)計分析及安全與合規(guī)審計。

看起來,這同樣是一家技術(shù)立足的創(chuàng)業(yè)公司。而從其融資、業(yè)務收入初步判斷,這也是一個走在健康發(fā)展軌道上的初創(chuàng)企業(yè)。

3日志易創(chuàng)始人兼CEO陳軍

日志,是IT運維的基礎(chǔ)。而無論是IT運維管理解決方案,或是日志管理解決方案,目前市場可以用百花齊放來形容。作為后來者,日志易為什么能立足?又憑什么能脫穎而出?

大數(shù)據(jù)改變IT運維,ITOM發(fā)展到ITOA

大數(shù)據(jù)改變了一切,IT運維也不能例外;日志易,就與日志大數(shù)據(jù)緊密相關(guān)。

所有CIO、CTO或IT Manager,恐怕沒有不知道IT運維管理(ITOM,IT Operations Management)。
這是一個古老、龐大的行業(yè)。從最基礎(chǔ)的IT維護,到目前的運維監(jiān)控、自動化、分析,運維工程師通過對運維數(shù)據(jù)、系統(tǒng)負載、安全等各方面的即時把控和處理,以保證企業(yè)業(yè)務與管理的正常進行。

但是,隨著大數(shù)據(jù)的出現(xiàn),近兩年,在ITOM之外,出現(xiàn)了一個新的行業(yè)——ITOA(IT Operation Analytics),這就是IT運維分析。

IT運維分析,就是把大數(shù)據(jù)的技術(shù)運用到IT運維產(chǎn)生的數(shù)據(jù)里進行分析。分析的作用,就是更好地進行運維監(jiān)控、安全審計、業(yè)務分析等。

ITOA把大數(shù)據(jù)應用到運維里,所以數(shù)據(jù)源就很關(guān)鍵。而數(shù)據(jù)源最主要的來源,就是日志與網(wǎng)絡抓取。可以說,日志,是ITOA最重要的數(shù)據(jù)源。

其實,在ITOM階段,日志管理同樣重要并且也很成熟。那么,為什么ITOA依然會出現(xiàn)并且發(fā)展迅猛?事實上,這與IT運維的精細化密切相關(guān)。

實時搜索引擎:日志3.0到來

我們知道,日志也叫機器數(shù)據(jù),因為他們都是網(wǎng)絡設(shè)備、服務器、操作系統(tǒng)、應用系統(tǒng)在操作或運行中產(chǎn)生的數(shù)據(jù),帶有時間戳。不同的設(shè)備、系統(tǒng),產(chǎn)生不同的日志文件,通過日志文件,可以查看、監(jiān)控設(shè)備、系統(tǒng)的運行狀況,是ITOM的基石。

不難想象日志管理在企業(yè)ITOM中的重要性。然而,在過去,日志管理面臨各種或大或小的問題,給ITOM帶來挑戰(zhàn)。這些問題可以總結(jié)為以下幾個方面:

首先是散,日志散落在不同的設(shè)備里,會被刪除和覆蓋;工程師需要登陸到不同的服務器,用命令或腳本查看;其次是亂,日志數(shù)據(jù)來源多樣、格式多樣,是完全的非結(jié)構(gòu)化、自由文本;第三是難,提取分析很困難,故障根源分析、不同系統(tǒng)之間的關(guān)聯(lián)分析都很困難;第四是慢,用批處理的方式來分析比較慢,實時性很差。

為了解決“散”的問題,十幾年前,業(yè)界開始用數(shù)據(jù)庫的方法來存儲日志。但是數(shù)據(jù)庫本質(zhì)上是處理結(jié)構(gòu)化數(shù)據(jù)的,其固定表格的方式,無法適應日志的任意格式和大數(shù)據(jù)量特點。即使這個過程通過程序進行自動化處理,依然不能改變數(shù)據(jù)庫管理的局限性。

“這是日志1.0的階段。目前市場中基于日志的審計產(chǎn)品都是基于數(shù)據(jù)庫的。這種數(shù)據(jù)庫的表格一般就是三列,第一列是主機名,第二列是時間戳,第三列就是日志本身。但實際上沒有對日志本身進行結(jié)構(gòu)化處理?!比罩疽證EO陳軍說。

8-10年前,隨著Hadoop的出現(xiàn)和發(fā)展,業(yè)界開始用Hadoop或NoSQL來處理日志,但Hadoop只是開發(fā)框架,需要研發(fā)團隊進行開發(fā),而且也是批處理,實時性差,更主要的是,不支持全文檢索。這是日志2.0階段。

近幾年,日志3.0已經(jīng)到來,其代表就是美國公司Splunk。Splunk的核心是“實時搜索引擎”,主要有三個特點:實時,海量,支持全文檢索。這個引擎與Google或百度的搜索引擎不一樣,后者的搜索引擎是批處理的,無法解決實時性問題,都有一定的滯后性。

通過實時搜索引擎,機器或系統(tǒng)日志出來幾秒鐘,就能搜索和分析,馬上看到相應的結(jié)果。

日志易所做的,就是“可編程的實時日志搜索分析引擎”,不單實時,而且還在搜索框?qū)崿F(xiàn)了腳本處理語言,叫做SPL(Search Processing Language)。

SPL,是日志易的核心技術(shù)?!叭罩疽讓嗣绹鳶plunk公司,因此我們的技術(shù)跟美國是平齊的,在國內(nèi)僅此一家?!标愜姳硎?。據(jù)悉,日志易于2014年10月推出第一代產(chǎn)品。

我們也許會問:陳軍為何會選擇日志這個細分行業(yè)切入?這是因為,從初入職場,陳軍即與日志結(jié)下不解之緣。

源于職業(yè)經(jīng)歷

1998年,陳軍從美國南加州大學畢業(yè),隨即加入思科公司做研發(fā),那時就開始接觸日志。當時的工作內(nèi)容與軟件有關(guān),但是軟件有BUG,怎么分析BUG,一籌莫展。后來,開始從日志里面分析BUG,但當時是通過編輯器,手工查看日志。

2006年,陳軍加入Google,工作內(nèi)容與數(shù)據(jù)中心、云計算、搜索有關(guān)。當時,陳軍與同事在Google做網(wǎng)頁搜索,每天要爬100多億個網(wǎng)頁,需要分析各種錯誤信息,這些全部記錄在日志里面。此時的日志文件很大,一個日志就是幾十GB的文件;一個功能輸出的日志就有幾百GB。

“這么大的日志,不可能用編輯器查看,更不用說打開一個幾十GB的文件,加載就要幾十分鐘。所以當時使用了Google的Map Reduce計算框架?!保ㄗⅲ篐adoop就是基于Map Reduce寫的開源軟件)

當時,陳軍在Google每天寫MapReduce程序。早上上班第一件事,就是從日志看昨天爬網(wǎng)頁的情況,為此,他們開發(fā)了一套系統(tǒng)來看報表。但是如果網(wǎng)頁爬蟲系統(tǒng)加了一些新的功能,又會出現(xiàn)新的錯誤信息,那么就要改Map Reduce程序,通過新的程序來處理新的特性、新的錯誤信息?!半m然MapReduce有一個很好的框架,可以很快地寫一個小程序,調(diào)試后運行,但真正看到結(jié)果已經(jīng)是下午,所以想最后看點東西需要幾個小時,周期依然太長?!?/p>

2009年,陳軍回國加入騰訊,在騰訊數(shù)據(jù)中心部門。當時騰訊有20多萬臺服務器,陳軍所在的團隊也是開發(fā)騰訊數(shù)據(jù)中心的運維監(jiān)控系統(tǒng)。2010年,陳軍接觸了Splunk,這是最早使用實時搜索引擎來處理日志的,“因此覺得很有特色”。

約3年后的2012年,陳軍離開騰訊加入高德,也是每天要看前一天高德地圖的用戶行為、統(tǒng)計數(shù)據(jù)。由于每天早上十點要出數(shù)據(jù),因此基本上通宵跑Hadoop程序進行統(tǒng)計分析。但有時候,比如碰到節(jié)假日,像國慶節(jié)、黃金周這種,出行的人多,用戶量一下子增加幾倍,那么就要到下午甚至是第二天才能看到結(jié)果。

“用Hadoop這些大數(shù)據(jù)框架,一個是慢,第二是不方便,要分析點新的東西,需要在代碼里添加功能,因此很不方便?!?/p>

怎么辦?

框計算中的另一個自主研發(fā)者

2009年,百度李彥宏說,“百度是個框計算公司,因為搜索框后面有很多計算”。其時,云計算剛剛興起,大數(shù)據(jù)開始萌芽。

在云計算、大數(shù)據(jù)的這一背景下,基于多年的日志管理與分析經(jīng)驗,創(chuàng)業(yè)的想法開始在陳軍腦中產(chǎn)生。2014年初,北京優(yōu)特捷信息技術(shù)有限公司成立,10月,日志易走向市場。

日志易的定位,就是框計算,是實時流式大數(shù)據(jù)處理架構(gòu)加上實時搜索。最開始,日志易基于Spark Streaming;經(jīng)過自主研發(fā),“可編程的實時日志搜索分析引擎(SPL)”誕生了,基于SPL已經(jīng)實現(xiàn)更快的檢索速度。

陳軍介紹,日志易的日志分析解決方案具有以下幾個特點:

一個是實時分析,速度快,日志從產(chǎn)生到搜索到分析到出結(jié)果,只有幾秒鐘的延遲。比如在樂視,每秒鐘處理100萬條日志,相當于每天20TB,檢索1000億條日志只需要60秒;

第二個特點是海量,每天可以處理TB級的海量日志;

第三個是易用,SPL是給IT工程師使用的搜索引擎腳本語言,可以搜索、分析任何格式的日志文件。

“我們是全產(chǎn)業(yè)鏈的,包含日志的采集、解析、索引、搜索、分析、告警,價值就在運維監(jiān)控、業(yè)務分析、用戶數(shù)據(jù)分析、安全合規(guī)審計等方面?!标愜娬f。

從2014年10月推出產(chǎn)品到今天,日志易客戶已分布在金融、能源、運營商、互聯(lián)網(wǎng)、制造等行業(yè),金融客戶包括中國銀行、華夏銀行、新疆農(nóng)信、鵬華基金、某綜合金融集團、某大型股份制銀行,以及第三方支付公司;能源行業(yè)客戶有國家電網(wǎng)、中石油、中石化;運營商客戶有中國移動;互聯(lián)網(wǎng)客戶有小米、樂視、網(wǎng)宿等;制造業(yè)客戶有上汽通用、格力電器、中車等。其SaaS版本在阿里云、騰訊云、金山云、AWS、Azure等多個公有云中積累了幾千個客戶。

IT運營走向精細化提升ITOA的需求

可以看到,基于云計算和大數(shù)據(jù),ITOA應運而生,其特點,是通過日志大數(shù)據(jù)的實時挖掘分析展現(xiàn)結(jié)果,這彌補了ITOM在監(jiān)控層面的滯后性。這對于那些以IT支撐作為核心競爭力之一的企業(yè)來說,意義重大。

2015年,國內(nèi)某綜合金融集團使用日志易搭建了集團內(nèi)部的日志云,進行實時日志搜索分析。

此前,他們的日志散落在不同的生產(chǎn)服務器上。當出現(xiàn)問題時,工程師需要登錄服務器,通過腳本命令查看日志,不僅非常慢,而且?guī)砗艽蟮墓芾盹L險,因為登陸生產(chǎn)服務器查看日志等操作,一不小心就會誤操作,產(chǎn)生新的故障,而且從ITIL的角度,生產(chǎn)服務器本身就不應該隨便登陸的,涉及到非常嚴格的管理流程,比如變更管理。

建起日志云之后,該集團禁止工程師登陸生產(chǎn)服務器查看日志,數(shù)百個業(yè)務系統(tǒng)的日志,全部接到日志云,通過日志云進行集中管理和查看、統(tǒng)計分析、故障排查。

這只是ITOM精細化管理與運營的一個案例。當前,眾多大中型企業(yè)已從粗放型管理進入到精益管理階段,這勢必對IT運營的精細化程度提出更高的要求。當這些企業(yè)具備ITOM的管理基礎(chǔ),具備大數(shù)據(jù)應用的基礎(chǔ),ITOA的需求將隨之而來。

根據(jù)Gartner報告,2014年,只有5%的大企業(yè)在積極使用ITOA的技術(shù),而到2017年,這一比例將會上升到15%。這既說明ITOA發(fā)展很快,也表明應用處于早期,想象空間很大。在國內(nèi),已經(jīng)有不同背景的初創(chuàng)企業(yè)涉足ITOA領(lǐng)域。

近兩年,隨著機器學習、人工智能的出現(xiàn),這兩項技術(shù)不可避免地進入到運維領(lǐng)域,基于此,2016年,Gartner提出一個新的概念叫做AIOps(Algorithmic IT Operations,智能運維)。

技術(shù)發(fā)展沒有止境。據(jù)介紹日志易正在開發(fā)一個新的實時搜索引擎,每秒鐘能處理1000萬條日志,比當前的產(chǎn)品提升了10倍,每天可以處理200TB的數(shù)據(jù)量。

對標Splunk不冒進

作為日志易的對標公司,Splunk目前的市值約80億美元,是華爾街的寵兒,財富500的公司,90%都是Splunk的客戶。但是,日志易能否在未來數(shù)年快速成長為中國的獨角獸,恐怕不僅僅是技術(shù)能夠解決的。

更需要思考的是,Splunk已經(jīng)過了日志這個階段。雖然實際上還是做日志,但從跟蹤的資料看,Splunk已經(jīng)進入到新的發(fā)展階段,這就是物聯(lián)網(wǎng)數(shù)據(jù)。

2014年初,谷歌以32億美元收購智能恒溫器的公司Nest Labs,進入智能家居行業(yè)。Nest Labs后臺智能恒溫器的數(shù)據(jù)是帶時間戳的,也是一種日志,就是用Splunk的產(chǎn)品來處理的。不僅如此,Splunk處理的數(shù)據(jù)還包括F35戰(zhàn)斗機、福特無人駕駛汽車,后者一秒鐘就產(chǎn)生1GB的日志,一天就是10TB。此外,Splunk還處理韓國浦項鋼鐵煉鋼爐的數(shù)據(jù)、日本三井物業(yè)的電梯數(shù)據(jù)。

這說明什么?說明Splunk已經(jīng)不講日志了,而是講物聯(lián)網(wǎng)的機器數(shù)據(jù)。

“物聯(lián)網(wǎng)在美國的發(fā)展,比國內(nèi)更快、更普及。但是,目前國內(nèi)物聯(lián)網(wǎng)本身的發(fā)展面臨很大的挑戰(zhàn),比如帶寬等基礎(chǔ)架構(gòu),還不支持物理網(wǎng)數(shù)據(jù)的采集與傳輸。”,

因此,日志易對標Splunk,將來勢必進入物聯(lián)網(wǎng)數(shù)據(jù)領(lǐng)域。然而,這需要時間。

“日志易從日志切入,處理各種機器大數(shù)據(jù),這將是我們一個長期的方向。未來,我們也會進入物聯(lián)網(wǎng)領(lǐng)域,處理物聯(lián)網(wǎng)產(chǎn)生的各種數(shù)據(jù)?!标愜娙缡潜硎尽?/p>

 

 

分享到

zhoub

相關(guān)推薦