這是10月12日-18日在北京舉行的的“2016國家大眾創(chuàng)業(yè)萬眾創(chuàng)新活動周(簡稱‘國家雙創(chuàng)周’)暨中關村創(chuàng)新創(chuàng)業(yè)季”推出的“最具創(chuàng)新潛力創(chuàng)業(yè)企業(yè)榜單”入選企業(yè)展示活動。
這不是日志易的公司形象首次在中關村創(chuàng)業(yè)大街出現(xiàn)。半年前,中關村創(chuàng)業(yè)大街南街口的大屏,同樣展示過日志易及創(chuàng)始人陳軍,彼時的主題,是“騰訊系創(chuàng)業(yè)風云榜”。2009年-2012年,日志易創(chuàng)始人陳軍在騰訊負責數(shù)據(jù)中心網絡平臺部,并同時在搜搜任職。
“我們已經申請了12項日志處理方面的技術發(fā)明專利,6項軟件著作權登記。日志易在2014年成立之初即獲得朝陽區(qū)政府的‘鳳凰計劃’初創(chuàng)企業(yè)資助,去年獲得北京科技型中小企業(yè)促進專項(創(chuàng)新類)獎金,今年入選北京中關村前沿企業(yè),獲得中關村管委會500萬元資助?!?em>日志易創(chuàng)始人兼CEO陳軍告訴記者。
不僅僅如此。2014年日志易剛成立時,已經獲得真格基金等天使投資人1400萬天使輪融資,2015年12月,獲得紅杉資本A輪6000萬融資。2016年,預計公司營業(yè)收入將超過千萬元。
資料顯示,日志易的海量日志搜索分析產品,能對日志進行集中采集和實時索引,提供實時搜索、分析、可視化和監(jiān)控告警等功能,幫助企業(yè)用戶在統(tǒng)一平臺實時管理日志數(shù)據(jù),進行線上業(yè)務實時監(jiān)控、異常原因定位、數(shù)據(jù)統(tǒng)計分析及安全與合規(guī)審計。
看起來,這同樣是一家技術立足的創(chuàng)業(yè)公司。而從其融資、業(yè)務收入初步判斷,這也是一個走在健康發(fā)展軌道上的初創(chuàng)企業(yè)。
日志,是IT運維的基礎。而無論是IT運維管理解決方案,或是日志管理解決方案,目前市場可以用百花齊放來形容。作為后來者,日志易為什么能立足?又憑什么能脫穎而出?
大數(shù)據(jù)改變IT運維,ITOM發(fā)展到ITOA
大數(shù)據(jù)改變了一切,IT運維也不能例外;日志易,就與日志大數(shù)據(jù)緊密相關。
所有CIO、CTO或IT Manager,恐怕沒有不知道IT運維管理(ITOM,IT Operations Management)。
這是一個古老、龐大的行業(yè)。從最基礎的IT維護,到目前的運維監(jiān)控、自動化、分析,運維工程師通過對運維數(shù)據(jù)、系統(tǒng)負載、安全等各方面的即時把控和處理,以保證企業(yè)業(yè)務與管理的正常進行。
但是,隨著大數(shù)據(jù)的出現(xiàn),近兩年,在ITOM之外,出現(xiàn)了一個新的行業(yè)——ITOA(IT Operation Analytics),這就是IT運維分析。
IT運維分析,就是把大數(shù)據(jù)的技術運用到IT運維產生的數(shù)據(jù)里進行分析。分析的作用,就是更好地進行運維監(jiān)控、安全審計、業(yè)務分析等。
ITOA把大數(shù)據(jù)應用到運維里,所以數(shù)據(jù)源就很關鍵。而數(shù)據(jù)源最主要的來源,就是日志與網絡抓取??梢哉f,日志,是ITOA最重要的數(shù)據(jù)源。
其實,在ITOM階段,日志管理同樣重要并且也很成熟。那么,為什么ITOA依然會出現(xiàn)并且發(fā)展迅猛?事實上,這與IT運維的精細化密切相關。
實時搜索引擎:日志3.0到來
我們知道,日志也叫機器數(shù)據(jù),因為他們都是網絡設備、服務器、操作系統(tǒng)、應用系統(tǒng)在操作或運行中產生的數(shù)據(jù),帶有時間戳。不同的設備、系統(tǒng),產生不同的日志文件,通過日志文件,可以查看、監(jiān)控設備、系統(tǒng)的運行狀況,是ITOM的基石。
不難想象日志管理在企業(yè)ITOM中的重要性。然而,在過去,日志管理面臨各種或大或小的問題,給ITOM帶來挑戰(zhàn)。這些問題可以總結為以下幾個方面:
首先是散,日志散落在不同的設備里,會被刪除和覆蓋;工程師需要登陸到不同的服務器,用命令或腳本查看;其次是亂,日志數(shù)據(jù)來源多樣、格式多樣,是完全的非結構化、自由文本;第三是難,提取分析很困難,故障根源分析、不同系統(tǒng)之間的關聯(lián)分析都很困難;第四是慢,用批處理的方式來分析比較慢,實時性很差。
為了解決“散”的問題,十幾年前,業(yè)界開始用數(shù)據(jù)庫的方法來存儲日志。但是數(shù)據(jù)庫本質上是處理結構化數(shù)據(jù)的,其固定表格的方式,無法適應日志的任意格式和大數(shù)據(jù)量特點。即使這個過程通過程序進行自動化處理,依然不能改變數(shù)據(jù)庫管理的局限性。
“這是日志1.0的階段。目前市場中基于日志的審計產品都是基于數(shù)據(jù)庫的。這種數(shù)據(jù)庫的表格一般就是三列,第一列是主機名,第二列是時間戳,第三列就是日志本身。但實際上沒有對日志本身進行結構化處理?!比罩疽證EO陳軍說。
8-10年前,隨著Hadoop的出現(xiàn)和發(fā)展,業(yè)界開始用Hadoop或NoSQL來處理日志,但Hadoop只是開發(fā)框架,需要研發(fā)團隊進行開發(fā),而且也是批處理,實時性差,更主要的是,不支持全文檢索。這是日志2.0階段。
近幾年,日志3.0已經到來,其代表就是美國公司Splunk。Splunk的核心是“實時搜索引擎”,主要有三個特點:實時,海量,支持全文檢索。這個引擎與Google或百度的搜索引擎不一樣,后者的搜索引擎是批處理的,無法解決實時性問題,都有一定的滯后性。
通過實時搜索引擎,機器或系統(tǒng)日志出來幾秒鐘,就能搜索和分析,馬上看到相應的結果。
日志易所做的,就是“可編程的實時日志搜索分析引擎”,不單實時,而且還在搜索框實現(xiàn)了腳本處理語言,叫做SPL(Search Processing Language)。
SPL,是日志易的核心技術?!叭罩疽讓嗣绹鳶plunk公司,因此我們的技術跟美國是平齊的,在國內僅此一家。”陳軍表示。據(jù)悉,日志易于2014年10月推出第一代產品。
我們也許會問:陳軍為何會選擇日志這個細分行業(yè)切入?這是因為,從初入職場,陳軍即與日志結下不解之緣。
源于職業(yè)經歷
1998年,陳軍從美國南加州大學畢業(yè),隨即加入思科公司做研發(fā),那時就開始接觸日志。當時的工作內容與軟件有關,但是軟件有BUG,怎么分析BUG,一籌莫展。后來,開始從日志里面分析BUG,但當時是通過編輯器,手工查看日志。
2006年,陳軍加入Google,工作內容與數(shù)據(jù)中心、云計算、搜索有關。當時,陳軍與同事在Google做網頁搜索,每天要爬100多億個網頁,需要分析各種錯誤信息,這些全部記錄在日志里面。此時的日志文件很大,一個日志就是幾十GB的文件;一個功能輸出的日志就有幾百GB。
“這么大的日志,不可能用編輯器查看,更不用說打開一個幾十GB的文件,加載就要幾十分鐘。所以當時使用了Google的Map Reduce計算框架?!保ㄗⅲ篐adoop就是基于Map Reduce寫的開源軟件)
當時,陳軍在Google每天寫MapReduce程序。早上上班第一件事,就是從日志看昨天爬網頁的情況,為此,他們開發(fā)了一套系統(tǒng)來看報表。但是如果網頁爬蟲系統(tǒng)加了一些新的功能,又會出現(xiàn)新的錯誤信息,那么就要改Map Reduce程序,通過新的程序來處理新的特性、新的錯誤信息?!半m然MapReduce有一個很好的框架,可以很快地寫一個小程序,調試后運行,但真正看到結果已經是下午,所以想最后看點東西需要幾個小時,周期依然太長?!?/p>
2009年,陳軍回國加入騰訊,在騰訊數(shù)據(jù)中心部門。當時騰訊有20多萬臺服務器,陳軍所在的團隊也是開發(fā)騰訊數(shù)據(jù)中心的運維監(jiān)控系統(tǒng)。2010年,陳軍接觸了Splunk,這是最早使用實時搜索引擎來處理日志的,“因此覺得很有特色”。
約3年后的2012年,陳軍離開騰訊加入高德,也是每天要看前一天高德地圖的用戶行為、統(tǒng)計數(shù)據(jù)。由于每天早上十點要出數(shù)據(jù),因此基本上通宵跑Hadoop程序進行統(tǒng)計分析。但有時候,比如碰到節(jié)假日,像國慶節(jié)、黃金周這種,出行的人多,用戶量一下子增加幾倍,那么就要到下午甚至是第二天才能看到結果。
“用Hadoop這些大數(shù)據(jù)框架,一個是慢,第二是不方便,要分析點新的東西,需要在代碼里添加功能,因此很不方便?!?/p>
怎么辦?
框計算中的另一個自主研發(fā)者
2009年,百度李彥宏說,“百度是個框計算公司,因為搜索框后面有很多計算”。其時,云計算剛剛興起,大數(shù)據(jù)開始萌芽。
在云計算、大數(shù)據(jù)的這一背景下,基于多年的日志管理與分析經驗,創(chuàng)業(yè)的想法開始在陳軍腦中產生。2014年初,北京優(yōu)特捷信息技術有限公司成立,10月,日志易走向市場。
日志易的定位,就是框計算,是實時流式大數(shù)據(jù)處理架構加上實時搜索。最開始,日志易基于Spark Streaming;經過自主研發(fā),“可編程的實時日志搜索分析引擎(SPL)”誕生了,基于SPL已經實現(xiàn)更快的檢索速度。
陳軍介紹,日志易的日志分析解決方案具有以下幾個特點:
一個是實時分析,速度快,日志從產生到搜索到分析到出結果,只有幾秒鐘的延遲。比如在樂視,每秒鐘處理100萬條日志,相當于每天20TB,檢索1000億條日志只需要60秒;
第二個特點是海量,每天可以處理TB級的海量日志;
第三個是易用,SPL是給IT工程師使用的搜索引擎腳本語言,可以搜索、分析任何格式的日志文件。
“我們是全產業(yè)鏈的,包含日志的采集、解析、索引、搜索、分析、告警,價值就在運維監(jiān)控、業(yè)務分析、用戶數(shù)據(jù)分析、安全合規(guī)審計等方面?!标愜娬f。
從2014年10月推出產品到今天,日志易客戶已分布在金融、能源、運營商、互聯(lián)網、制造等行業(yè),金融客戶包括中國銀行、華夏銀行、新疆農信、鵬華基金、某綜合金融集團、某大型股份制銀行,以及第三方支付公司;能源行業(yè)客戶有國家電網、中石油、中石化;運營商客戶有中國移動;互聯(lián)網客戶有小米、樂視、網宿等;制造業(yè)客戶有上汽通用、格力電器、中車等。其SaaS版本在阿里云、騰訊云、金山云、AWS、Azure等多個公有云中積累了幾千個客戶。
IT運營走向精細化提升ITOA的需求
可以看到,基于云計算和大數(shù)據(jù),ITOA應運而生,其特點,是通過日志大數(shù)據(jù)的實時挖掘分析展現(xiàn)結果,這彌補了ITOM在監(jiān)控層面的滯后性。這對于那些以IT支撐作為核心競爭力之一的企業(yè)來說,意義重大。
2015年,國內某綜合金融集團使用日志易搭建了集團內部的日志云,進行實時日志搜索分析。
此前,他們的日志散落在不同的生產服務器上。當出現(xiàn)問題時,工程師需要登錄服務器,通過腳本命令查看日志,不僅非常慢,而且?guī)砗艽蟮墓芾盹L險,因為登陸生產服務器查看日志等操作,一不小心就會誤操作,產生新的故障,而且從ITIL的角度,生產服務器本身就不應該隨便登陸的,涉及到非常嚴格的管理流程,比如變更管理。
建起日志云之后,該集團禁止工程師登陸生產服務器查看日志,數(shù)百個業(yè)務系統(tǒng)的日志,全部接到日志云,通過日志云進行集中管理和查看、統(tǒng)計分析、故障排查。
這只是ITOM精細化管理與運營的一個案例。當前,眾多大中型企業(yè)已從粗放型管理進入到精益管理階段,這勢必對IT運營的精細化程度提出更高的要求。當這些企業(yè)具備ITOM的管理基礎,具備大數(shù)據(jù)應用的基礎,ITOA的需求將隨之而來。
根據(jù)Gartner報告,2014年,只有5%的大企業(yè)在積極使用ITOA的技術,而到2017年,這一比例將會上升到15%。這既說明ITOA發(fā)展很快,也表明應用處于早期,想象空間很大。在國內,已經有不同背景的初創(chuàng)企業(yè)涉足ITOA領域。
近兩年,隨著機器學習、人工智能的出現(xiàn),這兩項技術不可避免地進入到運維領域,基于此,2016年,Gartner提出一個新的概念叫做AIOps(Algorithmic IT Operations,智能運維)。
技術發(fā)展沒有止境。據(jù)介紹日志易正在開發(fā)一個新的實時搜索引擎,每秒鐘能處理1000萬條日志,比當前的產品提升了10倍,每天可以處理200TB的數(shù)據(jù)量。
對標Splunk不冒進
作為日志易的對標公司,Splunk目前的市值約80億美元,是華爾街的寵兒,財富500的公司,90%都是Splunk的客戶。但是,日志易能否在未來數(shù)年快速成長為中國的獨角獸,恐怕不僅僅是技術能夠解決的。
更需要思考的是,Splunk已經過了日志這個階段。雖然實際上還是做日志,但從跟蹤的資料看,Splunk已經進入到新的發(fā)展階段,這就是物聯(lián)網數(shù)據(jù)。
2014年初,谷歌以32億美元收購智能恒溫器的公司Nest Labs,進入智能家居行業(yè)。Nest Labs后臺智能恒溫器的數(shù)據(jù)是帶時間戳的,也是一種日志,就是用Splunk的產品來處理的。不僅如此,Splunk處理的數(shù)據(jù)還包括F35戰(zhàn)斗機、福特無人駕駛汽車,后者一秒鐘就產生1GB的日志,一天就是10TB。此外,Splunk還處理韓國浦項鋼鐵煉鋼爐的數(shù)據(jù)、日本三井物業(yè)的電梯數(shù)據(jù)。
這說明什么?說明Splunk已經不講日志了,而是講物聯(lián)網的機器數(shù)據(jù)。
“物聯(lián)網在美國的發(fā)展,比國內更快、更普及。但是,目前國內物聯(lián)網本身的發(fā)展面臨很大的挑戰(zhàn),比如帶寬等基礎架構,還不支持物理網數(shù)據(jù)的采集與傳輸?!?,
因此,日志易對標Splunk,將來勢必進入物聯(lián)網數(shù)據(jù)領域。然而,這需要時間。
“日志易從日志切入,處理各種機器大數(shù)據(jù),這將是我們一個長期的方向。未來,我們也會進入物聯(lián)網領域,處理物聯(lián)網產生的各種數(shù)據(jù)?!标愜娙缡潜硎?。