現(xiàn)在新技術(shù)發(fā)展的特別快，各種語言、技術(shù)、理念讓大家確實(shí)感到自顧不暇跟不上趟，但是有一點(diǎn)，在這里我要特別重申一下，AI在目前這個(gè)階段還是一種輔助大家來進(jìn)行判斷和學(xué)習(xí)、定位處理問題的工具，就像無人駕駛，現(xiàn)在可以做到完全沒有人駕駛嗎？肯定不行，未來無人駕駛是完全可以替代人的，但它還有很長一段路要走。AI運(yùn)維就像無人駕駛一樣，未來前景很光明，但任重道遠(yuǎn)。

大部分的智能運(yùn)維還沒有完全落地，我所在的企業(yè)也是處在一個(gè)探索的階段。在一個(gè)傳統(tǒng)的企業(yè)它的運(yùn)維該如何走？從以前的腳本到工具、自動(dòng)化，再到現(xiàn)在的智能運(yùn)維，中間這個(gè)步驟該怎么走？今天就從下面五個(gè)方面給大家分享下：

一、構(gòu)建一個(gè)全面科學(xué)的IT運(yùn)維管理體系

• 第一個(gè)IT部門的整體認(rèn)可不足。雖然說IT在任何單位現(xiàn)在都是一個(gè)比較重要的部門，但是還有很多領(lǐng)導(dǎo)仍然認(rèn)為它是一個(gè)成本中心，不是一個(gè)利潤中心，認(rèn)為這個(gè)部門是花錢的，而不是像業(yè)務(wù)部門創(chuàng)造業(yè)務(wù)價(jià)值和創(chuàng)造利潤的。

• 第二個(gè)對于運(yùn)維工作人員負(fù)荷比較大，工作模式不被員工認(rèn)可。在沒有自動(dòng)化運(yùn)維和平臺之前，整個(gè)運(yùn)維團(tuán)隊(duì)只有八個(gè)人，如果每個(gè)人一天處理六到十個(gè)故障，基本上沒有時(shí)間去研究別的東西了。傳統(tǒng)運(yùn)維壓力很大，疲于奔命和救火，必須要尋求改變，走向自動(dòng)化、平臺化、智能化。

• 第三運(yùn)行的態(tài)勢相關(guān)信息掌握不足。監(jiān)控是多維度的，不同的業(yè)務(wù)會(huì)有不同的指標(biāo)，所有加起來有上萬個(gè)指標(biāo)，但卻沒有整體態(tài)勢變化圖、很難成體系，不能實(shí)現(xiàn)智能感知和態(tài)勢預(yù)測，整個(gè)運(yùn)維態(tài)勢就很難保持平穩(wěn)。

• 第四依據(jù)業(yè)務(wù)需求調(diào)整服務(wù)和設(shè)置資源的能力不足。在業(yè)務(wù)故障處理的時(shí)候需要很長的過程，中間涉及到很多的相關(guān)技術(shù)部門，需要和業(yè)務(wù)方進(jìn)行交互，僅靠較少的人力幾乎做不到。

我們希望在現(xiàn)有的業(yè)務(wù)體系里面，運(yùn)維部門要實(shí)現(xiàn)這樣的運(yùn)維目標(biāo)？

• 第一個(gè)全面的性能管理。能夠提供對現(xiàn)在所有的設(shè)備和服務(wù)質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)測，并且提供動(dòng)態(tài)閾值的告警。

• 第二個(gè)統(tǒng)一的資源管理。很多企業(yè)業(yè)務(wù)都上云了，需要有統(tǒng)一的監(jiān)控平臺，可以把所有業(yè)務(wù)相應(yīng)資源視圖抓取出來，便于我們對整體資源有一個(gè)合理的預(yù)估和分配，并從整體角度評估各個(gè)業(yè)務(wù)部門對資源的使用情況。

• 第三個(gè)及時(shí)的故障告警管理。我們發(fā)現(xiàn)有很多產(chǎn)品還不能做到完全及時(shí)的告警，告警發(fā)生后總是延時(shí)才能知曉，需要實(shí)時(shí)的準(zhǔn)確的告警，減少延遲和誤報(bào)。

• 第四集中統(tǒng)一展現(xiàn)管理。把很多不同的監(jiān)控子系統(tǒng)集成起來，這個(gè)在現(xiàn)在的企業(yè)里面需求是很大的，借助于各種工具，采集數(shù)據(jù)之后自動(dòng)合成一個(gè)報(bào)表統(tǒng)一展現(xiàn)出來，方便管理。

我們關(guān)注的核心問題有：

• 第一我們是一個(gè)跨地域的平臺，是多數(shù)據(jù)中心，我們希望有一個(gè)IT的綜合運(yùn)維平臺，來統(tǒng)一管理。

• 第二是深入監(jiān)控并進(jìn)行集中統(tǒng)一的可視化管理，提高效率。

• 第三就是有效的預(yù)防問題的產(chǎn)生，降低運(yùn)維成本。另外就是問題出現(xiàn)后，能夠快速跟蹤定位，降低人力成本。

• 第四多維的報(bào)表為決策提供有力支撐，科學(xué)預(yù)判趨勢。

• 第五全局業(yè)務(wù)服務(wù)視角和平臺化擴(kuò)展以及大數(shù)據(jù)分析的融合，滿足企業(yè)對于業(yè)務(wù)高效和快速迭代的需求。

• 第六保護(hù)和優(yōu)化IT資產(chǎn)。以前各個(gè)業(yè)務(wù)都是自己的一套系統(tǒng)，有自己的開發(fā)和運(yùn)維人員以及監(jiān)控系統(tǒng)，這對企業(yè)來說是重復(fù)造輪子了?，F(xiàn)在上云后，把原有的系統(tǒng)集中整合到云上，通過統(tǒng)一的監(jiān)控和資源管理最好的保護(hù)和優(yōu)化資產(chǎn)。

要做好智能化運(yùn)維之前，我們經(jīng)過深入的分析，提了四個(gè)要求：

• 第一個(gè)是規(guī)范化。規(guī)范化就是盡可能的把操作規(guī)范下來，比如模板里是什么基礎(chǔ)配置和安全基線，有一個(gè)規(guī)范化的標(biāo)準(zhǔn)。

• 第二個(gè)是可控性。就是能夠通過云監(jiān)控平臺發(fā)現(xiàn)各個(gè)業(yè)務(wù)存在的瓶頸，包括資源瓶頸和性能瓶頸，對可能產(chǎn)生的問題可控可分析。

• 第三個(gè)是數(shù)據(jù)化?；诤Ａ繑?shù)據(jù)的決策分析，才能方便作出準(zhǔn)確的判斷和科學(xué)決策。

• 第四個(gè)是主動(dòng)性。從被動(dòng)響應(yīng)變?yōu)橹鲃?dòng)服務(wù)，主動(dòng)發(fā)現(xiàn)問題，把問題消滅在萌芽中，在業(yè)務(wù)發(fā)生問題之前及時(shí)告知，這個(gè)感覺就不一樣了。

我們希望構(gòu)建現(xiàn)代化和智能的運(yùn)維管理模式，主要是以下5個(gè)方面，如下圖：

二、全景業(yè)務(wù)服務(wù)管理

在互聯(lián)網(wǎng)大爆炸時(shí)代，國家層面上也在提互聯(lián)網(wǎng)+、數(shù)字化轉(zhuǎn)型、智能化等等。我們的系統(tǒng)能不能快速響應(yīng)，為業(yè)務(wù)保駕護(hù)航？

面向業(yè)務(wù)的IT服務(wù)管理主要有這幾個(gè)特點(diǎn)：

• 1、監(jiān)控的粒度要細(xì)，能通過一個(gè)曲線捕捉到異常點(diǎn)。

• 2、面向業(yè)務(wù)管理和面向用戶管理。這塊要區(qū)分開來，在企業(yè)里用戶權(quán)限分的是比較細(xì)的，什么人可以操作什么樣的業(yè)務(wù)，管理員可以管理哪幾類業(yè)務(wù)都有清晰的定位。

• 3、數(shù)據(jù)的全面和擴(kuò)充性。數(shù)據(jù)只有全面才能進(jìn)行科學(xué)的決策，很多時(shí)候如果看到的日志不全，或者拿到的監(jiān)控?cái)?shù)據(jù)不準(zhǔn)，在做決策的時(shí)候肯定就會(huì)比較貿(mào)然。比如數(shù)據(jù)中心某業(yè)務(wù)鏈路出現(xiàn)問題，是不是要切換？數(shù)據(jù)是不是還能保持一致？這個(gè)時(shí)候在沒有確定的數(shù)據(jù)來支撐你決策之前，你做決策時(shí)都會(huì)感到比較忐忑，猶豫不前。

建立以業(yè)務(wù)為導(dǎo)向的綜合監(jiān)控平臺，主要目的就是要統(tǒng)一展現(xiàn)、統(tǒng)一管理和統(tǒng)一調(diào)度。全鏈路監(jiān)測，這個(gè)目的就是從訪問入口進(jìn)來后一直到數(shù)據(jù)出去，每一個(gè)過程都要能監(jiān)控到感知到。

從業(yè)務(wù)的視角進(jìn)行IT基礎(chǔ)資源的管理與維護(hù)，一旦某個(gè)資源發(fā)生故障或問題，都可以從業(yè)務(wù)視圖中直觀地了解到這個(gè)資源的故障將影響什么業(yè)務(wù)影響哪些服務(wù)，進(jìn)而了解到影響哪些用戶。

數(shù)據(jù)庫慢了，CPU突然飆升了，這些地方這些資源突然發(fā)生變化了之后，影響到哪些業(yè)務(wù)呢？這時(shí)候就需要將監(jiān)控資源視圖和業(yè)務(wù)關(guān)聯(lián)起來，這樣才能準(zhǔn)確定位影響了哪些業(yè)務(wù)。

這個(gè)是問題的整體診斷和分析。

任何問題都需要采集相關(guān)的日志和數(shù)據(jù)，才能科學(xué)全面的分析問題。

采集層需要把不同數(shù)據(jù)源的數(shù)據(jù)采集過來，中間層做一些性能分析，配置管理和預(yù)警分析、告警處理。展示層將分析的結(jié)果展示出來，也就是各種圖表，建立綜合的業(yè)務(wù)指標(biāo)分析，方便根因定位和解決問題。

三、基于大數(shù)據(jù)平臺的日志分析和多維報(bào)表

基于大數(shù)據(jù)平臺，提供日志的采集和聚合處理，通過日志關(guān)聯(lián)分析幫助準(zhǔn)確全面定位提升效能和滿意度，智能預(yù)測和預(yù)警，為科學(xué)決策提供量化依據(jù)。

將采集到的網(wǎng)絡(luò)監(jiān)控?cái)?shù)據(jù)、機(jī)房數(shù)據(jù)、服務(wù)器和云環(huán)境監(jiān)控?cái)?shù)據(jù)以及攝像頭報(bào)警數(shù)據(jù)集中起來，數(shù)據(jù)匯集之后生成PMDB性能管理庫，在根據(jù)業(yè)務(wù)應(yīng)用的特征，建立不同的模型進(jìn)行相應(yīng)的算法分析。

根據(jù)不同的資源類來定義KPI指標(biāo)，建模目的就是方便快速分析，為資源管理、告警管理、集中化展現(xiàn)等其他模塊提供數(shù)據(jù)分析模型的支撐。

數(shù)據(jù)采集有兩種類型，一種是被動(dòng)的，一種是主動(dòng)的。

采集業(yè)務(wù)相關(guān)指標(biāo)，可以對數(shù)據(jù)進(jìn)行預(yù)處理，做一些有效性的標(biāo)簽識別，比如這個(gè)信息和指標(biāo)是不是你關(guān)注的，對不友好的日志進(jìn)行格式化處理。

性能指標(biāo)的計(jì)算，要跟業(yè)務(wù)進(jìn)行協(xié)同，從業(yè)務(wù)的角度來定義。設(shè)置的閾值，有些場景是固定的，也有的場景是動(dòng)態(tài)的。固定閾值就相當(dāng)于資源使用率，肯定有一個(gè)上限的。動(dòng)態(tài)閾值像一些性能曲線，CPU的利用率、頁面響應(yīng)、圖片加載等這些是可以使用動(dòng)態(tài)閾值的，根據(jù)歷史數(shù)據(jù)來計(jì)算出這個(gè)動(dòng)態(tài)閾值，某一時(shí)刻的歷史峰值，根據(jù)這些合理計(jì)算出在那個(gè)時(shí)刻到底需要多少資源。

根據(jù)上面的閾值會(huì)有一個(gè)報(bào)警的事件，任何事件產(chǎn)生都是基于時(shí)間的，故障的定位肯定也要基于時(shí)間找到相關(guān)的日志和發(fā)生的事件。

事件診斷一直是運(yùn)維領(lǐng)域一個(gè)很重要的工作，事件和時(shí)序的相關(guān)性不僅可以為事件診斷提供很好的啟發(fā)，而且在幫助我們進(jìn)行根因分析時(shí)也能提供很好的線索。某個(gè)時(shí)間段出現(xiàn)的故障，都會(huì)產(chǎn)生一些相關(guān)的事件，對它們進(jìn)行篩選和過濾是能夠詳細(xì)捕捉到故障和定位到根因的。

在事件診斷和處理中，是不是需要引入算法，我覺得是有必要的，如果能提高效率和提高解決問題的能力，一切探索都是值得的。

也有一些運(yùn)維界的朋友們花了很多時(shí)間和精力，去學(xué)習(xí)和研究算法，我認(rèn)為不必過于糾結(jié)算法， 簡單了解一下開源的這些算法，知道這些算法的輸入和輸出是什么，能解決運(yùn)維中哪些實(shí)際問題，以及組合起來又能解決什么問題，方便我們合理的應(yīng)用它就可以了，這樣會(huì)對更快落地智能運(yùn)維起到事半功倍的效果。

數(shù)據(jù)的匯聚處理就是把采集到的數(shù)據(jù)有機(jī)的關(guān)聯(lián)起來，壓縮、過濾形成標(biāo)準(zhǔn)化的信息。數(shù)據(jù)導(dǎo)入則可以通過全量的HDFS和增量的Kafka來實(shí)現(xiàn)。

基于大數(shù)據(jù)平臺的多維報(bào)表，根據(jù)自己的需要，按照日、周、月來生成運(yùn)維報(bào)告，發(fā)送給管理層的領(lǐng)導(dǎo)，這些數(shù)據(jù)是他們比較關(guān)心的，比較清晰的圖示出在這些時(shí)段發(fā)生了哪些問題，造成了多大面的影響，然后決定相關(guān)的資源是否進(jìn)行擴(kuò)充，相應(yīng)的業(yè)務(wù)部署是否需要調(diào)整。

綜合展示比較關(guān)注的則是性能分析、容量分析和自動(dòng)化配置。比如今年采購了500TB存儲(chǔ)，我用了多少，明年還需要擴(kuò)容多少，業(yè)務(wù)增長量會(huì)有多少，這個(gè)都影響到企業(yè)的采購計(jì)劃。根據(jù)業(yè)務(wù)的實(shí)際進(jìn)行評估，來推算出明年大概需要買多少TB的存儲(chǔ)。

四、IT監(jiān)控管理平臺發(fā)展

IT監(jiān)控管理的發(fā)展大概有三代，從上世紀(jì)九十年代至今，第一代是以網(wǎng)絡(luò)為中心，在這個(gè)時(shí)期咱們提供比較多的都是基于網(wǎng)絡(luò)的監(jiān)控和故障發(fā)現(xiàn)，帶寬管理和服務(wù)水平協(xié)議。

第二代監(jiān)控就是以監(jiān)控IT基礎(chǔ)設(shè)施為中心，看到比較多的就是主機(jī)、存儲(chǔ)、操作系統(tǒng)、中間件、數(shù)據(jù)庫等各類基礎(chǔ)資源的監(jiān)控。

第三代監(jiān)控以IT應(yīng)用為中心，針對比較高度復(fù)雜的交易，需要實(shí)現(xiàn)面向用戶體驗(yàn)和面向應(yīng)用高可用性的實(shí)時(shí)監(jiān)測和故障的智能診斷，運(yùn)維人員必須高屋建瓴、全面謀劃，有能力提供一個(gè)全局性、高效健壯、標(biāo)準(zhǔn)規(guī)范、自動(dòng)化的監(jiān)控解決方案并加以實(shí)現(xiàn)。

五、故障管理及自治自愈

這是我們每天收到的告警情況統(tǒng)計(jì)，在沒有自動(dòng)化和智能化之前，我和大家一樣心態(tài)是焦慮和崩潰的。

如何從錯(cuò)綜復(fù)雜的運(yùn)維監(jiān)控?cái)?shù)據(jù)中得出我們所需要的信息和結(jié)果，一句話就是分辨和精煉，提取真正需要關(guān)注的信息，從而減少每天的告警信息量。

目標(biāo)就是簡、智、深。

簡就是要確保業(yè)務(wù)和SLA服務(wù)級別，出現(xiàn)問題要及時(shí)響應(yīng)、自動(dòng)分析和優(yōu)化，把處理的流程精簡和高效組合起來，讓問題匹配正確的場景，找到正確的人，在第一時(shí)間正確處理。

機(jī)器學(xué)習(xí)主要就是突出智，這個(gè)需要大量的數(shù)據(jù)來訓(xùn)練，故障出現(xiàn)的形態(tài)是千奇百怪，對故障的歷史數(shù)據(jù)進(jìn)行場景分類和標(biāo)注，不斷用模式識別和數(shù)據(jù)來訓(xùn)練機(jī)器識別和分析，然后讓機(jī)器自動(dòng)準(zhǔn)確判斷。

當(dāng)然標(biāo)注不能完全靠人，也需要通過機(jī)器來自動(dòng)進(jìn)行關(guān)鍵詞標(biāo)注，而標(biāo)注的合理性就需要人為進(jìn)行判斷，然后再利用到機(jī)器學(xué)習(xí)上，這樣才能真正輔助我們做一些決策。

基于架構(gòu)、工程師的經(jīng)驗(yàn)和概率來做到收斂告警事件，基于規(guī)范和分工產(chǎn)生告警事件發(fā)送到對的人，基于數(shù)據(jù)和模型來提高事件的處理能力。很多事件有的工程師處理的特別快，反之如果對這個(gè)故障不熟悉的人可能花費(fèi)的時(shí)間就很長。這就需要構(gòu)建一個(gè)策略知識庫，讓其他人來參考和學(xué)習(xí)，提高同類場景事件處理的能力。

智能運(yùn)維的終極，實(shí)現(xiàn)的目標(biāo)就是減少對人的依賴，逐步信任機(jī)器，實(shí)現(xiàn)機(jī)器的自判、自斷和自決。

技術(shù)都是在不斷的進(jìn)步，AI技術(shù)將來會(huì)解決很多的一些需要花費(fèi)大量人力和時(shí)間才能解決的事情，但是AI不是一個(gè)很純粹的技術(shù)，它也需要結(jié)合具體的企業(yè)場景和業(yè)務(wù)，通過計(jì)算驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)，才能產(chǎn)生一個(gè)真正可用的產(chǎn)品。

智能運(yùn)維技術(shù)在企業(yè)的落地，不是一蹴而就的，是一個(gè)漸進(jìn)和價(jià)值普及的過程。

我們可以看到，智能運(yùn)維技術(shù)已經(jīng)成為新運(yùn)維演化的一個(gè)開端，可以預(yù)見在更高效和更多的平臺實(shí)踐之后，智能運(yùn)維還將為整個(gè)IT領(lǐng)域注入更多新鮮和活力，在未來發(fā)展和壯大下去，成為引領(lǐng)潮流的重要性力量！