無憂保職場指南早報：

【國聿HotRpt】以史為鑒、可以明ITSM：寧夏銀行7月系統(tǒng)癱瘓最新解析

【引言】銀行系統(tǒng)相對復雜，銀行IT建設也相對要求嚴格與苛刻，在建設好了IT系統(tǒng)之后，只是萬里長征走了第一步，后面更為重要的是長期的運行與維護，包括核心設備、核心系統(tǒng)、網(wǎng)絡、以及數(shù)據(jù)庫、各類應用的后續(xù)維保等。人民銀行2013年的年報，就特別強調，;要把IT被動運維轉變?yōu)镮T主動運維;；寧夏銀行發(fā)生的IT系統(tǒng)災難事件的根本原因是在于該行沒有ITIL/ITSM的概念、安全生產;前瞻性意識;薄弱、應急管理體系缺失、應急處置過程混亂；總之一句話，缺乏IT運維管理、缺乏ITSM/ITIL/ISO20000體系和相關的執(zhí)行、落地，估計相關的ITIL流程管理軟件系統(tǒng)目前該行也肯定沒有；所以也談不上;主動運維;。該行核心系統(tǒng)數(shù)據(jù)庫版本嚴重老化，且2007年至今未購買核心數(shù)據(jù)庫的維保服務，核心系統(tǒng)長期缺乏維護，事故發(fā)生后，無法獲得系統(tǒng)供應商及時技術支持。系統(tǒng)恢復過程中，缺乏應急預案和準備，長時間無法實施有效處置，導致業(yè)務恢復緩慢，對銀行運營產生較為嚴重影響。有網(wǎng)友評論道：;系統(tǒng)維護沒有跟上、缺乏最基本有效的運維管理和運維管理工具和手段，再好的方案也會有問題。所以應該要上相關的管理工具。（國內主流的相關管理軟件其實有很成熟的、例如國聿的AhoovaITSM軟件、BMC的ITSM軟件）;本來，在一個有ITSM主動運維的機制里面，以上這些問題發(fā)生的概率極低、而且一旦發(fā)生也有很好的快速應對措施，因為ITSM系統(tǒng)的前瞻性自然會防患于未然、而非僅僅等問題發(fā)生了、才被動應對；所以，ITSM很重要！有一套基于ITIL國際標準的ITSM流程管理軟件系統(tǒng)來支持也很重要！

關鍵詞:;IT運維管理的前瞻性意識、相關的ITSM流程管理軟件工具;(ProactiveThinkingforITSM,proactivelycontroldisasters,notjustreactively.RelevantIT***softwaretools.)

;6月23日，中國工商銀行系統(tǒng)癱瘓導致全國多地工行系統(tǒng)柜面取款、ATM、網(wǎng)銀等無法**。24日，中國銀行系統(tǒng)也短暫癱瘓，一時間金融業(yè)錢荒，銀行股價暴跌，金融市場流動性緊張。;對于去年發(fā)生的銀行系統(tǒng)問題，網(wǎng)友討論也比較多，歸結起來，還是系統(tǒng)維護方面紕漏、IT運維管理不到位。

對于今年寧夏銀行的系統(tǒng)癱瘓事件，官方消息如下：

銀行二部（2014）187號正式發(fā)全國文件，對寧夏銀行事故的描述大致如下2014年7月1日，寧夏銀行核心系統(tǒng)數(shù)據(jù)庫出現(xiàn)故障，導致該行（含異地分支機構）存取款、轉賬支付、***、網(wǎng)上銀行、ATM和POS業(yè)務全部中斷。經初步分析，在季末結算業(yè)務量較大的情況下，因備份系統(tǒng)異常導致備份存儲磁盤讀寫處理嚴重延時，備份與主存儲數(shù)據(jù)不一致，在采取中斷數(shù)據(jù)備份錄像操作后，造成生產數(shù)據(jù)庫損壞并宕機。因寧夏銀行應急恢復處置機制嚴重缺失，導致系統(tǒng)恢復工作進展緩慢，直至7月3日5點40分核心系統(tǒng)才恢復服務，業(yè)務系統(tǒng)中斷長達37小時40分鐘，其間完全依靠手工**業(yè)務。該事件的根本原因是在于該行安全生產意思薄弱、應急管理體系缺失、應急處置過程混亂。該行核心系統(tǒng)數(shù)據(jù)庫版本嚴重老化，且2007年至今未購買核心數(shù)據(jù)庫的維保服務，核心系統(tǒng)長期缺乏維護，事故發(fā)生后，無法獲得系統(tǒng)供應商及時技術支持。系統(tǒng)恢復過程中，缺乏應急預案和準備，長時間無法實施有效處置，導致業(yè)務恢復緩慢，對銀行運營產生較為嚴重影響。

對于這個事件的發(fā)生，網(wǎng)上論壇有網(wǎng)友開始懷疑當時在2010年進行的高大上的寧夏銀行800公里災備演練，當時號稱區(qū)域性商業(yè)銀行的第一次。查閱資料，回憶當時演練現(xiàn)場，時任寧夏銀行信息技術部總經理的王春表示，隨著區(qū)域性商業(yè)銀行的跨省發(fā)展，實施災難備份系統(tǒng)已經勢在必行，寧夏銀現(xiàn)在實施成功之后，實現(xiàn)了寧夏銀行所提出的;提升業(yè)務連續(xù)性，提升業(yè)務管理水平;的戰(zhàn)略目標，做到了核心系統(tǒng)的災難恢復的;全范圍覆蓋;。但是，嚴重的系統(tǒng)癱瘓事件還是發(fā)生了。有網(wǎng)友評論道：;系統(tǒng)維護沒有跟上、缺乏最基本有效的運維管理和運維管理工具和手段，再好的方案也會有問題。所以應該要上相關的管理工具。（國內主流的相關管理軟件其實有很成熟的、例如國聿的AhoovaITSM軟件、BMC的ITSM軟件）;【下面答復幾個大家會好奇地自然而然提出的幾個疑問：】

第一、為什么IT系統(tǒng)會出問題?

1）現(xiàn)代IT系統(tǒng)非常復雜，當系統(tǒng)大到一定的程度，總會有失控的狀況。世界上就從來都沒有過沒錯誤的復雜程序，問題只在于這個錯誤你有沒有碰上而已。銀行的系統(tǒng)是由很多不同軟硬件廠商的產品拼在一起運作，復雜程度遠超過普通家用電腦，這么簡單的家用電腦還會死機呢....而且系統(tǒng)復雜到一定程度，就不是人多或者錢多就能完全解決問題的了。

2）要盡量不出問題，要錢，很多錢（比如中型銀行建設一個過得去的容災系統(tǒng)要上億）。但出問題只是;有可能;，花的錢可是實實在在的。換了你是領導，你也不會無限制的向里面投錢。

3）穩(wěn)定運行的最好的辦法之一是不對系統(tǒng)進行改造。由于有新的業(yè)務要求，系統(tǒng)確實要不停的升級，很多銀行每周都在升級，每次變動對系統(tǒng)的穩(wěn)定運行都是一個挑戰(zhàn)。你每天走路有時候還會摔倒，只要一動作，就有出錯的可能，這就是科學。

第二、為什么會大面積的出現(xiàn)問題?

因為三個字：大集中。最早之前，銀行系統(tǒng)還沒聯(lián)網(wǎng)，一出問題只是某個區(qū)或者某個市。最近十多年銀行業(yè)都在搞大集中：五大行除了中國銀行之外的四家都已經完成了大集中。

第三、為什么沒有應急預案或者應急預案沒有起作用?

與電信運營商，政府行業(yè)，普通企業(yè)相比，銀行是中國IT業(yè)中IT基礎最好，最嚴謹?shù)男袠I(yè)。比如有的銀行還要求廠商維護人員不能操作，只能銀行員工操作。

大的變更一定會有預案，甚至換個硬盤，改個IP這種做過幾百次的操作都會有預案。但預案與真實一般都有相當差距。上面已經提到系統(tǒng)非常復雜，可能出現(xiàn)的問題如果真全部寫下來，可能有幾百幾千分支。而且，系統(tǒng)的故障并不會根據(jù)你的應急預案來發(fā)生。只靠應急預案真解決問題的概率比拿著《泡妞指南》泡到美眉的幾率還低，應急預案的最重要的作用是應付上級監(jiān)管，根據(jù)應急預案搭好可能需要的應急軟硬件環(huán)境，大致理清概要思路，以及鍛煉團隊。真有復雜問題，還是靠牛人現(xiàn)場解決的多。

第四、為什么要停幾個小時這么久？

先說定位問題的時間：從發(fā)現(xiàn)問題上報到IT信息中心（或者在監(jiān)控系統(tǒng)發(fā)現(xiàn)問題），IT中心的人開始查系統(tǒng)，定位故障原因，如果定位不清還要找相關的軟硬件人員到場或者遠程網(wǎng)絡支持（基于安全原因，銀行大部分都不能遠程網(wǎng)絡查看系統(tǒng)，維護人員到數(shù)據(jù)中心也需要時間，如果還堵車.....），找出問題的根源，一小時算超快的了。類似你莫名高燒，到底是哪個**出問題，去醫(yī)院做檢查做判斷總需要時間吧？解決問題就更不好說了，其實和大家的電腦一樣，往往重啟是最有效的方法，但很多業(yè)務系統(tǒng)部分出現(xiàn)問題是不能重啟的（可能會影響別的業(yè)務系統(tǒng)）。至今國外各大廠商的標準維護合同，絕大部分都沒有承諾修復時間。根據(jù)手頭的一份略過時的銀監(jiān)會突發(fā)事件應急管理規(guī)范：一個省停業(yè)6個小時以上才算I級特別重大突發(fā)事件，3小時是II級，半小時以上是III級。以管窺豹，落葉知秋，幾小時真不算什么?！揪W(wǎng)友評論】如果引入ITIL的SLA（服務級別協(xié)議）的概念、加上相關軟件工具的落地執(zhí)行，這個問題就迎刃而解了！

【點評】：銀行系統(tǒng)相對復雜，銀行IT建設也相對要求嚴格與苛刻，在建設好了IT系統(tǒng)之后，只是萬里長征走了第一步，后面更為重要的是長期的運行與維護，包括核心設備、核心系統(tǒng)、網(wǎng)絡、以及數(shù)據(jù)庫、各類應用的后續(xù)維保等?？偠灾?，ITSM很重要！有一套基于ITIL國際標準的ITSM流程管理軟件系統(tǒng)來支持也很重要！

全國十三五規(guī)劃明確全民參保計劃，將在2020年前基本實現(xiàn)。全民參保是政策指向也是新的市場空間，無憂保堅定信念承擔起企業(yè)的社會責任，努力做國家全民參保計劃的踐行者。 小編有話說：謝謝這么優(yōu)秀的你來看文章，有什么想對小編說的盡管來吧，大家的支持就是我們的動力，歡迎大家踴躍發(fā)表疑問，歡迎吐槽，社保生態(tài)圈群：248069515