隨著醫院信息化建設逐年深入，應用范圍越來越廣，配套的服務器、存儲和網絡設備也越來越多。IT設備的快速增長，使信息系統的管理面臨很大的運維壓 力，傳統的人工巡檢和排錯的方式，已經無法滿足業務系統對高可用性的需求。在近年來發生的醫院信息系統宕機事故中，因為不能及時發現和排除故障而導致的UPS起火、空調宕機、數據庫崩潰的情況，占了很大的比例。

“工 欲善其事，必先利其器”，最近幾年，越來越多的醫院開始采用了機房監控系統、網管系統、數據庫監控等技術手段，在不同層面上保障了醫院信息系統的安全穩 定。以上這些軟件我們統稱IT運行監控系統，其作用是自動化的采集、分析 IT設備的運行狀態數據，通過圖形化的方式進行展示，并對超出設置閾值的指標進行報警。

同時我們也發現了這樣的問題：

一方面是產品本身“魚龍混雜”，有的產品似乎功能上很強大，但可靠性不高，實際應用過程中常出現設備故障時不報警，設備正常運行時卻會誤報的狀況。

另一方面是實施結果“中看不中用”，有的醫院監控大屏做的很漂亮，但后臺的配置沒有細化，并不能真正監控到日常發生的故障。如果說產品本身的差異需要廠商的進一步改進，那么如何物盡其用，用好管好IT運行監控系統就是醫院信息部門的責任了。

我 院自2008年自主開發機房溫濕度監控系統開始，逐步上線了機房監控、網絡監控、服務器數據監控、虛擬化監控等多個監控模塊，并對界面和報警進行了整合。 基本做到了“早于用戶發現故障，早于故障消滅隱患”，同時結合基于ITIL的日常IT運維管理流程，有效地保障了信息系統的高可用性。

系統設計

根據以往的經驗，我們將醫院信息系統的運行環境包括機房環境、網絡、服務器、數據庫、應用系統客戶端五部分，關系如圖1所示。

圖示主要說明了兩個問題：（1）下層的運行環境為上層的運行環境提供支撐；（2）作為用戶界面的業務軟件客戶端位于最上層。

由 此可知，當下層的運行環境出現問題時，將逐層向上產生影響，如能及時發現和處理，就可以消除故障隱患，從而避免事故隱患蔓延到用戶界面，減少造成業務中斷 的幾率。因此，逐層分析可能產生故障的因素，建立一組較為全面的監控指標體系，是設計IT運行監控系統的關鍵。這些指標應包括以下方面。

1、機房監控

醫院信息系統機房是服務器、網絡及其附屬設備運行的環境和場所，在國家標準GB50174-2008 《電子信息系統機房設計規范》中，對其建設和運行指標有詳細的約定，其中應進行監控的重點是配電系統和環境溫濕度。

（1）配電系統

配電系統包括市電供應、不間斷電源和發電機三部分。

對市電供應應監控電能質量，主要指標包括開關狀態、電流、電壓、有功功率、功率因數、諧波含量。

不 間斷電源就是常說的UPS（UninterruptiblePower System），其主要監控指標為：監控輸入和輸出功率、電壓、頻率、電流、功率因數、負荷率；電池輸入電壓、電流、容量；同步/不同步狀態、不間斷電源 系統/旁路供電狀態、市電故障、不間斷電源系統故障；監控蓄電池的電壓、阻抗和故障。

對發電機系統應監控：油箱（罐）油位、柴油機 轉速、輸出功率、頻率、電壓、功率因數。此外，機房的PUE（ P o w e r Us a g e Effectiveness）值是評價機房能耗的一個重要指標，它表示機房總設備能耗與IT設備能耗的比值。在監控系統中，我們可以通過采集到的電壓電流 數據，計算出實時的PUE值。

（2）環境溫濕度

環 境溫濕度指標是機房環境中最重要的指標，業內有“溫度每升高10度，設備使用壽命減半”的說法，因此維持機房溫濕度恒定是對機房環境的基本要求。對空調系 統應監控開關、制冷、加熱、加濕、除濕的運行狀態；相對溫度、相對濕度、傳感器故障、壓縮機壓力、加濕器水位、風量設置閥值，超出報警。在空調、水管、窗 戶等易產生水源泄露的部位，應安裝漏水感應裝置，并監控其狀態。對機房環境，應監控房間各區域以及機柜內部的溫度、濕度數據以及變化趨勢。監控探頭應放置 在被監控設備的入風口位置，如：對于下送風上回風，設置冷熱通道的機房，應監控其冷通道頂部的溫度。

2、主機系統監控

絕 大多數的主機系統監控是基于SNMP協議（Simple NetworkManagement Protocol/簡單網絡管理協議）的。SNMP是應用最為廣泛的TCP/IP 協議，采用了Server/ Client的模式，通過管理端與SNMP代理間的交互工作完成對設備的管理；而 MIB（Management Information Base 管理信息庫）包是解讀SNMP消息內容的字典，MIB包以文本形式保存樹狀的代碼信息，每個分支代表一種類型的統計信息或狀態信息。通過SNMP代理可以 響應管理端關于MIB信息的各種查詢，如：get，getnext，set等。被管設備還可以通過發送TRAP包的形式主動向管理端發送緊急報警信息，從 而實現對設備的監控。

（1）存儲系統

對 于存儲系統，除了通用的基于SNMP協議的監控，還可以通過SMI-S協議（ StorageManagement Initiative Speci?cation，主動存儲管理規范）獲取更多的設備信息。SMI-S協議是SNIA （StorageNetworking Industry Association，美國存儲網絡工業協會）提出的存儲管理的接口標準，它使存儲管理可以真正實現與廠商無關，從而降低管理成本，提高管理效率。當前 主流的存儲設備廠商，如：IBM、博科、EMC、NetAPP、浪潮、 HP等都支持該協議。基于SMI-S協議，監控軟件可以自動獲取HBA 主機、FC交換機、FC數據存儲設備以及光纖通道狀態，并生成存儲拓撲，以圖形化的方式實現對存儲設備資源的統一管理。

（2）服務器

對 硬件故障的監控可以采用基于IPMI （Intelligent Platform Management Interface，智能平臺管理接口）的數據采集方式。IPMI是管理基于 Intel結構的企業系統中所使用的外圍設備采用的一種工業標準，該標準由英特爾、惠普、NEC、美國戴爾電腦和SuperMicro等公司制定，用戶可 以利用IPMI監視服務器的物理健康特征，如溫度、電壓、風扇工作狀態、電源狀態等。如用戶可以通過IBM X系列服務器的控制網口連接主板的集成管理模塊，收集服務器硬件物理狀態。對于服務器性能監控最主要的3個指標是CPU利用率、內存利用率和文件系統使用 率。系統管理員應經常對以上指標的歷史數據進行分析，如有利用率過高的情況，應結合應用場景分析，及時處理。

（3）虛擬化監控

VMware 虛擬化解決方案是當前最常用的虛擬化技術，其自帶的vCenter管理工具可以很方便的監控和管理vSphere運行環境。不少監控軟件也包括類似 vCenter的虛擬化管理模塊，甚至可以通過 API接口對不同品牌的虛擬化管理平臺進行整合，接收從虛擬化設備發出SNMP TRAP信息，生成自己的監控界面，方便系統管理員進行管理。

（4）服務與日志監控

監 控軟件還應支持對操作系統進程的監控，判斷其所使用的資源比例和健康狀況，還應對基礎應用服務的核心端口、HTTP、FTP、POP3、SMTP、 DNS、NTP等服務可用性和響應時間的監控。日志監控是指對windows日志、syslog日志或其他文本類型的日志監控管理，對接收到的日志信息進 行存儲、分析并報警。對日志的監控主要通過關鍵字檢索或事件ID識別來實現，日志報警應支持邏輯判斷，設置不同的級別，對不需產生報警的事件進行例外排 除。

3、數據庫監控

保證數據可靠安全是保證信息系統高可用性的最終目的。

進 行數據庫的調優和管理數據備份是 DBA的主要職責。對數據庫的監控主要關注可用狀態、性能和空間容量三個方面。可用狀態是指被監控的數據庫是否能正常訪問，特定進程或服務是否狀態正常； 性能指標包括連接數是否過大、讀緩存命中率是否過低、寫緩存命中率是否過低、死鎖數量是否過大、回滾數是否過高等；空間容量是指監測表空間和數據文件的大 小、狀態和使用率、數據庫碎片比率等。以Oralce數據庫為例，我們在實際工作中監控了以下指標：

（1）Session數

（2）后臺進程狀態（SMON、PMON、DBWn、LGWR、CKPT等）

（3）PGA狀況（內存爭用比、PGA使用率、 PGA命中率）

（4）SGA狀況（Buffercache命中率、庫緩存命中率、數據字典命中率、共享池命中率、回滾段爭用比）

（5）表空間利用率、日志使用情況

另外，檢查數據備份是否成功是系統管理員的日常工作，常用的備份軟件有IBM的TSM、 Symantec的Veritas Netbackup等，監控系統應可集成其狀態和報警。

4、網絡監控

網絡相當于醫院信息系統的神經中樞，各種網絡設備分布于各樓層配線間中，最難于管理。采用人工巡檢時，只能觀察到某個時點的設備通斷狀況和有無報警信息，無法實時全面的了解整個網絡的運行情況。

采 用IT運行監控系統，可以從以下幾個方面著手，對網絡運行狀況進行全面的監控：通過網絡拓撲圖，網絡管理員可以直觀的查看網絡邏輯拓撲圖和網絡物理拓撲 圖，及時發現網絡的邏輯和物理問題。拓撲圖通過使用不同的圖標來表示不同網絡對象，用不同的顏色來表示不同的設備運行狀況。

網絡故 障通常會影響到一片而不是一個信息節點，網絡拓撲圖上數據和信息有助于管理員快速的確定故障影響范圍，從而進一步判斷故障產生的原因。在實時顯示網絡運行 狀況信息的同時，運行監控系統可以將這些運行數據（如：設備CPU、內存利用率；設備各端口出入流量、平均包長及丟包、錯包率等）記錄下來，用于以后的數 據分析。

通過歷史曲線比對，TOP N數據分析等手段，可以了解設備的利用情況以及網絡性能的瓶頸。IP地址管理工具可以自動發現網絡上在用的設備的IP地址，幫助網絡工程師發現網絡上有哪 些IP 地址可用。通過與基準表中IP地址范圍和子網設置信息的對比，判定IP地址的在線、未登記或非法接入狀態，并以不同的圖標進行展示，支持IP地址登記管 理，查看在線IP地址的登記狀態，根據條件批量的變更IP地址的登記狀態。

IP地址管理工具還可以自動發現IP地址和MAC地址的 對應關系，建立MAC地址IP地址的綁定關系，并根據設置的策略進行阻斷或報警。此外，有的監控軟件還可以實現自動巡檢功能，定期自動采集設備運行參數， 形成巡檢報告；還有的監控軟件可以對網絡設備的配置信息自動備份、批量更新配置信息；在無線網絡管理方面，有的監控軟件可以圖形化的展示建筑物中的AP節 點和信號強度，掃描用戶數量、位置等，也是一個值得探索的方向。

5、業務拓撲視圖

對 IT基礎設施的監控是為了保障業務軟件的運行，監控系統應提供所見即所得的業務和資源建模能力，從業務角度出發，將組成業務系統的IT資源按照其關聯關 系、權重等組成業務邏輯模型進行監控，建立從業務視角出發的監控視圖。當業務應用出現故障時，能清晰展現所影響的服務及部門；每個業務服務對應一張業務拓 撲視圖，能從客戶端、業務軟件、IT基礎設施不同層面展現關聯關系，當 IT資源產生異常時，能夠高亮顯示報警及故障的傳遞關系。

如 圖2所示的的OA系統，配備有中間件和數據庫服務器兩組主機，數據庫主機上又運行著數據庫監控，中間件主機做了Windows集群，上面還有相應的 Weblogic的進程。以上信息都可以以OA系統為索引，展示在同一業務拓撲視圖中。推而廣之，對于業務本身的一些指標，如當日掛號數、已就診人數、處 方數、檢查檢驗申請等也可納入業務拓撲圖，并對數據在不同業務系統中的流向進行配置和標識，這樣的從業務負載到IT基礎設施保障情況的一體化視圖，就可以 清晰地反映出整個醫院信息系統的運營狀況。

6、報警管理

在信息部門的辦公區應設置監控大屏，播放IT運行監控系統的運維門戶視圖，集中顯示信息系統整體運行狀況，包括：IT資產統計、報警列表、機房環境監控圖、服務器位置及拓撲、全院網絡拓撲、數據庫狀態、應用系統定期作業執行情況等。

對 于故障報警，應包括但不限于聲光電、短信、郵件、手機App等多種方式。如：當IT運行監控系統收到 SNMP TRAP報警信息或檢測到超過了預先設定的閥值時，會通過短信模塊向管理員手機發送短信報警，同時監控大廳的報警燈閃爍并蜂鳴報警，運維門戶的拓撲圖上標 示出故障位置。故障等級設為三檔，正常、提醒和警告。系統通過撥測自檢，確保自身運轉正常；當發現異常數據但不影響系統正常使用時生成提示信息，當判斷故 障需要緊急處理時顯示為警告。此外還需注意避免報警風暴的產生，如：同樣內容的報警30分鐘只有顯示一次，同類型的報警整合成一條等。

人防、技防要并重

正如著名的海恩法則所描述的——“每一起嚴重事故的背后，必然有29次輕微事故，300起未遂先兆，以及1000起事故隱患。”

對 于一個龐大而復雜的醫院信息系統體系而言，如果不借助工具，進行事故隱患排查和早期處理似乎是個不可能完成的任務，而通過IT運行監控系統可以讓系統管理 員可以一目了然地了解到信息系統各個環節的運行狀況，圖形化的展示方式可以幫助各個專業的工程師在同一個平臺下進行合作和管理。

對 于上面所設計和期望達到的監控覆蓋范圍，雖然我們至今仍未能完全實現，但系統投入使用以來，顯著減輕了IT運維人員的巡檢壓力；在幾次硬件故障發生時，均 能及時報警，未造成進一步的事故；通過對歷史數據分析，還可以再現事故發生的過程，排查類似隱患，避免同類情況再次發生。同時我們也意識到，在IT運維管 理方面需要人防和技防并重，技術只是輔助手段，如果IT運維人員責任心不強，不能重視并及時處理報警，IT運行監控系統也不能發揮作用。

另一方面，對報警參數的配置是一個動態調整和完善的過程，需要在使用過程中，盡可能將所有軟硬件報警信息都納入其中，根據實際情況調整閾值，持續改進。

來源：機房監控機房環境監控機房監控系統http://www.99yxj.com.cn  本文采集于網絡，如有問題有聯系刪除