實時監控系統 CAT 3.0 發布了,此版本帶來多語言客戶端及多項性能提升,更新如下:
消息采樣聚合
消息采樣聚合在客戶端應對大流量時起到了至關重要的作用,當采樣命中或者內存隊列已滿時都會經過采樣聚合上報。采樣聚合是對消息樹拆分歸類,利用本地內存做分類統計,將聚合之后的數據進行上報,減少客戶端的消息量以及降低網絡開銷。
通信協議優化
CAT 客戶端與服務端通信協議由自定義文本協議升級為自定義二進制協議,在大規模數據實時處理場景下性能提升顯著。目前服務端同時支持兩種版本的通信協議,向下兼容舊版客戶端
測試環境:CentOS 6.5,4C8G 虛擬機
測試結果:新版相比舊版,序列化耗時降低約 3 倍
消息文件存儲
新版消息文件存儲進行了重新設計,解決舊版本的文件存儲索引、數據文件節點過多以及隨機 IO 惡化的問題。
新版消息文件存儲為了同時兼顧讀寫性能,引入了二級索引存儲方案,對同一個應用的 IP 節點進行合并,并且保證一定的順序存儲。下圖是索引結構的最小單元,每個索引文件由若干個最小單元組成。每個單元分為 4 * 1024 個桶,第一個桶作為我們的一級索引 Header,存儲 IP、消息序列號與分桶的映射信息。剩余 4 * 1024 - 1 個桶作為二級索引,存儲消息的地址。
新版消息文件存儲文件節點數與應用數量成正比,有效減少隨機 IO,消息實時存儲的性能提升顯著。以下為美團點評內部 CAT 線上環境單機消息存儲的數據對比:
詳情見發布公告。
CAT(Central Application Tracking),是美團點評基于 Java 開發的一套開源的分布式實時監控系統。美團點評基礎架構部希望在基礎存儲、高性能通信、大規模在線訪問、服務治理、實時監控、容器化及集群智能調度等領域提供業界領先的、統一的解決方案,CAT 目前在美團點評的產品定位是應用層的統一監控組件,在中間件(RPC、數據庫、緩存、MQ 等)框架中得到廣泛應用,為各業務線提供系統的性能指標、健康狀況、實時告警等服務。
來源:機房環境監控 http://www.99yxj.com.cn/ 本文采集于網絡,如有問題有聯系刪除
北京金恒智能系統工程技術有限責任公司 版權所有 Copyright 2007-2020 by Create-china.com.cn Inc. All rights reserved.
法律聲明:未經許可,任何模仿本站模板、轉載本站內容等行為者,本站保留追究其法律責任的權利!
電話:86+10-62104277/2248/4249 傳真:86+10-62104193-819 京ICP備10010038號-2網站XML
智慧機房
在線體驗