場景
可觀測性平臺通過采集、存儲、可視化分析日志(Log)、追蹤(Trace)和指標(Metrics)等數據,幫助企業洞察分布式系統的運行狀態,支撐資源優化、預警機制、故障分析等重要場景,以提升系統可靠性與用戶體驗。隨著數據量增加和系統越來越復雜,可觀測性平臺都面臨著諸多挑戰。
高性能、低成本
靈活的半結構化數據類型
開源開放、多云一致
易于運維與使用
早期大模型日志系統基于 Grafana Loki,存在資源消耗大、寫入性能差和穩定性不足的問題。在改用基于 Apache Doris 的新系統后,接入了所有業務線的日志數據,數據規模達 PB 級,系統可用性超 99.9%,10 億級日志檢索達秒級響應。
借助 SelectDB 的倒排索引、Variant 數據類型以及冷熱數據分層存儲等功能,觀測云的日志存儲和分析服務得到了顯著增強。這不僅使我們的 存儲成本降低了 70%,還將查詢性能提升 4 倍,最終實現了整體性價比的 10 倍提升。
與 Elasticsearch 相比,Apache Doris 查詢速度提升 11 倍,存儲資源節省 70%。Doris 的列式存儲和 ZSTD 高壓縮比,讓同樣數據存儲空間大幅減少,還能用 SSD 替代 HDD 存儲熱數據,進一步提升查詢性能。此外,Doris 查詢更加穩定,查詢耗時基本在 4 秒內,最快 1 秒響應。
中信銀行信用卡中心每天新增 140 億條日志數據(80TB),總歸檔量超 40PB。早期的日志平臺,存儲成本高,寫入和檢索速度慢,分析能力也有限。升級至 Apache Doris 后,資源投入降了 50%,查詢速度提升了 2 - 4 倍,運維效率也大幅提高。
基于 HTTP 的數據接入
為 ELK 生態系統提供 Logstash 和 Filebeat 輸出插件,OpenTelemetry Exporter,Fluentbit 輸出插件,以及通過消費 Kafka 消息隊列。
高性能、低成本的統一存儲引擎
統一存儲日志 (Log)、追蹤 (Trace) 和指標 (Metrics) 數據,具備高壓縮比和快速查詢能力,包括全文搜索和聚合分析。
可視化搜索與分析
兼容兩大主要的可觀測性可視化工具,包括 ELK 生態系統中的 Kibana(即將推出) 和開放生態系統中的 Grafana。此外,提供專用日志檢索的 GUI 工具 SelectDB Studio。