導(dǎo)讀

上海證券引入 SelectDB 作為核心實時分析引擎，有效彌補(bǔ)了實時數(shù)據(jù)處理與分析的能力短板，實現(xiàn)湖倉一體與流批一體，同時替換了原架構(gòu)中的 Elasticsearch 組件。達(dá)成了寫入性能提升 4 倍，支撐 1000+ QPS 高并發(fā)訪問，關(guān)鍵決策響應(yīng)速度 200 ms，開發(fā)效率提升 50%，運維成本大幅降低的關(guān)鍵收益。

業(yè)務(wù)背景

上海證券成立于 2001 年 5 月，秉承“開放、包容、規(guī)范、協(xié)同”的核心理念，致力于成為“特色鮮明、區(qū)域領(lǐng)先、品牌知名”具有專業(yè)特色的財富管理型券商。近年來，上海證券資產(chǎn)規(guī)模持續(xù)擴(kuò)大，經(jīng)營實力不斷增強(qiáng)，取得了顯著的社會效益和經(jīng)濟(jì)效益。

與此同時，數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè)也需進(jìn)一步深化，以應(yīng)對持續(xù)增長的業(yè)務(wù)規(guī)模帶來的挑戰(zhàn)。上海證券原先基于 Hadoop 體系建設(shè)數(shù)據(jù)平臺，面臨著三重挑戰(zhàn)：

• 架構(gòu)孤島化： 當(dāng)前架構(gòu)為煙囪式數(shù)據(jù)架構(gòu)，存在多套獨立的數(shù)據(jù)采集、調(diào)度工具，協(xié)同效率低下。

• 標(biāo)準(zhǔn)體系缺失： 缺乏統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，全流程質(zhì)量管控依賴技術(shù)部門強(qiáng)驅(qū)動。

• 服務(wù)能力斷層： 缺少“水到田頭”的數(shù)據(jù)服務(wù)，業(yè)務(wù)部門無法自助快速獲取數(shù)據(jù)，決策響應(yīng)延遲較長。

為應(yīng)對上述挑戰(zhàn)，上海證券計劃構(gòu)建全棧信創(chuàng)數(shù)據(jù)中臺，以同時滿足以下三方面核心需求：

• 技術(shù)需求：全面升級數(shù)據(jù)平臺基礎(chǔ)設(shè)施，實現(xiàn)國產(chǎn)化與技術(shù)自主掌控，打造集數(shù)據(jù)治理、開發(fā)、分析、應(yīng)用于一體的一站式平臺。原有架構(gòu)中，缺少實時數(shù)據(jù)處理與分析能力，需要引入相關(guān)產(chǎn)品，實現(xiàn)湖倉一體與流批一體能力，突破實時分析瓶頸。

• 業(yè)務(wù)需求： 全面支撐實時與離線計算、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)分析，賦能公司各業(yè)務(wù)線數(shù)字化轉(zhuǎn)型。

• 效率與成本需求： 全面整合公司數(shù)據(jù)資源，有效降低總體數(shù)據(jù)成本，顯著提升數(shù)據(jù)開發(fā)效率。通過選擇適配的產(chǎn)品組合，以最優(yōu)路徑完成數(shù)據(jù)中臺的構(gòu)建。

基于 SelectDB 的數(shù)據(jù)中臺方案

面對上述需求，上海證券于 2024 年 2 月正式完成基于 SelectDB 的數(shù)據(jù)中臺基礎(chǔ)搭建，10 月實現(xiàn)全量業(yè)務(wù)遷移，目前處于深度應(yīng)用期。

01 整體架構(gòu)方案

為平衡成本與效率，上海證券在基礎(chǔ)架構(gòu)設(shè)計中保留了大部分現(xiàn)有 Hadoop 組件，引入 SelectDB 作為核心實時分析引擎的同時，替換了 Elasticsearch。SelectDB 的引入有效彌補(bǔ)了原架構(gòu)中實時數(shù)據(jù)處理與分析的能力短板，成為上海證券實現(xiàn)湖倉一體與流批一體的關(guān)鍵技術(shù)支撐。

• 全面支持 Hadoop 生態(tài)，實現(xiàn)湖倉一體： SelectDB 能夠無縫對接并高效訪問上海證券現(xiàn)有 Hadoop 體系中的 HDFS 存儲和 Hive 元數(shù)據(jù)，最大程度地復(fù)用已有數(shù)據(jù)資產(chǎn)。同時 SelectDB 提供高性能實時分析能力，統(tǒng)一支撐上海證券結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的分析需求。

• 構(gòu)建數(shù)據(jù)治理、開發(fā)、服務(wù)一體化平臺： 上海證券基于 SelectDB 構(gòu)建的新平臺整合了數(shù)據(jù)治理規(guī)范、統(tǒng)一開發(fā)流程和自助數(shù)據(jù)服務(wù)能力，解決了原有架構(gòu)標(biāo)準(zhǔn)缺失、流程割裂的問題，實現(xiàn)了從數(shù)據(jù)入湖到業(yè)務(wù)應(yīng)用的全生命周期一體化管理。

• 通過統(tǒng)一數(shù)據(jù)開發(fā)平臺，實現(xiàn)流批一體： 利用 SelectDB 強(qiáng)大的實時寫入與批量處理能力，實現(xiàn)了流式數(shù)據(jù)和批量數(shù)據(jù)的統(tǒng)一加工、存儲與分析，成功突破了原有架構(gòu)的實時分析瓶頸，賦能業(yè)務(wù)快速決策。

• 全棧國產(chǎn)化兼容： SelectDB 在核心引擎、周邊生態(tài)及部署環(huán)境上實現(xiàn)了全面國產(chǎn)化兼容，滿足了證券公司對數(shù)據(jù)平臺基礎(chǔ)設(shè)施國產(chǎn)化與技術(shù)自主掌控的關(guān)鍵需求，保障了系統(tǒng)安全可控。

• 服務(wù)團(tuán)隊支持力度高，運維有保障： SelectDB 背后專業(yè)服務(wù)團(tuán)隊的高效響應(yīng)和有力支持，為上海證券在平臺建設(shè)、遷移上線和后期運維的全過程提供了可靠保障，有效降低技術(shù)風(fēng)險，確保平臺穩(wěn)定運行。

02 DataOps 開發(fā)治理一體化

上海證券以“先設(shè)計，后開發(fā)；先標(biāo)準(zhǔn)，后建模”為核心原則，結(jié)合全信創(chuàng)數(shù)據(jù)中臺，構(gòu)建數(shù)據(jù)全生命周期閉環(huán)管理體系（圖片來源于網(wǎng)絡(luò)）：

• 設(shè)計階段： 通過統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、與業(yè)務(wù)對齊的指標(biāo)設(shè)計及健壯模型設(shè)計，從源頭保障數(shù)據(jù)規(guī)范性與質(zhì)量。
• 開發(fā)階段： 依托 SelectDB 高效計算能力，無縫集成數(shù)據(jù)傳輸、離線開發(fā)與自助分析任務(wù)，支撐流批一體數(shù)據(jù)處理。
• 測試及上線階段： 通過嚴(yán)格的數(shù)據(jù)測試、質(zhì)量監(jiān)控及任務(wù)發(fā)布流程，結(jié)合 SelectDB 的實時監(jiān)控能力，確保數(shù)據(jù)可靠入湖并持續(xù)穩(wěn)定運行。

上海證券始終保障數(shù)據(jù)合規(guī)，形成了“設(shè)計-開發(fā)-測試-監(jiān)控”的一體化治理體系，基于 SelectDB 徹底解決了原有架構(gòu)標(biāo)準(zhǔn)缺失、流程割裂的問題，賦能業(yè)務(wù)自助獲取高質(zhì)量數(shù)據(jù)。

03 統(tǒng)一數(shù)據(jù)交換鏈路

上海證券通過構(gòu)建統(tǒng)一數(shù)據(jù)交換平臺，打通了公司級數(shù)據(jù)流轉(zhuǎn)鏈路。 平臺集中管理實時與離線數(shù)據(jù)服務(wù)，并實施統(tǒng)一安全管控，將分散的行情（萬得/聚源）、交易（非現(xiàn)/快速）、賬戶等中臺數(shù)據(jù)與下游業(yè)務(wù)系統(tǒng)（指 E 通全微服務(wù)、CRM、反洗錢等 20+ 模塊）高效連接。尤其是對于實時場景，基于 SelectDB Routine Load 能力便捷接入 Kafka 數(shù)據(jù)，其高并發(fā)數(shù)據(jù)更新吞吐可達(dá)到百萬行每秒，為行情推送、機(jī)構(gòu)服務(wù)等提供了秒級延遲的數(shù)據(jù)服務(wù)能力。

應(yīng)用場景

01 金融實時交易戰(zhàn)報

2024 年 9 月 底，證券市場行情迅猛爆發(fā)，上海證券新增能夠秒級獲取全量交易、行情、新客開戶數(shù)及資金引入等數(shù)據(jù)的需求。基于 SelectDB 的極速性能，上海證券相關(guān)團(tuán)隊在 10 月前開發(fā)并上線了實時交易戰(zhàn)報系統(tǒng)，業(yè)務(wù)數(shù)據(jù)秒級實時接入，系統(tǒng)穩(wěn)定支撐 1000+ QPS 高并發(fā)查詢，復(fù)雜聚合查詢響應(yīng)延遲低至 200ms，實現(xiàn)了對全量經(jīng)營指標(biāo)的實時決策支持，驗證了 SelectDB 在突發(fā)業(yè)務(wù)場景下的高性能與高可靠性，為金融行業(yè)實時數(shù)倉建設(shè)提供了關(guān)鍵支撐。

02 金融 CRM 系統(tǒng)建設(shè)——替換 Elasticsearch

上海證券在其金融 CRM 活動關(guān)系及實時戰(zhàn)報模塊原先采用 Elasticsearch 組件，因其存在兩大核心缺陷：

• 數(shù)據(jù)同步延遲高： ES 批量數(shù)據(jù)同步延遲高達(dá)分鐘級，客戶行為數(shù)據(jù)無法實時更新，導(dǎo)致決策滯后。
• 運維成本高昂： ES 架構(gòu)復(fù)雜，需獨立維護(hù)協(xié)調(diào)節(jié)點、數(shù)據(jù)節(jié)點、主節(jié)點，集群維護(hù)困難，故障排查耗時長，導(dǎo)致運維成本高昂。

為此，上海證券進(jìn)行了系統(tǒng)升級，在開戶結(jié)果分析中引入了 SelectDB，并在活動關(guān)系及實時戰(zhàn)報模塊中使用 SelectDB 替換原 Elasticsearch 組件，作為實時分析引擎，實現(xiàn)流批一體架構(gòu)。SelectDB 的寫入吞吐能力是 Elasticsearch 的 4 倍，有效解決了數(shù)據(jù)同步延遲高的痛點。升級后，系統(tǒng)能夠直接消費 Kafka 客戶行為流，將數(shù)據(jù)同步時效壓縮至秒級。同時，借助 SelectDB 倒排索引能力及豐富的運維生態(tài)，復(fù)雜查詢響應(yīng)速度提升了 2 倍，整體運維成本大幅降低。

SelectDB 的引入使得上海證券金融 CRM 系統(tǒng)實現(xiàn)了秒級實時閉環(huán)，系統(tǒng)能夠?qū)崟r獲取客戶開戶流程中的斷點情況，通過持續(xù)分析客戶操作流，精準(zhǔn)識別如資料提交中斷等關(guān)鍵斷點事件，并實時生成 MOT 任務(wù)，推送至客戶經(jīng)理移動端。這使得客戶經(jīng)理能夠及時觸達(dá)客戶，引導(dǎo)續(xù)接開戶流程，將斷點問題解決時效提升至分鐘級別。

應(yīng)用收益

上海證券通過引入 SelectDB 構(gòu)建數(shù)據(jù)平臺，有效解決了原 Hadoop 與 Elasticsearch 架構(gòu)的關(guān)鍵瓶頸，在性能、成本等方面實現(xiàn)顯著突破：

• 突破實時分析瓶頸，分析效率躍升： 基于 SelectDB 直接消費 Kafka 客戶行為流，寫入性能提升 4 倍，數(shù)據(jù)同步延遲壓縮至秒級，解決 Elasticsearch 同步效率低導(dǎo)致的決策滯后問題。借助 SelectDB 倒排索引能力及復(fù)雜聚合查詢能力，支撐 1000+ QPS 高并發(fā)訪問，關(guān)鍵決策響應(yīng)延遲低至 200 ms，響應(yīng)效率翻倍；

• 湖倉 & 流批一體架構(gòu)，有效降低成本： 基于 SelectDB 的數(shù)據(jù)平臺可直接訪問 HDFS/Hive 數(shù)據(jù)，實現(xiàn)湖倉一體，復(fù)用現(xiàn)有存儲資源，降低遷移成本。此外，SelectDB 精簡的架構(gòu)設(shè)計和豐富的運維生態(tài)，可同時處理流式與批量數(shù)據(jù)，避免多套系統(tǒng)協(xié)作開銷，大幅簡化集群管理，數(shù)據(jù)開發(fā)效率提升 50%，運維成本大幅降低。

參考文檔：網(wǎng)易數(shù)帆,DataOps全球峰會 | 網(wǎng)易數(shù)帆特色實踐護(hù)航數(shù)據(jù)價值落地