AI-Native數(shù)據(jù)庫正在打造新一代金融基礎設施

阿拉?。ˋladdin）系統(tǒng)的繁榮，印證著科技改變了華爾街的證券規(guī)則。

王樑，數(shù)據(jù)庫領域資深專家。從事IT行業(yè)18年，曾擔任北京電信數(shù)據(jù)中心運維經理，中科軟科技股份有限公司項目經理；參與國家減災中心數(shù)據(jù)中心、某省公安廳數(shù)據(jù)中心等項目的規(guī)劃及建設工作。該系統(tǒng)將復雜的風險分析與綜合投資組合交易整合在一個平臺上，可以達成每天監(jiān)測2000+風險因素，每周進行5000次投資組合壓力測試和1.8億次期權調整計算，為逾100個國家/地區(qū)的機構提供服務，全球依賴這一平臺運作的資金規(guī)模超過15萬億美元。同樣，在全球智能投顧領域，Wealthfront是一個令無數(shù)金融機構難以望其項背的名字。其客戶就職最多的企業(yè)依次是Google、Facebook、LinkedIn、Microsoft、Twitter等。與“人機混合”模式的智能投顧不同，Wealthfront身體力行地將金融民主化的理想變成現(xiàn)實，始終站在客戶的角度，最大化客戶利益。

讓每個人都能實時看到同樣高質量的數(shù)據(jù)，源于金融信息化從面向流程驅動轉向面向數(shù)據(jù)化驅動，才能實時進行前端的個性化處置。本質是金融業(yè)務底層的基礎設施發(fā)生了變遷。

DT對IT的斷崖式洗牌
金融業(yè)務底層基礎設施發(fā)生的變遷，源于DT對IT的斷崖式洗牌。首先，算法上摩爾定律失效，不再依靠單個算法性能優(yōu)化提升，而是通過大規(guī)模分布式，以及大規(guī)模協(xié)同算力來提示算法的效率和性能；其次，互聯(lián)網帶來數(shù)據(jù)實時消費需求，行為生產的數(shù)據(jù)被即席處理消費，個人點擊流的行為被用作個性化商品推薦，爆發(fā)第三波行為數(shù)據(jù)紅利；最后，算法重構世界，在今天的數(shù)字經濟中，很多基于經驗規(guī)則流程的商業(yè)實踐，甚至一些物理的公理定理，都開始讓位于數(shù)據(jù)和算法所訓練生成的新的知識。這是兩個賽道的技術，原來的流程驅動的業(yè)務Java代碼可復用，形成IT時代的信息化系統(tǒng)，而數(shù)據(jù)驅動的業(yè)務是輸入、輸出一體化，將數(shù)據(jù)、程序和商業(yè)結果一起輸入，通過智能化系統(tǒng)來生產出程序，形成DT時代的智能化服務應用。面向資源服務的虛擬化被面向服務的容器化替代，面向數(shù)據(jù)可視化、面向分析的BI操作被面向執(zhí)行的AI所替代。以****為例，如今****開始互聯(lián)網的消費化，越來越強調體驗的實時性，交易和分析場景必須一致。傳統(tǒng)的解決方案，一般都是采用數(shù)據(jù)倉庫T+1匯聚交易數(shù)據(jù)，進行復雜分析，形成分析結果。分析結果如果需要支持高并發(fā)服務應用，就要導入一個關系型數(shù)據(jù)庫，支持高并發(fā)應用服務。在這個傳統(tǒng)解決方案中，數(shù)據(jù)需要從業(yè)務系統(tǒng)遷移到數(shù)據(jù)倉庫中，分析結果還需要從數(shù)據(jù)倉庫再遷移到關系型數(shù)據(jù)庫中，支持高并發(fā)數(shù)據(jù)服務，因此數(shù)據(jù)需要在這三個數(shù)據(jù)庫之間進行傳輸，這種數(shù)據(jù)傳輸產生數(shù)據(jù)量大、延遲高、數(shù)據(jù)冗余等問題。要是在分析任務有所變更的情況下，代價會更大。當今業(yè)務日趨爭分奪秒，都期待可以突破T+1日的桎梏，走向更加實時的響應。互聯(lián)網興起后，應用程序需要每秒支持數(shù)十萬甚至數(shù)百萬個事務，每個事務的處理延遲以毫秒為單位?；ヂ?lián)網帶來的行為數(shù)據(jù)要遠遠大于交易數(shù)據(jù)，而且需要高并發(fā)、高擴展、更松耦合的高服務架構能力來完成。舉個例子：****營業(yè)廳的個性化理財服務推銷，就需要大量數(shù)據(jù)倉庫中的加工分析結果數(shù)據(jù)，直接推送到一線營業(yè)廳的服務人員的終端上，進行實時營銷處理。我們再把場景聚集到一個營業(yè)廳，假設某天營業(yè)廳應用有六萬多人，同時在線需要至少五百個并發(fā)/秒，理財經理要在某一時刻看到大客戶的結息、凈值等一系列的數(shù)據(jù)服務，且都是個性化的，這種個性化服務業(yè)務需求是傳統(tǒng)數(shù)據(jù)倉庫架構無法支撐的。首先，能夠統(tǒng)一支撐事物處理和工具負載分析的數(shù)據(jù)庫成為必須需求。我們很少看到Google宕機，因為它不是靠單集群可用性來保證，而是靠整個集群的服務來保證性能。在行為數(shù)據(jù)中誕生了新的架構，就必須生成一個新的分布式架構。近年來，混布數(shù)據(jù)庫在****承載了很大使命：一方面，滿足海量數(shù)據(jù)強交易場景；另一方面，權益類服務也和其他服務一樣，需要計時實時處理。****通過引入HTAP數(shù)據(jù)庫產品，實現(xiàn)業(yè)務交易和數(shù)據(jù)分析緊密結合，TP側支持大量交易流水存儲，提供交易相關的基礎數(shù)據(jù)；AP側滿足大數(shù)據(jù)量、復雜的SQL查詢，并支持秒級響應，HTAP優(yōu)化的融合架構提供更高的處理時效并減少數(shù)據(jù)副本存儲量。其次，數(shù)據(jù)使用者發(fā)生變化，實時高并發(fā)處理成為常態(tài)。數(shù)據(jù)生產方式的變化導致數(shù)據(jù)使用者也發(fā)生變化。傳統(tǒng)的數(shù)據(jù)消費者是決策者，領導根據(jù)數(shù)據(jù)分析結果進行宏觀決策服務。在個性化服務的時代，數(shù)據(jù)的消費者不再是少數(shù)領導者，還有一線服務人員，一線人員根據(jù)數(shù)據(jù)分析結果實現(xiàn)個性化服務，這讓高并發(fā)和實時處理成為常態(tài)。如圖1所示，在某行****中心項目中，將****核心系統(tǒng)、信審無紙化系統(tǒng)、客戶決策管理系統(tǒng)的數(shù)據(jù)通過數(shù)據(jù)同步工具與在線交易系統(tǒng)聯(lián)通后，存入HTAP數(shù)據(jù)庫，來同時支撐簡單查詢與統(tǒng)計分析。）

圖1 某行****中心全量數(shù)據(jù)在線應用最后，使用“流批一體”的方式支撐數(shù)據(jù)分析（離線數(shù)據(jù)、實時數(shù)據(jù)）、機器學習、圖計算等多條數(shù)據(jù)流程。在傳統(tǒng)解決方案中，批計算平臺和流計算平臺是兩套不同的架構體系，批計算平臺一般是大數(shù)據(jù)平臺或者是數(shù)據(jù)倉庫進離線加工處理；流計算平臺一般會采用Flink的框架計算實時處理；由于是兩條系統(tǒng)、兩套算子、兩套UDF、兩套計算邏輯，一定會產生不同程度的誤差，這些誤差給業(yè)務方帶來了非常大的困擾。這些誤差不是簡單依靠人力或者資源的投入就可以解決的。因此，要構建“流批一體”服務平臺，支撐實時分析、實時營銷等算法模型的應用，通過混布的HTAP數(shù)據(jù)庫將面向管理的“分析”與面向應用的實時“處理”，以及面向AI的模型訓練與圖算法等通過數(shù)據(jù)庫實現(xiàn)融合，可以解決困擾用戶的架構難題。試想一下場景：授信企業(yè)將所獲貸款挪為他用，投資高風險渠道且投資失敗，所貸款項全部虧損，不僅影響了企業(yè)的再生產和經營過程，而且影響到整個產業(yè)供應鏈的正常運作。不是傳統(tǒng)分析不能解決，而是在實際業(yè)務辦理過程中，供應鏈金融關系錯綜復雜，不是簡單分析能呈現(xiàn)的。伴隨著社會生活和經濟發(fā)展模式的全面轉型，為從數(shù)據(jù)中獲取更多價值，已經開始需要使用圖數(shù)據(jù)庫獲取深層次的統(tǒng)計信息。比起傳統(tǒng)的信息存儲和組織模式，圖數(shù)據(jù)庫能夠很清晰地揭示復雜的模式，尤其在錯綜復雜的金融風控業(yè)務上效果更為明顯，可謂是一圖勝過千言萬語。能支持流批一體的數(shù)據(jù)庫，更善于處理大量的、復雜的、互聯(lián)的、多變的網狀數(shù)據(jù)，其效率遠高于傳統(tǒng)的關系型數(shù)據(jù)庫的百倍、千倍甚至萬倍。如圖2所示，在實際智能權益服務平臺項目中，將用戶的行為數(shù)據(jù)、實時的交易數(shù)據(jù)以及地理數(shù)據(jù)、賬戶數(shù)據(jù)和外部數(shù)據(jù)一起通過“流批一體”匯入HTAP分布式數(shù)據(jù)庫，來支撐智能權益推薦與營銷活動策劃等實時應用。

圖2 智能權益服務平臺“流批一體”實時應用

AI-Native數(shù)據(jù)庫正在打造新一代金融基礎設施

如圖3所示，“BigIdeas 2021”提出“Deep Learning”概念，即軟件2.0時代。在軟件2.0時代，數(shù)據(jù)結構開始基礎設施化，同時高精尖的算法學習流水線化。

圖3 Deep Learning Is Software 2.0

軟件工程逐步由程序員個體腦力勞動生產，轉向數(shù)據(jù)驅動的算法應用自動生產，軟件將進入AI規(guī)模化生產階段。首先，人工智能做了一次表達能力的升級。我們所熟知的“Google 語音識別”還有“波士頓機器人運動姿態(tài)”都說明一個問題：算法具有極強的跨行業(yè)屬性，人工智能可以借數(shù)學語言通達感官遠遠不及的世界而仍保真。巴塞爾協(xié)議對我們的啟示是：預期損失是可以量化的，即預期損失率（EL）=違約概率（PD）*違約損失率（LGD）。這需要借助科技工具，精準的對信用進行量化，找到需求風險和利潤間的平衡點。AI的強項在于可以以極低成本發(fā)現(xiàn)信用風險。通過自動化特征工程與自動化機器學習建模，依靠海量數(shù)據(jù)和強大的分析能力，簡化模型生產流程，提升算法性能，建立起更全面、更客觀的信用體系，是金融機構與信用風險測評之間的紐帶。我們曾在證監(jiān)會共建的金融實驗室對56000+資管產品做模型預測，模型預測準確率高達80%，在第一次實踐應用中找準4支兌付風險，在第二次實踐應用中找準7支。要知道，金融機構發(fā)生的風險所帶來的后果，往往超過對其自身的影響。因此預測風險值的價值遠高于找準風險，這也是人工智能產品的價值。通過人工智能可以預測出風險值的高低，當風險高達某一數(shù)值，金融機構就要采取相應措施了，預防風險成為真正的事故。某券商資管圖譜的風險傳播利用復雜網絡作為載體，對資管業(yè)務中涉及的自然人、企業(yè)和資管產品之間的復雜關系進行建模，理順資金流動方向和風險傳遞方向，從而達到為經營機構預警，進行資產風險防范的目的。資管圖譜方案支持全面的觀察和****資管產品之間的關聯(lián)關系，并對風險傳染過程進行建模與量化。降低資管產品之間的風險耦合度，預防風險擴大。在實踐應用中，查詢層數(shù)大于二層時，相比較于傳統(tǒng)關系型數(shù)據(jù)庫查詢速度有數(shù)百倍到幾千倍的提升，千億規(guī)模的資產風險可以秒級發(fā)現(xiàn)。其次，人工智能中復雜網絡可做數(shù)據(jù)結構升維的隱含知識表達?；ヂ?lián)網時代的到來深刻地改變了人與人之間的連接方式，同時也為在更大規(guī)模上驗證人類網絡究竟有多小提供了可能。也就是說更大的網絡、更小的世界。而傳統(tǒng)關系型數(shù)據(jù)庫的每次關聯(lián)都需要一次log計算，是矩陣模型的計算量的N倍，其性能嚴重下降。復雜網絡則不同，它可以很好地呈現(xiàn)節(jié)點和關系網絡圖譜，在面對數(shù)據(jù)多樣、復雜、孤島化，以及單一數(shù)據(jù)價值不高的應用場景時，存在關系深度搜索、規(guī)范業(yè)務流程、規(guī)則和經驗性預測等需求，使用知識圖譜解決方案將帶來最佳的應用價值。如圖4所示，在查找與節(jié)點A相關的節(jié)點B的屬性信息時，使用復雜網絡只需進行一次log計算即可獲取結果，而如果要通過傳統(tǒng)數(shù)據(jù)庫的關系型模型實現(xiàn)，則需要通過至少N-1次jion才能得到結果（N=A節(jié)點的一度關聯(lián)個數(shù)），可以發(fā)現(xiàn)，如果進行大量此類結算，使用復雜網絡的矩陣模型在同等配置情況下將會節(jié)省大量查詢時間。

圖4 jion查詢對比示意

在證券行業(yè)，原來傘型配資在同一個實體賬戶上同時有多個配資者進行交易，非常容易抽象的刻畫行為。但到了一個實體賬戶上，同時只有一個配資者進行交易，大量實體賬戶被使用，隱蔽性越來越強，如何快速捕捉交易風格的快速切換？深度學習通過組合底層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布特征表示。與人工規(guī)則構成的方法相比，利用大數(shù)據(jù)來學習特征，更能豐富客戶數(shù)據(jù)的內在信息。比如券商的智查系統(tǒng)，可以應用深度學習孿生神經網絡模型，建模識別、監(jiān)測賬戶的使用一致性，找出潛在配資行為；采用聯(lián)邦學習技術，實現(xiàn)“數(shù)據(jù)不出門，可用不可見”，在保障數(shù)據(jù)安全情況下，最大化利用行業(yè)跨機構數(shù)據(jù)價值，充分發(fā)揮行業(yè)云的行業(yè)價值。梅特卡夫定律告訴我們，一個網絡的價值與聯(lián)網的用戶數(shù)的平方成正比。原來一個東西存在供需雙方，但在****數(shù)字經濟下，消費的數(shù)據(jù)也反哺給了我們，產銷合一，數(shù)據(jù)的消費者即生產者。與此同時，支撐金融智能時代的基礎設施技術需要升級跨越。相信隨著人工智能認知計算的普及落地，更多機器數(shù)據(jù)生產消費，AI-Native數(shù)據(jù)庫將會主導和統(tǒng)一市場，成為新一代金融基礎設施。

結語數(shù)據(jù)庫是基礎軟件皇冠上的明珠，是每一家公司業(yè)務系統(tǒng)的核心。在這個賽道上，甲骨文是一座繞不開的大山，只要市場上不出現(xiàn)替代者它可以一直坐享其成。國產數(shù)據(jù)庫起步晚，在信息、人才、技術等多重窘境之下，很多企業(yè)采用“拿來主義”的手段彌補國產技術的空白。要么基于開源系統(tǒng)改進，要么從廠商購買源碼授權。這有點像汽車產業(yè)，引進的人很多，但是自主升級開發(fā)卻很難。但中國大數(shù)據(jù)云計算的發(fā)展，傳統(tǒng)數(shù)據(jù)庫技術已經很難支撐，新一代AI原生國產數(shù)據(jù)庫才是新底座。達爾文說：“自然界的競爭，并無必然法則可尋，關鍵在于個體偶發(fā)，是個體自發(fā)變異主導著進化的必然?！闭l能提供支持混合負載的混布數(shù)據(jù)庫技術，提供流批一體技術服務，誰就能對抗西方在開源系統(tǒng)封裝服務領域的現(xiàn)有市場，就能定義新一代金融基礎設施。