同盾科技是中國領先的人工智能科技企業，專注決策智能領域，致力于幫助政企客戶防范風險、提升決策效率。同盾科技堅持自主科技創新，多項算法和軟件系統已達全球領先水平，并形成了“基于隱私計算的共享智能平臺-智邦”和“基于人工智能的決策智能平臺-智策”兩大平臺，聚焦于金融風險、安全風險、政府治理風險三大場景，業務覆蓋全球數十個國家，為 22 大行業、118 個細分場景的上萬家客戶提供了領先且獨具特色的決策智能解決方案。
風控業務場景對數據庫的需求與挑戰
作為一家第三方風控公司，客戶經常需要調用同盾的智能決策服務去做業務決策，如電商大促期間防范黑產薅羊毛，個人信貸杜絕多頭借貸老賴行為等。因此，同盾服務調用常常呈現出非常大的 TPS 請求。同時，為了不影響客戶調用服務的質量與體驗，同盾對低延遲和高可用有著硬性要求。
(相關資料圖)
基于這樣的特征，同盾日均過億的決策服務調用，會產生包括非結構化/結構化多種數據結構類型在內的海量數據入庫。豐富的數據類型與多樣的細分場景，使得同盾科技必須使用多種數據庫去滿足不同的業務場景需求，在同盾的數據架構中包含了 Cassandra、MySQL、HBase、Redis、Mongo 等數據庫。
在同盾的數據架構中，大多數初始落庫的數據還比較原始，為了提供優質的數據服務用于智能決策，技術團隊構建了成熟的大數據平臺，用 T+1 離線數據分析的方式去進行日常的離線數據分析作業，利用數據二次加工賦能上層的風控智能決策。
但面對復雜的數據基礎架構，同盾在業務增長中也遭遇了如下挑戰：
·同盾擁有在線數千個大大小小的 MySQL 工作實例，數據十分分散，有一些是核心的風控業務系統數據，有一些是后臺基礎架構平臺的數據，還有一些是集團 IT 系統數據，同盾希望通過集中化的方式對這些數據進行分析管理；
·最開始同盾將上游 MySQL 數據同步到下游進行分析，但整個過程中數據交換工作效率非常低，整體作業分析的 SLA 無法得到保證；
·由于上下游數據同步的阻塞問題，導致了離線數據同步實時性很差，上下游數據經常出現數據不一致的情況，非常影響提供給作業的數據質量。
其實同盾科技的業務場景并不復雜，只需要同步生產環境中數千個 MySQL 實例至下游的離線系統，提供給作業開發人員通過大數據平臺進行離線分析加工。項目的核心目標是在海量數據落庫下，保障在線到離線數據的數據庫的準實時性和一致性，并提供優質的數據服務給內部的風控系統開發人員、算法模型工程師和運營人員加工數據。
為什么選擇 TiDB？
經過長時間調研，同盾科技的技術團隊最后選擇了新一代分布式數據庫 TiDB 作為離線層的核心數據庫。同盾科技數據庫運維梁高升表示，主要有以下幾點原因最終促成同盾選擇 TiDB：
首先，TiDB 高度兼容MySQL協議，在 TiDB 的使用和運維過程中大大減輕了運維和開發人員的使用成本；
第二，TiDB 作為分布式數據庫，同盾可以把它看成一個大的數據庫實例，可以匯聚上游所有的MySQL實例數據；
第三，TiDB 具備存算分離的架構，可以讓同盾非常靈活地控制硬件成本，而不用一味堆砌服務器；
最后，TiDB 擁有非常活躍的社區。即使在使用 TiDB 的過程中遇到一些問題也馬上能在社區得到解決。
解決方案
最終，同盾科技數據庫團隊構建了一整套基于 TiDB 的數據流轉架構，該架構共分為三層：
實時數據層
同盾內部有 3000+ MySQL實例，在實時數據庫層通過 MySQL cloud 管控上游數千個 MySQL。
傳輸層
在傳輸層，從 MySQL Cloud 對接實時數據同步任務到內部 Otter ，Otter 可以實現準實時同步 MySQL 數據，然后再由 OTTER 實時同步數據到 TiDB。
上下游同步組件決定了數據在下游離線場景的整體數據質量，同盾對數千個 MySQL 實例同步數據的同時，需要保證其穩定性、低延遲及整體可控的管理成本。雖然 PingCAP 數據遷移工具 DM 支持全量/增量靈活的數據導入場景，并具有較快的導入速率，但目前單個 DM worker 只支持綁定一個數據源，這限制了管理大量 MySQL 同步任務的需求。同盾最后選擇使用 OTTER 作為常態化的數據增量同步平臺，但 OTTER 只支持增量數據同步，且單任務吞吐有上限，同盾通過使用其支持 spark streaming 來進一步保障同步得吞吐和準實時性。未來在 TiDB 推出一個 DM worker 支持多個數據源的特性后，同盾會再考慮進行替換。
離線數據層
離線數據層中的大數據平臺主要管控 TiDB 的元數據和實際到下游的同步情況。 在 Spark 運行作業的過程中通過 TiSpark 去訪問 TiDB，最后接入 Hadoop 進行分析作業。
業務收益
通過打造 TiDB 數據產品鏈，同盾科技實現了數千個 MySQL 數據的離線匯聚管理。TIDB 有著便捷易操作的 Dashboard 管理界面，運維無心智負擔，大大提升了數據庫運維團隊的管理運維和使用數據的便捷性與效率。同時，TiDB 的高性能保障提供高質量的數據服務，實現了準實時同步數據。
同盾科技數據庫運維梁高升介紹，同盾剛開始上線的是 TiDB 2.0 早期版本，在上下游數據同步過程中遇到了一些 TiDB 和 MySQL 不那么兼容的情況，如果在上游有大量數據更新的情況下，會出現同步阻塞的情況，導致同步的實時性、一致性出現問題。但 TiDB 版本迭代速度非常快，每個版本都會對性能及穩定性做出大量改進和優化，在升級到 5.4 版本后，同盾就已經解決了大部分的兼容問題。而且在基準測試中，TiDB 的性能也得到了質的飛躍。
未來規劃
同盾科技是 TiDB 非常早期的用戶，多年的使用讓同盾確信 TiDB 是一款非常好的產品，未來也會繼續致力于在更多的場景依靠 TiDB 生態落地賦能一些業務場景。例如，雖然同盾的大部分作業是 T+1，但內部也有很多實實在在的實時分析場景，比如實時展示的 BI 系統，通過TiFlash 實時分析查詢引擎可以進一步提升分析效率，更及時地滿足實時分析需求；同盾國內在線業務針對海量關系型數據庫初始使用的是 MYCAT，但是 MYCAT 的運維非常困難，對開發也不是很友好，更像是上一代的分布式數據庫產品。后續，類似 MYCAT 這樣的場景也很有必要使用 TiDB 進行替換。
近幾年，隨著出海趨勢愈發火熱，同盾科技在出海業務勢頭也非常迅猛，業務涉及東南亞、北美、歐洲等多個區域，這就需要在谷歌云、AWS、阿里云等通用公有云上，有一款標準的分布式數據庫服務，幫助其在全球快速布局業務。而 TiDB Cloud 已經在各大主流公有云上提供服務，這也給同盾科技構建堅實的技術底座提供了更好的選擇。
樂活HOT
-
四川正式啟動三級保供電調控措施
繼8月11日、14日連續兩次召開電力保供工作緊急視頻會議后，8月15日，四川再次召開電力保供調度會。記者從會上獲悉，預計全省最大用電負荷將
-
前7月四川能源項目累計完成投資4
今年以來，四川積極擴大能源領域有效投資，前7月能源項目累計完成投資493億元、同比增長4%。8月15日，省能源局相關負責人介紹，前7月煤炭類
-
四川加力加勁堅決遏制事故多發頻
8月15日，全省防汛減災、森林草原防滅火工作電視電話會議召開，深刻汲取彭州8·13山洪災害教訓，分析研判當前形勢，安排部署下一步重點工作
-
四川攀枝花推動打造職業能力建設
8月9日，攀枝花技師學院實習工廠里，焊花四濺，機器聲此起彼伏。身穿工作服的教師周樹春，在一間間操作室里進進出出，指導學生們焊接。過去
-
上半年湖南物流需求平穩增長行業
記者從省發改委獲悉，上半年全省物流需求平穩增長，行業運行總體平穩。全省社會物流總額64096 2億元，同比增長4 4%;全省物流業總收入為2270
-
湖南各地工業企業忙生產全力以赴
在全球最大地下工程裝備制造基地，掘進機生產計劃已排到年底;千億級工程機械產業園區邊建設邊生產，打造智能制造標桿……時已立秋，三湘大
-
江西贛州醫療衛生服務體系進一步
上猶縣水巖鄉衛生院醫生蔡昌才驅車前往金盆村為村民駱運招治病。以往，每月去醫院就診不僅路途遠，還要排隊。這幾年有了家庭醫生后，直接送
-
江西堅持問題導向推進藥品安全專
今年2月以來，省藥監局深入開展藥品安全專項整治行動，堅持問題導向，以嚴厲打擊違法犯罪行為、全面排查風險隱患為手段，推進專項整治行動
-
江西九江多舉措為創業者營造良好
沒想到，現在直接在窗口就能辦理，真是太方便了。蔣瓊在九江市經營一家造型工作室，近期有意擴大生意規模，需要資金周轉。她帶齊資料來到九
-
上半年江西新余全市外貿進出口總
記者從新余海關獲悉，今年上半年，新余市外貿取得了較好成績，全市外貿進出口總值184 3億元，同比增長84 3%，高出全國平均水平74 9個百分點
-
南昌高新區多舉措推動重點項目建
作為南昌市第二季度集中開工的重大項目之一，南昌數谷產業園項目總投資100億元，計劃2024年5月完工交付使用，擬引進字節跳動、華為(南昌)工
-
安徽淮南頒發優才卡落實高層次人
淮南市向中國工程院院士、安徽理工大學校長袁亮頒發了第一張淮南市高層次人才優才卡。為深化我為人才辦實事實踐活動，落實高層次人才服務保
-
宿州市埇橋區細化工作舉措筑牢防
連日來，宿州市埇橋區不斷細化各項工作舉措，壓實防汛各項責任，提升應急救援保障能力，筑牢防汛安全堤。目前，該區防汛物資已儲備到位，全
-
安徽無為市“交地即交證”優化營
近日，無為市自然資源和規劃局、無為市福渡鎮人民政府在無為潤峰中海置業有限公司項目部現場舉行交地即交證頒證儀式，標志該市交地即交證優
-
安徽全椒縣推動農村寄宿制學校試
設施齊全的衛生食堂、水沖式的獨立衛生間、樓道墻體粉刷一新的宿舍……走進安徽省全椒縣武崗學校，已經運行滿一年的農村特色寄宿制學校成果
娛樂LOVE
安徽安慶市正式成立“老年助餐慈善基
記者日前從安慶市民政局獲悉，該市慈善會近日設立老年助餐慈善基金，共同守護老年人舌尖上的幸福。該基金專項用于資助城鄉社區老年食堂、社
安徽淮北積極落實2022年電網防汛度汛
近日，國網淮北供電公司工作人員來到110千伏中泰變電站開展防汛隱患排查。該公司積極落實2022年防汛度汛措施，提前細化應急預案，推進極端
安徽全椒縣完善拓展人力信息資源助企
今年以來，全椒縣不斷完善拓展人力資源信息庫、勞務對接信息庫、企業用工需求信息庫三庫信息資源，已摸排400多家次企業缺工崗位信息1 2萬個
宿州市埇橋區柔性引進博士推進鄉村振
宿州市埇橋區實施博士匯工程，柔性引進29名博士擔任副鄉鎮長或園區副主任，他們將為加快產業發展、推進鄉村振興強化智力支持。目前，博士專
安徽印發出臺全面實施零基預算改革方
為進一步提高財政資源配置效率和資金使用效益，省政府印發《安徽省全面實施零基預算改革方案》，明確從編制2023年預算起，在全省范圍內全面
5月份安徽居民消費價格同比上漲2.3%
近日,國家統計局安徽調查總隊發布了我省5月份居民消費價格統計數據。統計顯示,我省居民消費價格同比上漲2 3%,同比漲幅比上月回落0 4個百分
安徽多種方式引導群眾防范非法集資風
合肥地鐵1號線、3號線上滾動播放防范非法集資宣傳視頻,淮南市發布《致老年群眾的一封信》……6月份是一年一度防范和處置非法集資宣傳月,今
鐵路部門持續加大長三角地區運力投放
記者從中國鐵路上海局集團有限公司獲悉,隨著上海疫情防控形勢持續向好,為進一步適應旅客出行需要,助力復工復產,鐵路部門自6月10日起持續加
安徽六安持續精準施策全力促進工業發
六安市與蔚來汽車簽署合作協議,共建智能電動汽車零部件配套產業園區。該園區一期計劃2023年上半年投產,建成后將具備年產30萬噸鋁壓鑄產能,
安徽淮北全力維護外賣送餐員合法權益
為切實防范化解新業態領域重大風險隱患,強化外賣送餐員權益保障工作,淮北市市場監管局充分發揮職能作用,全力維護外賣送餐員合法權益。淮北
湖南漣源開展專項行動一對一為企業紓
位于漣源市的湖南三合美新材料科技有限公司，兩條生產線滿負荷運行，生產聚氨酯和巖棉復合板。因產品升級與產能擴充，急需新增兩條生產線，
湖南藍山縣進村入戶排查整治自建房安
老叔，這棟房屋墻體有開裂痕跡，要維修加固，安全重要!5月20日，藍山縣塔峰鎮果木村，黨員干部上門開展農村自建房安全隱患排查整治。連日來
一季度湖南萬元產值綜合能耗同比下降
近日，湖南省工業通信業節能監察中心發布一季度全省六大高耗能行業能源消耗統計監測報告。據該報告，一季度全省146家主要高耗能企業的萬元
濟南起步區一年來累計簽約優質項目11
萬里黃河第一隧濟南黃河濟濼路隧道建成通車，占地4000余畝的新能源乘用車零部件產業園加快施工……記者21日采訪獲悉，建設實施方案獲批復一
山東發布通知啟動傳統民居保護利用試
省住房城鄉建設廳、省財政廳近日聯合印發《關于做好傳統民居保護利用試點工作的通知》，在全省部署開展傳統民居保護利用試點工作。此次試點