國產分布式數(shù)據(jù)庫發(fā)展趨勢分析

來自twt社區(qū)同行交流，歡迎更多同行參與交流國產分布式數(shù)據(jù)庫誰主沉浮，何以主沉浮？近日看了一個三方技術網(wǎng)站關于2021年6月國產數(shù)據(jù)庫流行度的排名榜，TiDB、Oceanbase、PolarDB位居榜上前三甲。當然，這個排名榜不一定絕對的客觀和真實，但也代表了國內企業(yè)在國產分布式數(shù)據(jù)庫選型的一種趨勢。作為IT行業(yè)的老兵，無論你身在什么行業(yè)，位居什么高度，我們都應該透過這個黃榜，來看看導致這一趨勢的根本原因在于什么？究竟是這個產品的哪些特性幫助它實現(xiàn)了三甲之名？希望經驗者能在以下幾個方面提供這些產品可以立于不敗之地的特性：1.橫向擴展的能力以及穩(wěn)定性如何？2.金融交易級的高可用和容災要求是否可以達標？3.底層的存儲引擎是什么類型？用戶是否可以選擇更適合業(yè)務類型的存儲引擎？4.并發(fā)控制與讀寫性能之間是如何均衡處理的？5.可以包容的數(shù)據(jù)類型是什么（表、鍵值、文檔...）？6.是否適合大規(guī)模的云環(huán)境，包括部署及運維的自動化兼容程度？7.特定的應用場景和通用的應用場景都能達到什么樣的性能指標？8.針對MySQL、Oracle之類數(shù)據(jù)庫的兼容性，遷移的難易度如何？在以上諸多方面，其他的國產數(shù)據(jù)庫果真相差很多么？比如說GaussDB、TDSQL、SequoiaDB等等。相信用實實在在的技術特性、參數(shù)以及實踐案例描述排出來的名次或者報告更可靠，愿大家各獻薄力，完善一份屬于技術人內心當中的“技術榜”。問題來自社區(qū)會員@趙海技術經理，下文來自twt社區(qū)眾多同行實踐經驗分享，歡迎大家參與交流，各抒己見。*“爭議”欄目內容來自同行分享的一手體驗和觀察，僅代表個人觀點@fanyqing廈門銀行系統(tǒng)架構師：國產數(shù)據(jù)庫目前正處于百家爭鳴、百花齊放的戰(zhàn)國爭雄時代，還談不上誰主沉浮。國產數(shù)據(jù)庫的實現(xiàn)技術五花八門，但歸根結底，不外乎兩大技術路線：數(shù)據(jù)庫訪問中間件和原生分布式數(shù)據(jù)庫。1)數(shù)據(jù)庫訪問中間件。中間件不保存數(shù)據(jù)，只負責數(shù)據(jù)的分片、數(shù)據(jù)匯總和事務的一致性等功能，后端的關系型數(shù)據(jù)庫負責數(shù)據(jù)的處理，因此，大都用于數(shù)據(jù)量大、并發(fā)要求高的OLTP場景；2)原生分布式數(shù)據(jù)庫。因重構數(shù)據(jù)庫系統(tǒng)，原生支持分布式事務處理與數(shù)據(jù)切分。在實際使用時，應根據(jù)業(yè)務場景，從數(shù)據(jù)的分片策略、數(shù)據(jù)的更新方式、數(shù)據(jù)的存儲結構、日志類型、數(shù)據(jù)的一致性技術等方面進行數(shù)據(jù)庫的選型。如對于寫敏感的業(yè)務，分片策略可以選擇Hash方式，保證數(shù)據(jù)的平衡分布；數(shù)據(jù)更新方式可以選擇Append-Only方式，提高寫性能；分析型業(yè)務，在數(shù)據(jù)庫選擇時，數(shù)據(jù)的存儲結構可選擇列存，數(shù)據(jù)如需回滾，應支持undolog等。因此，從技術實現(xiàn)上看，就沒有一款可以包打天下的數(shù)據(jù)庫，在實際使用時，應根據(jù)業(yè)務場景和業(yè)務特點，選擇合適的數(shù)據(jù)庫。當然，在實際選型時，還應關注產商的研發(fā)能力、以及實施的案例等。@ht025某證券：就目前來看，國產分布式數(shù)據(jù)庫各項性能差別不會太大，選型主要還是要看具體應用場景，我司目前主要用的是Oceanbase，應用場景還不多，只是在嘗試使用。@lulihuan1987張家港行數(shù)據(jù)庫管理員：這個三方技術網(wǎng)站每月的國產數(shù)據(jù)庫的排名是流行度排名，評價體系有待商榷，而且很容易給人誤導認為是產品“好與壞”的排名，國產數(shù)據(jù)庫目前來看都是出于起步期，本身問題也不少，還是需要靜下心來打磨產品，自封的沒意思，等真正把O替下來之后再說。以下分享使用TDSQL的一些經驗：-橫向擴展的能力以及穩(wěn)定性如何？TDSQL支持在線擴展，計算和存儲緊耦合，擴展原則：2分片->4分片->8分片->。。。->128分片及以上，擴展速度較快（速度接近于物理復制，主要取決于物理磁盤和網(wǎng)絡），實測和實際應用穩(wěn)定性高。-金融交易級的高可用和容災要求是否可以達標？TDSQL組件高可用，同城機房可以同時接入業(yè)務，異地災備通過日志進行同步，能夠滿足金融級高可用和容災，已經有銀行核心系統(tǒng)應用案例。-底層的存儲引擎是什么類型？用戶是否可以選擇更適合業(yè)務類型的存儲引擎？TDSQL存儲引擎基于MySQL的InnoDB，計算和存儲在同節(jié)點，目前性能和穩(wěn)定性均較高，暫時不支持使用其他存儲引擎。-并發(fā)控制與讀寫性能之間是如何均衡處理的？TDSQL并發(fā)控制基于業(yè)務設計和數(shù)據(jù)分布情況，盡可能規(guī)避鎖以提升讀寫性能。-可以包容的數(shù)據(jù)類型是什么（表、鍵值、文檔...）？TDSQL目前僅支持結構化數(shù)據(jù)，不建議存儲非結構化數(shù)據(jù)。-是否適合大規(guī)模的云環(huán)境，包括部署及運維的自動化兼容程度？TDSQL存儲和計算緊耦合，在云環(huán)境中部署性能沒有物理機單獨部署性能高；TDSQL目前部署和運維自動化程度較高，尤其是運維，提供管理、監(jiān)控、性能分析、同構/異構數(shù)據(jù)同步等各種自動化運維功能。-特定的應用場景和通用的應用場景都能達到什么樣的性能指標？TDSQL在銀行核心環(huán)境中高頻交易混合場景，單節(jié)點可以達到1500TPS（150000QPS）左右，備注，2019年7月在張家港農商行新核心系統(tǒng)實測數(shù)據(jù)。-針對MySQL、Oracle之類數(shù)據(jù)庫的兼容性，遷移的難易度如何？TDSQL與MYSQL兼容性高，內核基于MySQL，遷移難度低；TDSQL與Oracle兼容改造較多，遷移難度高。@寧澤陽某科技公司系統(tǒng)工程師：基于MySQL做的數(shù)據(jù)庫很多，主要還是拼穩(wěn)定性和對運維簡易度，有大規(guī)模使用場景的公司產品競爭力會大一些，畢竟經過考驗。了解的不多，TDSQL還是很不錯的。@icycastle某證券公司數(shù)據(jù)庫管理員：從傳統(tǒng)數(shù)據(jù)庫遷移到分布式數(shù)據(jù)庫，應用程序兼容性還是遇到了很多問題，數(shù)據(jù)遷移工具，數(shù)據(jù)分布，多表連接性能問題，數(shù)據(jù)庫備份等等，只能慢慢磨合了。@金融企業(yè)架構師：-橫向擴展的能力以及穩(wěn)定性如何？SequoiaDB、GoldenDB、TDSQL、OceanBase基本屬于MYSQL系，GaussDB基本屬于PG系；擴展能力可參照原生DB擴展能力。-底層的存儲引擎是什么類型？用戶是否可以選擇更適合業(yè)務類型的存儲引擎？SequoiaDB、OceanBase相對來講是屬于自研存儲引擎，更適合設計初衷場景；GaussDB（繼承PostgreSQL）、GoldenDB&TDSQL（繼承MySQL）更兼顧通用場景。-并發(fā)控制與讀寫性能之間是如何均衡處理的？采用樂觀鎖：SequoiaDB采用悲觀鎖：OceanBase、GaussDB-可以包容的數(shù)據(jù)類型是什么（表、鍵值、文檔...）？表、JSON大部分都支持，但是基本以二維表為主。-是否適合大規(guī)模的云環(huán)境，包括部署及運維的自動化兼容程度？云環(huán)境的部署及自動化程度優(yōu)秀者當屬OceanBase，因為它有先天環(huán)境優(yōu)勢。-特定的應用場景和通用的應用場景都能達到什么樣的性能指標？看看誰愿意提供一個POC報告。-針對MySQL、Oracle之類數(shù)據(jù)庫的兼容性，遷移的難易度如何？除了達夢DB，其他的都會面臨Oracle特有SQL語義及函數(shù)的改造問題。MYSQL相對容易，因為多數(shù)都是基于MySQL的。@張文正dcits系統(tǒng)工程師：每個數(shù)據(jù)庫都有一定的優(yōu)勢和使用場景，目前做信創(chuàng)公司正在推達夢和華為GaussDB數(shù)據(jù)庫，具體還是在使用中給出結論吧！@沈天真浪潮售前支持：最后勝出的應該是在企業(yè)有大規(guī)模應用案例的，至于所謂的榜單，仁者見仁，智者見智了。@某金融企業(yè)架構師：分享我的了解和實踐感受，歡迎探討：TiDB、OceanBase是分布式數(shù)據(jù)庫，其中OceanBase也分MySQL版和Oracle版。MySQL版，社區(qū)版MySQL版的多節(jié)點mgr架構在MySQL版的OceanBase

中也有對應的架構，底層也是paxos算法，有好多自己的工具，比如遷移工具，同步工具，運維平臺等等。PolarDB是云原生關系型數(shù)據(jù)庫PolarDB有三個獨立的引擎，包括Oracle、MySQL、PG版。OceanBase

和騰訊的TDSQL在金融領域有很多在使用，TIDB在互聯(lián)網(wǎng)領域例如58同城有大規(guī)模使用。達夢主要在電力行業(yè)，例如國家電網(wǎng)，人壽保險、銀行也很多；兼容Oracle好，支持oci接口。Oracle有的功能、架構，比如RAC、OGG、DG，達夢都有對應的產品，名字不同而已；政府行業(yè)很多達夢的產品，業(yè)內口碑還不錯，屬于老牌DB了。像GaussDB，有PG版的和MySQL版的，比如想遷移到Oracle或者其他DB，都有自己的遷移工具，運維平臺，具體語句兼容，語法兼容都需要現(xiàn)場真實測試。像SequoiaDB是newsql的一種，底層自己寫的存儲引擎，類似Mongodb那種，其他的不太清楚。總之國產數(shù)據(jù)庫選型，選架構都是根據(jù)業(yè)務來的，不同的場景有不同的組合；現(xiàn)在穩(wěn)定性、性能不是問題，關鍵在于你用的如何。@he7yongCanway研發(fā)工程師：國產分布式數(shù)據(jù)庫（關系型數(shù)據(jù)庫，OLTP）在國內形勢一片大好，特別是在信創(chuàng)大背景的驅動下，很多的金融企業(yè)已經開始