170
技術與時代並行丨DBAplus Newsletter（2017年2月）
本期要聞：從DB-Engines近幾年的趨勢看數據庫的變革；Oracle 12cR2發布部分版本；MySQL 5.7.17 GR發布；PostgreSQL將發布10.0；MongoDB 3.4通過行業最嚴格的分布式數據庫測試；Redis最新漏洞和修複……更多資訊請閱讀全文。
本期目錄
一、推出DBAplus Newsletter的想法
二、DB-Engines數據庫排行榜
三、從DB-Engines近幾年的趨勢看數據庫的變革
四、RDBMS家族
-
Oracle 12c Release 2率先發布Exadata，SuperCluster版本
-
Oracle 12c Release 2特性解讀（點擊下載查看）
-
MySQL 5.7.17 Group Replication發布
-
MySQL 5.7新特性解讀（點擊下載查看）
-
SQL Server Linux版漲勢迅勐
-
PostgreSQL將發布10.0
-
DB2 For LUW發布11.1 Mod1 Fix pack1 版本
-
Greenplum補丁版本發布，Gemfire-Greenplum connector發布
-
MariaDB ColumnStore發布
五、NoSQL家族
-
MongoDB 3.4通過行業最嚴格的分布式數據庫測試
-
Redis最新漏洞和修複
-
HBase 1.3.0版本發布
-
Apache Geode 1.1.0版本更新
-
ClickHouse新秀登場
六、NewSQL家族
-
TiDB近期發布RC2版本
-
RethinkDB “死而複生”
七、大數據生態圈
-
Hadoop發布3.0.0 Alpha 2版本
-
GPText發布
-
HAWQ 2.1.1.0版本發布
八、國產數據庫概覽
-
GBase UP發布
-
巨杉數據庫SequoiaDB 2.6社區版發布
-
達夢DM V7.1.5.145發布
-
OceanBase 1.0版本可申請邀測試用
九、活動預告：MongoDB線下活動
十、感謝名單
溫馨提示
為方便閱讀，自本期起，Newsletter對RDBMS、NoSQL、NewSQL、大數據、虛擬化、國產數據庫等五個板塊的內容進行精簡，重點呈現，需閱讀全文的童鞋可到DBAplus公眾號後台回複“newsletter”至社群訂閱號下載完整版。
推出DBAplus Newsletter的想法
DBAplus Newsletter的主要目的就是向廣大技術愛好者提供數據庫行業內的一些技術發展趨勢，為社區的技術發展提供一個統一的發聲平台。為此我們策劃了RDBMS、NoSQL、NewSQL、大數據、虛擬化、國產數據庫等幾個板塊。
我們不以商業宣傳為目的，不接受任何商業廣告宣傳，嚴格審查信息源的可信度和準確性，力爭為大家提供一個純淨的技術學習環境，歡迎大家監督指正。
至於Newsletter的發布周期，目前的計劃是每兩個月左右會做一次跟進，下一期計劃時間是2017年4月10日-20日，如果有相關的信息提供請發送至郵箱newsletter@dbaplus.cn。
DB-Engines數據庫排行榜
以下取自2017年2月的數據，具體信息可以參考 https://db-engines.com/en/ranking/，數據僅供參考。
-
從DB-Engines近幾年的趨勢看數據庫的變革
DB-Engines 是一個中立的數據庫流行程度的排行榜，采用的指標包括全網的關鍵字提及度，Google Trends，Stackoverflow 上的問題和討論數量，相關的工作職位數量，Twitter 中的關鍵字提及程度等。基本上不會帶有評分者的個人感情色彩，不過由於語言和技術社區的原因，可能不能反映國內的情況，不過總體來說，是一個比較中立的排行係統。其中有個 Trend chart 的功能能看到選定數據庫近幾年的趨勢。
我們先來看看近幾年幾個最流行的數據庫，想必大家也非常熟悉了：Oracle 、MySQL、SQLServer、PostgreSQL。
值得注意的是，縱軸的評分，是按照對數作為階（logarithm scale）的，其實這麼看上去第一集團還是 Oracle / MySQL / SQLServer，PG 在快速追趕中，目前離第一集團大概還有 3~4 倍左右的差距，但 PG 作為這幾個老牌數據庫中斜率比較大的，大概在 2013 年年底有一個跳變，看時間點應該是 PG 9.3 的發布，隨後 PG 一直保持了非常穩健的向上發展趨勢，這個表現非常符合最近幾年 PostgreSQL 社區的快速發展，從 9.0 到去年的 9.6，PG 麵向傳統企業、互聯網、金融、物聯網、政企等行業發布了諸多特性，在 SQL 兼容性與時俱進，貼近最新發布的 SQL 標準，從社區發布的性能測試來看，單機 TPS 達到了 180 萬的水準。PostgreSQL 正在以自己的方式構建一個龐大的生態體係。這個數據也是比較符合直觀感受的。
單獨放大一下MySQL和Oracle的趨勢，這兩個全球最流行的數據庫，就有意思了。近兩年Oracle在DB-Engines排名上一直在走下坡路，而MySQL一直在穩步的上升，看趨勢應該在2017年Q2會迎來交點。
雖然不能代表Oracle不行了，因為Oracle目前仍然是全球企業級數據庫市場的王者，但不可否認的是， MySQL近幾年在社區的聲音幾年越來越大：從5.7開始性能和穩定性穩步提升，feature 方麵，比如5.7開始支持的JSON built-in functions，到正在Alpha的X-plugin中的 document store 的支持，從最近大熱的Group Replication到MyRocks這樣更多樣的存儲引擎。
另外基於MySQL生態的商業公司也越來越多，比如Percona、MariaDB等，生態做得一直蒸蒸日上。反之Oracle在社區發聲相比起來就少得多，雖然這麼比較可能不太公平，畢竟 MySQL 是個開源數據庫，另外這可能也是商業策略的一種（畢竟MySQL嚴格來說也是O家的）。但長期來看不管是DBA的培養，開發者的培養，MySQL龐大的社區基礎是其發展的後勁所在，而且MySQL的野心一定不隻於一個簡單的RDBMS，從Document store這樣的動作來看，應該也是感覺到了MongoDB等NoSQL的壓力，希望能擴大自己的版圖。
總體來說，我是非常看好MySQL的，龐大的用戶基礎+開發者社區+Oracle的技術團隊，未來一定會更好。
NoSQL也是近幾年不可忽視的一股力量，MongoDB從數據和排名上來看，一路領先，而且斜率看上去也很不錯，畢竟文檔的訪問接口 MongoDB 的 Schema-less 的特性確實補足了RDBMS在靈活性上的一些短板。
另外，HBase / C* 這類的NoSQL其實在擴展性和數據量比較大的場景會比 MongoDB 更加合適。但可能是從關注度上來看和 RDBMS 還有距離，應該是由於大多數用戶的場景用單機數據庫就能搞定吧。
值得注意的是，各類開源的 NoSQL 在 2013 年底和 2014 年初有一次分值的跳漲，具體發生了什麼事情？可能是 Hadoop 的版本發布？可能是某些大公司公布了使用案例？我似乎已經回憶不起來了，不過那時確實是 NoSQL 發展的黃金時期。
單獨看HBase和Hive這兩個Hadoop家族的數據庫，在經曆了從13年到16年初的快速增長後，這兩年增長有些乏力，可能是因為大數據存儲和分析Hadoop 已經並不是唯一的選擇。
從數據庫這邊來看，從Mongo，C* 到最近的 TiDB/TiKV，都在分食HBase的市場，作為TiDB的維護者，我看到從HBase遷移過來的用戶多是因為HBase缺乏足夠強大的SQL支持和二級索引等功能。另外，在分析引擎上，過去幾乎是唯一選擇的Hive也受到SparkSQL、Impala、Presto等新興查詢引擎的挑戰。
我認為Hadoop生態目前最堅固的一塊磐石是HDFS，如果以後有更好的方案能夠兼容Hadoop接口的話，可能Hadoop的地位也會因此受到挑戰。
當然，這些粗淺的分析僅僅是通過DB-Engines的趨勢做出的解讀，現在沒有，以後也應該不會有銀彈，不會有一個完美的數據庫能夠解決一切的數據存儲問題。隻有根據自己的業務特點，選擇合適的數據庫產品才是正道。
RDBMS家族
-
Oracle 12c Release 2率先發布Exadata，SuperCluster版本
12c最期待人心的就是12c Release 2的發布了，近期Oracle更新了MOS文檔742060.1，明確指出會在2017年3月15日發布Linux和Solaris的數據庫版本。
並在2017年2月14日官方持續更新了文檔，Exadata和SuperCluster版本已經率先發布，感興趣的同學可以嚐試下載試用。
對於Oracle新特性的解讀，可以點擊“閱讀原文”下載本期Newsletter完整文檔查看，內容由韓鋒老師提供。
2016年12月26日MySQL 5.7.17版本發布了 Group Repplication，這是一種基於官方版本通過插件實現複製技術，滿足多主寫入，更高可用性和容錯機製，性能測試結果如下：
從性能測試結果看，性能還是優於Galera的，接近異步同步。
綜合來看，Group Replication可以解決目前MySQL異步複製的眾多問題，未來也會有很大的發展。但是目前在運維方麵的支持上不夠好，比如備份和集群客戶端支持上，離實際生產環境大規模應用還是有一段距離。
對於MySQL 5.7的特性解讀，可以點擊“閱讀原文”下載本期Newsletter完整文檔查看，內容由楊奇龍老師提供。
微軟去年推出了Linux版的SQL Server 2016，這讓很多Linux用戶都非常高興，直接促使SQL Server全球份額勐增76.89%（從2016年1月至2017年1月）。處於全球份額第二位的MySQL也上漲了67.03%，隻是排在首位的Oracle降幅較為明顯，下降了79.36%。
雖然SQL Server目前仍處於第三的位置，但由於漲勢迅勐不容小覷。份額的上漲很大程度上歸功於微軟對於Linux平台的發力。
SQL Server 的前兩個版本主要是通過提供新特性提高性能，而 SQL Server 2016 主要是改進本身已有的功能。
-
PostgreSQL 將發布10.0
PostgreSQL近幾年的發展有目共睹，從GIS到物聯網、流式計算、多維分析、高並發在線事務處理、服務端編程、任意數據類型的抽象處理、擴展索引方法、GPU運算能力的利用等各個方麵體現了PostgreSQL的強大功能和性能。從dbranking的分值也可以看出，PostgreSQL毫無疑問是2016年度發展最快的數據庫。
2016年發布的PostgreSQL 9.6新特性還曆曆在目，比如多核並行計算、針對流式數據的塊級索引、同步多副本等等。2017年將要發布10.0，會有更多特性值得期待。
隨著PostgreSQL在向量化運算、列存儲、動態編譯等極致優化的領域的新動作呢，AWS、阿裏雲等眾多雲廠商在這個領域也將有新的布局。
-
DB2 For LUW發布11.1 Mod1 Fix pack1版本
2016年12月15日 DB2 For LUW發布11.1 Mod1 Fix pack1版本，在列式存儲方麵進行增強。主要在性能提升（概要表特性）及可管理部分（工作負載部分）進行較大改善。
2016年12月，Gemfire-Greenplum connector正式發布，Gemfire-Greenplum connector為Greenplum和Gemfire之間數據的同步和更新提供了便捷而高效的方式，讓Gemfire支持的快數據和Greenplum支持的大數據融為一體，也讓OLTP應用和OLAP應用有機結合起來。
更多信息請訪問官方文檔 https://ggc.docs.pivotal.io/。
2017年1月，Greenplum補丁版本4.3.11.1、4.3.11.2和4.3.11.3發布，包含了很多優化和改進。
MariaDB ColumnStore是在MariaDB 10.1基礎上移植了InfiniDB 4.6.2構建的大規模並行、高性能、壓縮的分布式開源列式存儲引擎，類似收費產品Infobrigt。它設計用於大數據離線分析，用來抗衡Hadoop 。官方自稱MariaDB ColumnStore是數據倉庫的未來，ColumnStore允許存儲更多的數據並更快地分析它。
你可以使用標準SQL語句進行查詢，支持目前流行的sqlyog/navicat客戶端工具連接，對業務方使用沒有任何的不便，並且你不需要創建任何索引，不需要修改業務方的複雜SQL（自身就支持複雜的關聯查詢、聚合、存儲過程和用戶定義的函數），你唯一要做的就是把數據導入到ColumnStore裏，就沒你事了。這對一家沒有Hadoop工程師的公司來說，MariaDB ColumnStore會是一個更好的替代產品。
NoSQL家族
-
MongoDB 3.4 通過行業最嚴格的分布式數據庫測試 - Jepsen 測試
2017年2月7日，Kyle Kingsbury，著名的Jepsen測試的作者，發布了他在MongoDB 3.4版本上做的最新一輪測試。他的結論是：
“MongoDB在最近兩年投入大量資源來持續提高其數據安全標準，他們的投入在3.2和3.4版本裏已經有了顯著的成績。”
“MongoDB 3.4.1（以及目前的開發版本3.5.1）目前通過了所有Jepsen的測試場景……在網絡中斷、服務器被隔離和時鍾被篡改的情況下， 這些測試結果仍然成立。”
從2013年起，Jepsen已儼然成為行業中一個最為嚴格的分布式係統測試工具。這個測試結果的發布非常有意義，特別是對國內用戶。網上有不少關於數據安全性方麵有誤導性的文章，這個測試結果可以給Mongo 用戶帶來不少信心。
根據Jepsen的測試結果，在為MongoDB配置了最高安全級別的讀選項和寫選項，以及使用默認的複製協議的情況下，MongoDB 3.4表現出了最高級別的數據一致性、準確性和安全性，哪怕是在最極端的錯誤情況下。
在2015年12月份時， Redis爆出了一個可以利用漏洞獲取Redis服務器的root權限，此漏洞暴出來後，Redis作者Antirez表示將會開發“real user”，區分普通用戶和admin用戶權限，普通用戶將會被禁止運行某些命令，如config。事隔一年之後，近期又有網友暴漏了Redis的CSRF漏洞, 不過，這次好在Redis作者在最新發布的3.2.7已經進行了修複，解決方案是對於POST和Host:的關鍵字進行特殊處理記錄日誌並斷開該鏈接避免後續Redis合法請求的執行。(bug fixed)
1、Redis流量統計問題以及修複：
由阿裏雲的同學提交patch修複（相關說明：
https://m.aliyun.com/yunqi/articles/69502?spm=5176.8091938.0.0.xVGKVf ）
bug fixed：https://github.com/antirez/redis/pull/3802/files
2、Redis4.2 roadmap也已經推出：
https://gist.github.com/antirez/a3787d538eec3db381a41654e214b31d
HBase – Hadoop Database，是一個高可靠性、高性能、麵向列、可伸縮的分布式存儲係統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。
HBase是Google Bigtable的開源實現， HBase利用Hadoop HDFS作為其文件存儲係統，利用Hadoop MapReduce來處理HBase中的海量數據，利用Zookeeper作為作為協同服務。
Apache HBase於美國時間2017年1月17日發布1.3.0版本，HBase 1.3.0是HBase 1.X版本線中的第三次小版本變更，在該版本中修複了1700多個issues。
Apache Geode 1.1.0版本修改了252個bug，增強了持續集成的測試框架，改善了安全框架相關的實現。主要體現在JsonFormatter功能增強和增加了C/C++本地客戶端這兩方麵。
Yandex在2016年6月15日開源了一個數據分析的數據庫，名字叫做ClickHouse。
這個列式存儲數據庫的跑分要超過很多流行的商業MPP數據庫軟件，例如Vertica。
它最大的應用來自於Yandex的統計分析服務Yandex.Metrica，每天支持200億的事件和曆史總記錄超過13萬億條記錄，這些記錄都存有原始數據（非聚合數據），隨時可以使用SQL查詢和分析，生成用戶報告。據稱Yandex.Metrica為世界上第二大的網站分析平台。
NewSQL家族
-
TiDB 近期發布RC2版本
TiDB 是基於Google Spanner & F1實現的分布式NewSQL數據庫，目標定位支持100% 的OLTP + 80%的OLAP，除了底層的RocksDB存儲引擎之外，分布式SQL解析層、分布式KV存儲引擎（TiKV）完全自主設計和研發。
TiDB 是開源且網絡接口和語法MySQL兼容的，可以簡單理解為一個可以無限水平擴展的MySQL，提供分布式事務、跨節點 JOIN、保證跨數據中心的數據的強一致性（ACID 跨行事務支持）、故障自恢複的高可用，提供更快的查詢和寫入吞吐；對業務沒有任何侵入性，簡化開發，利於維護和平滑遷移。
本月底，TiDB 將正式發布 RC2 版
更進一步文檔請閱讀：https://github.com/pingcap/docs-cn
RethinkDB的開發工作始於2009年7月份，用C++、JavaScript和Bash編寫。它采用AGPL開源許可證來發布。最後一個穩定版本是2016年5月2日發布的版本2.3.2。
於2016年10月5日，RethinkDB聯合創始人在官網上宣布RethinkDB破產倒閉。其自稱已經盡了最大的努力，最終還是無法建立一個可持續的商業模式。該公司關閉後，RethinkDB團隊隨之搬家，工程團隊會加入Stripe Inc.，而Stripe是完全成熟的軟件平台和工具包，麵向在線支付。
近期RethinkDB項目有了新的動態。Cloud Native Computing基金會（CNCF）宣布它購買了NoSQL分布式文件存儲數據庫RethinkDB的源代碼版權，將授權協議從Affero GPLv3改為Apache v2，並將其捐贈給Linux基金會。
在Linux基金會的支持下，該項目從此有了強大的製度支持及接受捐贈的能力。
大數據生態圈
Apache於2017年1月20日，發布了Hadoop 3.0.0 Alpha 2版本，此版本是Hadoop 3.0.0的第二個測試版本，相比Alpha 1的測試版本來說，沒有太大的變更，僅僅修複了上個版本中的一些BUG和改進了一些功能。
GPText 是Pivotal公司自主研發的內置Greenplum數據庫的全文檢索和文本分析引擎。具有易用性、分布式、高可用、可擴展、易維護、模塊可定製化等特性。對大數據中非結構化的數據檢索能提供毫秒級的響應，同時所支持的全文檢索種類和語法非常豐富。
索引數據分布式存放在索引節點上，並複製拷貝提高高可用性。數據索引和檢索都通過Greenplum segment 服務器並行實現，支持通用的search，詞(term) 相關search，facet聚合search等常見的全文檢索場景。
-
HDB (Apache HAWQ) 2.1.1.0 版本發布
Pivotal HDB 2.1.1.0企業版於2016年12月正式發布，用戶可以通過PXF中的HiveORC Profile來訪問Hive中存儲的ORC格式數據，並且支持投影下推和謂詞下推，大大提升了ORC外部表訪問的性能。
Apache HAWQ 2.1.0.0已進入投票階段並即將發布，其中提供了大量的錯誤修正和改進，包括的模塊有：查詢優化器，查詢執行器，資源管理器，係統容錯，內部存儲，PXF，管理工具，編譯打包等。具體參考780個JIRA:
https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12318826&version=12338900
國產數據庫概覽
-
GBase UP 發布
南大通用統一數據平台係統，簡稱：GBase UP，它是融合了GBase 8a MPP、GBase 8t、開源Hadoop生態係統的大數據平台產品，兼顧大規模分布式並行數據庫集群係統、穩定高效的事務數據庫，以及Hadoop生態係統的多種大規模結構化與非結構化數據處理技術，能夠適應OLAP、OLTP和NOSQL三種計算模型的業務場景，是構建企業數據平台的重要基礎設施。
GBase UP以成熟的GBase 8a MPP商用數據庫為基礎，擴展出針對Hive & Spark、HBase、GBase 8t的計算和存儲引擎，建立引擎之間高效數據交換通道，構建了對外統一，對內可擴展的集群數據庫產品。
SequoiaDB巨杉數據庫，結合Spark大數據技術，能夠滿足近線數據服務平台端到端的搭建工作。SequoiaDB提供的分布式框架滿足分布式、高可用、高性能、易維護等特性，同時其多維分區、靈活索引、雙引擎內核、以及標準SQL支持等特性為企業級近線數據服務平台奠定了最佳的數據存儲與計算基礎。
SequoiaDB 2.6 社區版已經正式發布，為SequoiaDB 2.0之後首個社區版本，增加更多新功能，歡迎前往下載試用和吐槽。
-
達夢DM V7.1.5.145發布
達夢數據庫管理係統是達夢公司推出的具有完全自主知識產權的高性能數據庫管理係統，簡稱DM。目前產品的最新版本是達夢數據庫管理係統7.0版本，簡稱DM7。
DM7是達夢公司在總結DM係列產品研發與應用經驗的基礎之上，吸收主流數據庫產品的優點，采用類Java的虛擬機技術設計的新一代數據庫產品。DM7基於成熟的關係數據模型和標準的接口，是一個跨越多種軟硬件平台、具有大數據管理與分析能力、高效穩定的數據庫管理係統。目前官網最新的可下載版本是V7.1.5.145。
-
OceanBase 1.0版本可申請邀測試用
OceanBase是由阿裏巴巴/螞蟻金服集團自主研發的麵向雲時代的分布式關係數據庫，具有可擴展、高可用、高性價比、兼容MySQL語法和協議等核心技術優勢。
OceanBase從2010年開始起步，經過六年多的發展，目前產品已經成功應用於螞蟻金服的交易、支付、賬務等核心係統和網商銀行等業務係統。2016年雙11，支付寶創造了17.5萬筆/秒交易峰值和12萬筆/秒支付峰值這一業內全新的世界紀錄，這其中每一筆訂單背後的數據和事務處理，都由OceanBase完成。除了服務阿裏巴巴/螞蟻金服，OceanBase還通過阿裏雲平台，開始輸出到金融、電信、政府、製造等各行各業。
OceanBase 1.0版本已經可以在阿裏雲官網上可以申請邀測進行試用。
登陸雲盤：https://pan.baidu.com/s/1bo2n21p 可下載本期Newsletter完整版。
想快人一步了解更多行業最新動態，除了等下期DBAplus Newsletter出爐以外，還可以參加以下活動：
MongoDB線下活動
給DBAplus社群的技術合作社區MongoDB中文社區劇透一下今年的技術活動計劃。MongoDB中文社區（mongoing.com）成立於2014年，是大中華區唯一獲得官方認可的中文社區。經過誌願者不斷的努力，目前已有超過一萬的線上線下成員。
2017年社區將持續開啟專屬於MongoDB的技術交流會，活動貫穿全年，分別於三月杭州、四月深圳、五月北京、六月成都、七月廣州、八月台北、九月上海舉辦線下沙龍，並於十一月舉辦年終盛典。想報名參與的小夥伴可關注MongoDB中文社區即將發布的具體活動安排。
感謝名單
最後，感謝那些提供寶貴信息和建議的專家朋友，排名不分先後。
原文發布時間為：2017-02-22
本文來自雲棲社區合作夥伴DBAplus
最後更新：2017-05-15 10:02:55