開源大數據周刊-第51期
阿裏雲E-Mapreduce動態
- E-MapReduce張北可用區上線服務。
- E-MapReduce調度功能強化,支持分鍾、小時、天、周、月,多種時間維度的調度。
資訊
-
有人認為 Hadoop 正在失敗,但矽穀數據管理公司 Hortonworks 的總經理 Vamsi K. Chemitiganti 並不這麼看,為了反駁此前一篇文章《為什麼 Hadoop 正在消亡?(Why Hadoop is Failing)》的觀點,他在自己的博客上寫了一篇論述自己看法的文章,他認為達爾文式的開源生態係統正在確保 Hadoop 成為穩固和成熟的技術平台。機器之心對這篇反駁文章進行了編譯介紹,但本文內容並不代表機器之心的觀點。
-
人工智能交易軟件能通過吸取大量數據來了解這個世界,然後對股票、債券、商品和其他金融產品進行預測。人工智能機器可以獲取書籍、Twitter消息、新聞報道、金融數據、企業財報、國際貨幣政策,甚至是綜藝節目概況等一切有助於其軟件理解全球趨勢的信息。人工智能可以持續不間斷地觀察這些信息,從不知疲倦,一直學習,不斷優化預測。
-
2017 年的春季招聘季剛剛過去,在這 2016 資本寒冬年後的第一個招聘旺季,互聯網招聘市場正悄然變化。最大的一個變化也許是,招募互聯網高端人才的主力,正在從中小型創業公司向中大型公司轉移。我們匯總了 2017 年一季度 100offer 上高端互聯網人才的麵試邀請數據,為你展現這個春天裏,互聯網人才流動的「變」與「不變」。
都叫AI巨頭,Google百度微軟亞馬遜體量差多少?
AI領域,有幾家公司常被叫做巨頭。那麼巨頭和巨頭之間,到底哪一個更巨頭呢?巧了,今天好像是一個發財報的黃道吉日。幾大中外AI巨頭,一起交出新一季度的成績單。
技術
-
Kafka憑借著自身的優勢,越來越受到互聯網企業的青睞,唯品會也采用Kafka作為其內部核心消息引擎之一。Kafka作為一個商業級消息中間件,消息可靠性的重要性可想而知。如何確保消息的精確傳輸?如何確保消息的準確存儲?如何確保消息的正確消費?這些都是需要考慮的問題。本文首先從Kafka的架構著手,先了解下Kafka的基本原理,然後通過對kakfa的存儲機製、複製原理、同步原理、可靠性和持久性保證等等一步步對其可靠性進行分析,最後通過benchmark來增強對Kafka高可靠性的認知。
-
Stripe有上億規模的訂閱數據。做一次與所有這些數據都相關的大型遷移就意味著非常非常多的工作。Stripe的用戶希望我們提供的API要具備可用性和一致性。這意味著在做遷移時,我們必須非常小心:存儲在我們係統中的數據要有非常準確的值,而且Stripe的服務必須時刻保證可用。
在這篇文章中,Stripe將分享如何安全地完成了一次涉及上億數據量的大遷移經曆。 -
Apache Spark中,對Block的查詢、存儲管理,是通過唯一的Block ID來進行區分的。所以,了解Block ID的生成規則,能夠幫助我們了解Block查詢、存儲過程中是如何定位Block以及如何處理互斥存儲/讀取同一個Block的。
歡迎加入阿裏雲開源大數據交流釘釘群
版權聲明
信息都是來自互聯網,都給出了原文的鏈接,如果侵權,請聯係我們,我們負責刪除。
最後更新:2017-05-05 18:50:43