精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當(dāng)前位置:大數(shù)據(jù)采集存儲 → 正文

磁盤性能同樣彪悍,Spark打破大數(shù)據(jù)基準(zhǔn)測試記錄

責(zé)任編輯:editor005 |來源:企業(yè)網(wǎng)D1Net  2014-10-13 22:59:52 本文摘自:36大數(shù)據(jù)

Apache Spark是當(dāng)今最火爆的大數(shù)據(jù)處理框架。Spark的性能和速度都大大優(yōu)于MapReduce,且更加容易使用,而且Spark已經(jīng)擁有一個龐大的用戶和貢獻(xiàn)者社區(qū),這意味著Spark更加符合下一代低延遲、實(shí)時處理、迭代計(jì)算的大數(shù)據(jù)應(yīng)用的要求,大有取代MapReduce的趨勢。

但不少人認(rèn)為Spark僅僅是在內(nèi)存計(jì)算環(huán)境比Mapreduce表現(xiàn)出色。近日為了給Spark正名,Spark商業(yè)化公司Databrick在磁盤環(huán)境給Spark做了GraySort跑分測試(下圖)。

Databrick的Daytona GraySort測試環(huán)境使用了亞馬遜云中的206臺服務(wù)器共計(jì)6600個內(nèi)核,測試數(shù)據(jù)量高達(dá)100TB,測試用時僅僅23分鐘,打破了此前由雅虎保持的記錄,雅虎當(dāng)時動用了2100節(jié)點(diǎn)的Hadoop集群,共計(jì)5萬多個內(nèi)核才完成100TB數(shù)據(jù)的測試(用時72分鐘)。

為了展示Spark在可靠處理超大規(guī)模數(shù)據(jù)集方面的性能,Databrick還增加了一個非正式的測試(上圖),190臺服務(wù)器處理1PB數(shù)據(jù)用時4小時。Databricks的客戶營銷總監(jiān)Arsalan Tavakoli表示,不少公司的大數(shù)據(jù)處理規(guī)模遠(yuǎn)不止1PB,對Spark在生產(chǎn)環(huán)境的擴(kuò)展性持懷疑態(tài)度的人,應(yīng)當(dāng)看到阿里巴巴的Spark集群已經(jīng)擴(kuò)展到數(shù)百PB。

Databrick的GraySort基準(zhǔn)測試采用HDFS作為存儲層,測試數(shù)據(jù)來自Databricks云,存儲在亞馬遜的S3或HDFS(AWS實(shí)例)。Databrick的官網(wǎng)上周五公布了更多的測試細(xì)節(jié),包括測試方法和可信度等。

關(guān)鍵字:Spark磁盤性能大數(shù)據(jù)

本文摘自:36大數(shù)據(jù)

x 磁盤性能同樣彪悍,Spark打破大數(shù)據(jù)基準(zhǔn)測試記錄 掃一掃
分享本文到朋友圈
當(dāng)前位置:大數(shù)據(jù)采集存儲 → 正文

磁盤性能同樣彪悍,Spark打破大數(shù)據(jù)基準(zhǔn)測試記錄

責(zé)任編輯:editor005 |來源:企業(yè)網(wǎng)D1Net  2014-10-13 22:59:52 本文摘自:36大數(shù)據(jù)

Apache Spark是當(dāng)今最火爆的大數(shù)據(jù)處理框架。Spark的性能和速度都大大優(yōu)于MapReduce,且更加容易使用,而且Spark已經(jīng)擁有一個龐大的用戶和貢獻(xiàn)者社區(qū),這意味著Spark更加符合下一代低延遲、實(shí)時處理、迭代計(jì)算的大數(shù)據(jù)應(yīng)用的要求,大有取代MapReduce的趨勢。

但不少人認(rèn)為Spark僅僅是在內(nèi)存計(jì)算環(huán)境比Mapreduce表現(xiàn)出色。近日為了給Spark正名,Spark商業(yè)化公司Databrick在磁盤環(huán)境給Spark做了GraySort跑分測試(下圖)。

Databrick的Daytona GraySort測試環(huán)境使用了亞馬遜云中的206臺服務(wù)器共計(jì)6600個內(nèi)核,測試數(shù)據(jù)量高達(dá)100TB,測試用時僅僅23分鐘,打破了此前由雅虎保持的記錄,雅虎當(dāng)時動用了2100節(jié)點(diǎn)的Hadoop集群,共計(jì)5萬多個內(nèi)核才完成100TB數(shù)據(jù)的測試(用時72分鐘)。

為了展示Spark在可靠處理超大規(guī)模數(shù)據(jù)集方面的性能,Databrick還增加了一個非正式的測試(上圖),190臺服務(wù)器處理1PB數(shù)據(jù)用時4小時。Databricks的客戶營銷總監(jiān)Arsalan Tavakoli表示,不少公司的大數(shù)據(jù)處理規(guī)模遠(yuǎn)不止1PB,對Spark在生產(chǎn)環(huán)境的擴(kuò)展性持懷疑態(tài)度的人,應(yīng)當(dāng)看到阿里巴巴的Spark集群已經(jīng)擴(kuò)展到數(shù)百PB。

Databrick的GraySort基準(zhǔn)測試采用HDFS作為存儲層,測試數(shù)據(jù)來自Databricks云,存儲在亞馬遜的S3或HDFS(AWS實(shí)例)。Databrick的官網(wǎng)上周五公布了更多的測試細(xì)節(jié),包括測試方法和可信度等。

關(guān)鍵字:Spark磁盤性能大數(shù)據(jù)

本文摘自:36大數(shù)據(jù)

電子周刊
回到頂部

關(guān)于我們聯(lián)系我們版權(quán)聲明隱私條款廣告服務(wù)友情鏈接投稿中心招賢納士

企業(yè)網(wǎng)版權(quán)所有 ©2010-2024 京ICP備09108050號-6 京公網(wǎng)安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 肇源县| 锡林郭勒盟| 来安县| 巴中市| 滦平县| 阳东县| 新建县| 内丘县| 上虞市| 富蕴县| 襄樊市| 阿图什市| 铜梁县| 忻州市| 光山县| 和平区| 滨州市| 永昌县| 玉门市| 桦甸市| 方山县| 晋中市| 瓦房店市| 盖州市| 松阳县| 綦江县| 东源县| 湛江市| 泰来县| 繁昌县| 萝北县| 黎平县| 广昌县| 玛多县| 赣州市| 芦山县| 米泉市| 永清县| 屏东县| 淳化县| 景宁|