精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當(dāng)前位置:大數(shù)據(jù)采集存儲 → 正文

磁盤性能同樣彪悍,Spark打破大數(shù)據(jù)基準(zhǔn)測試記錄

責(zé)任編輯:editor005 |來源:企業(yè)網(wǎng)D1Net  2014-10-13 22:59:52 本文摘自:36大數(shù)據(jù)

Apache Spark是當(dāng)今最火爆的大數(shù)據(jù)處理框架。Spark的性能和速度都大大優(yōu)于MapReduce,且更加容易使用,而且Spark已經(jīng)擁有一個龐大的用戶和貢獻(xiàn)者社區(qū),這意味著Spark更加符合下一代低延遲、實(shí)時處理、迭代計(jì)算的大數(shù)據(jù)應(yīng)用的要求,大有取代MapReduce的趨勢。

但不少人認(rèn)為Spark僅僅是在內(nèi)存計(jì)算環(huán)境比Mapreduce表現(xiàn)出色。近日為了給Spark正名,Spark商業(yè)化公司Databrick在磁盤環(huán)境給Spark做了GraySort跑分測試(下圖)。

Databrick的Daytona GraySort測試環(huán)境使用了亞馬遜云中的206臺服務(wù)器共計(jì)6600個內(nèi)核,測試數(shù)據(jù)量高達(dá)100TB,測試用時僅僅23分鐘,打破了此前由雅虎保持的記錄,雅虎當(dāng)時動用了2100節(jié)點(diǎn)的Hadoop集群,共計(jì)5萬多個內(nèi)核才完成100TB數(shù)據(jù)的測試(用時72分鐘)。

為了展示Spark在可靠處理超大規(guī)模數(shù)據(jù)集方面的性能,Databrick還增加了一個非正式的測試(上圖),190臺服務(wù)器處理1PB數(shù)據(jù)用時4小時。Databricks的客戶營銷總監(jiān)Arsalan Tavakoli表示,不少公司的大數(shù)據(jù)處理規(guī)模遠(yuǎn)不止1PB,對Spark在生產(chǎn)環(huán)境的擴(kuò)展性持懷疑態(tài)度的人,應(yīng)當(dāng)看到阿里巴巴的Spark集群已經(jīng)擴(kuò)展到數(shù)百PB。

Databrick的GraySort基準(zhǔn)測試采用HDFS作為存儲層,測試數(shù)據(jù)來自Databricks云,存儲在亞馬遜的S3或HDFS(AWS實(shí)例)。Databrick的官網(wǎng)上周五公布了更多的測試細(xì)節(jié),包括測試方法和可信度等。

關(guān)鍵字:Spark磁盤性能大數(shù)據(jù)

本文摘自:36大數(shù)據(jù)

x 磁盤性能同樣彪悍,Spark打破大數(shù)據(jù)基準(zhǔn)測試記錄 掃一掃
分享本文到朋友圈
當(dāng)前位置:大數(shù)據(jù)采集存儲 → 正文

磁盤性能同樣彪悍,Spark打破大數(shù)據(jù)基準(zhǔn)測試記錄

責(zé)任編輯:editor005 |來源:企業(yè)網(wǎng)D1Net  2014-10-13 22:59:52 本文摘自:36大數(shù)據(jù)

Apache Spark是當(dāng)今最火爆的大數(shù)據(jù)處理框架。Spark的性能和速度都大大優(yōu)于MapReduce,且更加容易使用,而且Spark已經(jīng)擁有一個龐大的用戶和貢獻(xiàn)者社區(qū),這意味著Spark更加符合下一代低延遲、實(shí)時處理、迭代計(jì)算的大數(shù)據(jù)應(yīng)用的要求,大有取代MapReduce的趨勢。

但不少人認(rèn)為Spark僅僅是在內(nèi)存計(jì)算環(huán)境比Mapreduce表現(xiàn)出色。近日為了給Spark正名,Spark商業(yè)化公司Databrick在磁盤環(huán)境給Spark做了GraySort跑分測試(下圖)。

Databrick的Daytona GraySort測試環(huán)境使用了亞馬遜云中的206臺服務(wù)器共計(jì)6600個內(nèi)核,測試數(shù)據(jù)量高達(dá)100TB,測試用時僅僅23分鐘,打破了此前由雅虎保持的記錄,雅虎當(dāng)時動用了2100節(jié)點(diǎn)的Hadoop集群,共計(jì)5萬多個內(nèi)核才完成100TB數(shù)據(jù)的測試(用時72分鐘)。

為了展示Spark在可靠處理超大規(guī)模數(shù)據(jù)集方面的性能,Databrick還增加了一個非正式的測試(上圖),190臺服務(wù)器處理1PB數(shù)據(jù)用時4小時。Databricks的客戶營銷總監(jiān)Arsalan Tavakoli表示,不少公司的大數(shù)據(jù)處理規(guī)模遠(yuǎn)不止1PB,對Spark在生產(chǎn)環(huán)境的擴(kuò)展性持懷疑態(tài)度的人,應(yīng)當(dāng)看到阿里巴巴的Spark集群已經(jīng)擴(kuò)展到數(shù)百PB。

Databrick的GraySort基準(zhǔn)測試采用HDFS作為存儲層,測試數(shù)據(jù)來自Databricks云,存儲在亞馬遜的S3或HDFS(AWS實(shí)例)。Databrick的官網(wǎng)上周五公布了更多的測試細(xì)節(jié),包括測試方法和可信度等。

關(guān)鍵字:Spark磁盤性能大數(shù)據(jù)

本文摘自:36大數(shù)據(jù)

電子周刊
回到頂部

關(guān)于我們聯(lián)系我們版權(quán)聲明隱私條款廣告服務(wù)友情鏈接投稿中心招賢納士

企業(yè)網(wǎng)版權(quán)所有 ©2010-2024 京ICP備09108050號-6 京公網(wǎng)安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 张家港市| 调兵山市| 万山特区| 石渠县| 金塔县| 九台市| 防城港市| 石棉县| 棋牌| 漾濞| 高平市| 香河县| 剑川县| 台中市| 安泽县| 楚雄市| 左权县| 曲水县| 元江| 正镶白旗| 醴陵市| 资中县| 平遥县| 凌海市| 庆安县| 巴彦县| 汨罗市| 竹北市| 咸丰县| 金门县| 左权县| 新龙县| 南通市| 东乡族自治县| 兴化市| 石门县| 江达县| 连山| 天津市| 阿巴嘎旗| 锡林浩特市|