精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

LinkedIn開源大數據計算引擎 Cubert,并為此創建新的語言

責任編輯:editor005

2014-11-12 17:34:21

摘自:Gigaom

Linkedin周二宣布開源其大數據計算引擎Cubert,其名字來源于魯比克方塊(Rubik’s Cube),為了讓開發人員更容易使用Cubert,而無需做任何形式的自定義編碼,Linkedin為此開發了新的編程語言Cubert Script。

【編者按】Linkedin周二宣布開源其大數據計算引擎Cubert,其名字來源于魯比克方塊(Rubik’s Cube),為了讓開發人員更容易使用Cubert,而無需做任何形式的自定義編碼,Linkedin為此開發了新的編程語言Cubert Script。

以下為譯文:

Linkedin周二宣布開源其大數據計算引擎Cubert,這個框架可以使用一種專門的算法來組織數據,讓其在沒有超系統負荷和浪費CPU資源的情況下,更輕松的運行查詢。

Cubert,其名字來源于魯比克方塊(Rubik’s Cube),據悉,它可以作為一個Java應用程序,從而很容易被工程師接受,它包含一個“類似script用戶界面”,因此工程師可以在運行查詢時,使用諸如MeshJoin 和 Cube算法在組織數據上節省系統資源。

從 LinkedIn博客我們知道:

現存引擎Apache Pig、Hive 以及Shark提供一個合乎邏輯的聲明性語言,然后被翻譯成一個實物計劃。這個計劃執行分布式引擎(Map-Reduce、Tez 或者Spark),在此物理操作者針對數據分區執行。最后,數據分區將由HDFS提供的文件系統抽象管理。

  Cubert 架構

Cubert運行在Hadoop之上,新的框架可以抽象所有的存儲到數據塊,這將除了讓操作者能幫助更好的管理數據之外,還能讓其更易于運行它的資源節約算法,例如,COMBINE操作者可以合并多個數據塊在一起,PIVOT操作者可以創建數據塊的子集。

LinkedIn也創建了一門名為Cubert Script的新語言,其目的是使開發人員更容易使用Cubert,而無需做任何形式的自定義編碼。

LinkedIn現在使用Cubert作為一個關鍵組件來處理數據。當Kafka實時消息傳遞系統從LinkedIn的眾多應用程序中獲取所有信息并將其發送到Hadoop,Cubert然后處理這些數據,以確保它不占用系統資源并幫助工程師解決“各種各樣的統計、分析和圖形計算問題。”

被處理后,數據流向LinkedIn的Pinot實時數據分析系統,然后該公司分析其眾多數據跟蹤特性,如最近誰查看了用戶的資料。

  LinkedIn Data Pipeline

現在Cubert已經和LinkedIn的基礎設施連接,公司不再擔心Hadoop腳本終結“在集群上占用太多資源”或浪費時間去做他們為此應該做的。

鏈接已復制,快去分享吧

企業網版權所有?2010-2024 京ICP備09108050號-6京公網安備 11010502049343號

  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 昌黎县| 黑龙江省| 万州区| 拉萨市| 大港区| 遂川县| 金溪县| 常熟市| 德惠市| 宽城| 龙门县| 英吉沙县| 龙川县| 昌吉市| 云霄县| 左贡县| 临城县| 嘉禾县| 贵阳市| 永胜县| 龙江县| 玛沁县| 宜良县| 兴安县| 潢川县| 宁波市| 新野县| 呼伦贝尔市| 广南县| 武穴市| 仪征市| 麻栗坡县| 无棣县| 莎车县| 桓台县| 洪雅县| 临夏县| 曲水县| 尖扎县| 开江县| 临澧县|