精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

EMC存儲上的大數據–HDFS存儲可靠性

責任編輯:editor005

作者:Fenglin Li

2015-01-13 13:27:56

摘自:EMC中文支持論壇

企業為了從其Hadoop分析投資中獲取最大價值,企業需要富有彈性的大數據存儲基礎架構。Isilon還支持多項保證數據可靠性功能,例如:日志文件系統:每個Isilon節點都配備了一個由雙電池支持的NVRAM卡,以保護節點的文件系統。

企業為了從其Hadoop分析投資中獲取最大價值,企業需要富有彈性的大數據存儲基礎架構。在傳統Hadoop集群中,用戶必須依賴于自定義的子數據塊CRC校驗和來提供硬件層數據保護,并且在HDFS層使用鏡像技術以保持某種級別的數據冗余。但是,在規模較大的情況下,這會成為一個非常高成本的方案。如果通過EMC Isilon作為存儲層,Isilon的數據保護是在OneFS文件系統級別實施的,因此要使新的保護和性能方案可用,只需執行OneFS軟件升級即可。OneFS使用經過廣泛驗證的Reed-Solomon擦除編碼算法來執行其奇偶校驗保護計算。在文件界別應用保護,使得集群可以快速高效地恢復數據。信息節點、目錄和其他元數據在于其引用的數據塊相同或更高的級別進行保護。由于所有數據、元數據和向前糾錯(FEC)數據跨多個節點條帶化,因此不需要專用的奇偶校驗驅動器。這不僅可以防止出現單點故障和瓶頸,還使文件重建成為一個高度并行化的過程。

OneFS還支持多種混合保護方案。這包括N+2:1和N+3:1,前者可針對兩個驅動器故障或者一個節點故障提供保護,后者可針對三個驅動器故障或一個節點故障提供保護。對于高密度節點配置而言,這些保護方案特別有用。萬一發生多個設備同時故障的情況,以至于文件“超過了其保護級別”,則OneFS將盡可能重新保護所有可保護的內容,并且將與受影響的個別文件相關的錯誤報告到Isilon集群的日志。

HDFS1.png

  Isilon還支持多項保證數據可靠性功能,例如:

日志文件系統:每個Isilon節點都配備了一個由雙電池支持的NVRAM卡,以保護節點的文件系統。主動節點/設備故障:OneFS將主動刪除任何達到特點的已檢測ECC錯誤閥值的驅動器,自動重建該驅動器中的數據并將其定位至該集群中的其他位置。整個過程完全自動化,無需人工干預。Isilon數據完整性:ISI數據完整性(IDI)是一種通過32位CRC校驗和防止文件系統結構損壞的OneFS過程。所有Isilon數據塊(包括文件和元數據)都利用校驗和驗證。協議校驗和:OneFS為遠程數據塊管理(RBM)協議數據提供了校驗和驗證。RBM是Isilon開發的機遇RPC的單播協議,可供在后端集群互連上使用。動態扇區修復:DSR功能可用來隔離損壞的磁盤扇區,重新向完好的數據以便在其他位置重新寫入。Mediascan:MediaScan在OneFS中的作用是檢查磁盤扇區并部署DSR機制,以便強制磁盤驅動器修復他們可能遇到的任何扇區ECC錯誤。

總之,在HDFS存儲層使用EMC Isilon存儲,可以避免多種傳統Hadoop存儲實施的許多缺點,如下所示:

HDFS2.png

鏈接已復制,快去分享吧

企業網版權所有?2010-2024 京ICP備09108050號-6京公網安備 11010502049343號

  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 泾阳县| 常山县| 拉孜县| 沂水县| 城固县| 平凉市| 昌宁县| 梁河县| 花垣县| 商丘市| 梅河口市| 东平县| 正宁县| 白山市| 孝感市| 冕宁县| 交城县| 郸城县| 田阳县| 梧州市| 奉节县| 岗巴县| 类乌齐县| 凤冈县| 株洲县| 岳阳县| 南乐县| 凤翔县| 梁平县| 湖口县| 元朗区| 汝南县| 板桥市| 大方县| 盐山县| 梨树县| 广饶县| 郎溪县| 新建县| 林口县| 广平县|