2013年4月18-20日，第四屆中國數據庫技術大會（DTCC 2013）在北京福朋喜來登酒店拉開序幕。在為期三天的會議中，大會將圍繞大數據應用、數據架構、數據管理（數據治理）、傳統數據庫軟件等技術領域展開深入探討，并將邀請一批國內頂尖的技術專家來進行分享。
本屆大會將在保留數據庫軟件應用實踐這一傳統主題的基礎上，向大數據、數據結構、數據治理與分析、商業智能等領域進行拓展，以滿足于廣大從業人士和行業用戶的迫切需要。
▲第四屆中國數據庫技術大會
自2010年以來，國內領先的IT專業網站IT168聯合旗下ITPUB、ChinaUnix技術社區已經連續舉辦了三屆數據庫技術大會，每屆大會超過千人規模，云集了國內技術水平最高的數據架構師、DBA、數據庫開發工程師、研發總監、IT經理等，是目前國內最受歡迎的數據庫技術盛會。下面進行演講的嘉賓是百度基礎架構部高級工程師王猛先生，他演講的主題是“百度的下一代離線存儲計算系統”。
▲百度基礎架構部高級工程師王猛先生
百度Hadoop分布式系統揭秘：4000節點集群
百度的高性能計算系統（主要是后端數據訓練和計算）目前有4000節點，超過10個的集群，最大的集群規模在1000個節點以上。每個節點由8核CPU以及16G內存以及12TB硬盤組成，每天的數據生成量在3PB以上。規劃當中的架構將有超過1萬個節點，每天的數據生成量在10PB以上。
底層的計算資源管理層采用了Agent調度不同類型的計算分別給MPI結構的算法和Map-Reduce和DAG算法應用等。而通過調度的分配，可以讓HPC高性能計算集群和大規模分布式集群各得其所的計算相應數據。
2008年始于 社區 0.18~0.19 之間的trunk版本300臺機器，2個集群
2013年總機器 4.8w+ 單集群最大規模 1w+ CPU利用率70%+ 日均作業數日均輸入數據量總inode數使用磁盤空間。
百度存儲hdfs2全面上線
需求
10000 * 12 * 2T * 3壓縮比 / 256M / 3副本 = 9.8億
問題
內存 : 9.8億文件 （file:block = 1:1） 占用內存 380G
負載 : 吞吐有限，latency 增加
穩定性 :GC影響
可用性 : 2 億 inode重啟一次花費 1小時左右
存儲 – hdfs3 – 社區方案未來
計算 – mr2全面上線 – 收益
可擴展性：計算模型和資源管理分開；單集群1w+,并發運行task 16w
熱升級：MR計算模型升級，更新系統hdfs上abaci包；資源管理升級，可以正常查看提交作業
資源利用率提升：（ cpu, mem, disk, net） 多維資源描述；Over-commit調度
計算 – mr執行優化 – 方案
Shuffle獨立：盡量減少map/reduce之間的barrier;同時充分利用資源，減少資源浪費；IO密集作業加速20%作業，資源利用提升6%.
Map sort優化：優化map sort/spill過程，結合MAPREDUCE-64;并行sort,加速sort,減少block time;簡單統計類應用map加速 30%。
京公網安備 11010502049343號