模板
教程
環境
性能
功能
管理
Hadoop生態圈的基石有兩個，一個是HDFS文件系統，一個是MR編程框架:HDFS性能壓測工具淺析(3)
SliveTest可以給Namenode帶來很大的壓力，用來做極限情況下的壓力測試非常合適。吳威大師(給大師拎包一直是我的榮幸)在SliveTest基礎上更上一層，設計了多線程的SliveMapper，在多map多線程下壓測Namenode，由于使用了上一篇文章中提到的應用MapReduce進行多機聯合負載的思想，基本上可以將Namenode的極限性能完全壓榨干凈。大師制作的這個工具運行起來之后，Namenode就會處于一種假死狀態，對其他rpc請求基本上失去響應，模擬出來的并發壓力遠遠超過云梯當前線上的實際最大壓力。作為每次云梯新版本上線前的必測工具，檢測出的Hadoop性能瓶頸或發現的相關bug無數。(大師的思想有如茫茫大海中的明燈，指引我們前進的方向)
給大師拎包：
DFSIO
DFSIO是一個標準的HDFS的Benchmark工具，位于test包中。功能簡單明了，測試的是讀和寫的性能指標。使用參數如下：
|
read |
讀測試，報告保存在“io_read/part-00000”中。執行該測試之前，需要先做write測試，以便先行在io_data目錄下生成供讀取的文件。 |
|
write |
寫測試，報告保存在“io_write/part-00000”中。 |
|
nfFiles |
文件個數，默認為1 |
|
fileSize |
文件大小，默認為1MB |
|
resFile |
結果文件名，默認為” TestDFSIO_results.log” |
|
bufferSize |
設置緩存大小，默認為1000000 |
|
clean |
清理數據 |
|
seq |
數據是否有序，默認無序 |
原文轉自：http://www.anti-gravitydesign.com
