模板
教程
環境
性能
功能
管理
Distcp工具深入分析(3)
// if adding this split would put this split past the target size,
// cut the last split and put this next file in the next split.
if (acc + key.get() > targetsize && acc != 0) {
long splitsize = last - pos;
splits.add(new FileSplit(src, pos, splitsize, (String[])null));
cbrem -= splitsize;
pos = last;
acc = 0L;
}
acc += key.get();
}
}
finally {
checkAndClose(sl);
}
split之后就進入Mapper執行階段，map task起來后就會根據自己分配到的那段文件列表來進行點對點的拷貝，拷貝過程會保持Permission、Replication、Block Size的一致性，如果設定了-update則會做一下是否需要update的判斷，如果設定了-overwrite則會刪除已有的文件。這里Owner信息沒有保持一致，而是放到了服務端所有map執行完之后，這一點很讓我覺得糾結，為什么不在map里面拷貝完之后直接同步文件Owner呢?如果有哪位大師知道希望可以提點我一下。因為是實現了Tool接口，而Tool接口是繼承了Configurable接口的，所以-D指定的值對于DistCp來說也是可以生效的。例如設定“-Ddfs.replication=1”，那么拷貝時目標文件的replication數就將保持為1，這樣一來由于目標端需要寫入的數據變少了，拷貝速度就可以大大加快，但是不推薦這么做，因為拷貝過程中如果有一臺Datanode掛了，那么丟失的數據由于無備份，就將真正丟了，這臺機器恢復不了的話，整個distcp過程就會因為丟數據而失敗了。
拷貝過程關鍵代碼如下：
|
FSDataInputStream in = null; FSDataOutputStream out = null; try 原文轉自：http://www.taobaotest.com/blogs/2516 
|
