HDFSのWeb UIの項目の意味

メモ。

項目	意味
Configured Capacity	各DataNodeのdfs.data.dirで指定したディレクトリのパーティションのサイズ(File.getTotalSpace())からdfs.datanode.du.reservedで指定したサイズ(デフォルト0)を引いたものの和。予約領域以外の全領域のサイズ。
DFS Used	各DataNodeのdfs.data.dirで指定したディレクトリの使用サイズ(du -sk)の和。HDFSで使っている領域のサイズ。
Non DFS Used	Configured Capacity - DFS Used - DFS Remaining。HDFS以外で使っている領域のサイズ。OSとかアプリケーションとかその他。
DFS Remaining	Configured Capacity - DFS Usedか、各DataNodeのdfs.data.dirで指定したディレクトリのパーティションの使用可能サイズ(File.getUsableSpace)の和の、どちらか小さい方。HDFSで使用可能な領域のサイズ。
DFS Used%	DFS Used / Configured Capacity * 100。全体からHDFSが使っている領域の割合。
DFS Remaining%	DFS Remaining / Configured Capacity * 100。全体からHDFSが使用できる領域の割合。

hadoop dfsadmin -reportも似たような感じ。
基本的に、レプリカも含めてトータルのサイズが出ている。

hadoop fs -lsとかhadoop fs -duとかで出てくるのは、
純粋なファイルサイズ（レプリカも含めてのサイズではない）。