My Dev. story

HDFS 의 Datanode 가 dfs.replication 속성보다 적은 수 만큼 설치/실행 되어 있으면 Under Repicated Block 들이 발생합니다.Under Replicated Block 을 없애기 위해 dfs.replication 을 설치 된 Datanode 수 만큼로 변경하고 HDFS 를 재시작 하더라도 이 숫자들은 줄어들지 않습니다. 아마, 이 설정이 바뀐다 하더라도 기존 파일들은 기존에 설정된 replication 만큼을 그대로 유지하고 새롭게 생성되는 파일에 대해서만 변경된 replication 수 만큼 block 을 복제하는 듯 합니다. 이러한 경우 기존 파일들의 replication 정보를 강제로 변경하여 Under Replicated Block 을 없앨 수 있습니다. $ s..

간혹 namenode 실행할 때, safemode 가 on 상태로 되어있어 namenode 가 실행되지 않는 경우가 있다. 이럴 땐 강제로 safemode 를 off 상태로 변경해주어야 한다.Safemode 끄기12345678910111213141516171819202122232425262728293031$ hdfs dfsadmin -safemode leave Usage: hdfs [--config confdir] [--loglevel loglevel] COMMANDUsage: hadoop [--config confdir] COMMANDwhere COMMAND is one of: namenode -format format the DFS filesystem secondarynamenode run the D..