hive-0.15.0 의 hadoop 버전이 2.6으로 올라가서 (귀찮게스리) 이번에 업그레이드를 했다. 하고나니 MR 이고 TEZ 고 다 안됨. 리소스 매니저님이 노드가 맘에 안드신다고 (http://localhost:8088/cluster/nodes/unhealthy) 하셔서 보니 

1/1 local-dirs are bad: /tmp/hadoop-navis/nm-local-dir; 1/1 log-dirs are bad: /home/navis/projects/hadoop-2.6.0/logs/userlogs

라고 써있다. 다시 node-manager 로그를 찾아 보니 

WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /home/navis/projects/hadoop-2.6.0/logs/userlogs error, used space above threshold of 90.0%, removing from list of valid directorie

라네. 120G 짜리 SSD 인데 벌써 다 찼나 보다. 게임도 없고 동영상도 없는데.. 여튼 HDFS 상의 데이터들을 좀 지워줘야 할 듯.


참고로 위의 90% 는 디폴트 값인데, 아래와 같은 긴 이름의 설정을 변경하여 무시할 수도 있겠다.

yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage=100


아예 다 끌수도 있다.

yarn.nodemanager.disk-health-checker.enable=false;


이 외에도 interval-ms / health-checker.interval-ms / min-healthy-disks / max-disk-utilization-per-disk-percentage / min-free-space-per-disk-mb 등등이 있음.


----

Hive 의 MiniTezTest 가 안되는 것도 동일한 문제에서 발생한 것으로 보임. 데이터 디렉토리 날리고 나니 잘 돌아감.

신고
Posted by navis94

카테고리

분류 전체보기 (31)
Apache Hive (29)

최근에 달린 댓글

최근에 받은 트랙백

태그목록

달력

«   2017/11   »
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30    

티스토리 툴바