Big Data/Oozie

Oozie workflow 에서 mapred.job.priority 설정

신씅 2014. 6. 19. 13:36

Oozie workflow 에서 job 의 priority를 설정할 때,

<property>
    <name>oozie.launcher.mapred.job.priority</name>
    <value>${priority}</value>
</property>
<property>
    <name>mapred.job.priority</name>
    <value>${priority}</value>
</property>


구글링 해보면 위와 같이 property를 추가 하면 된다고 나온다.

하지만, mapreduce action에만 해당 되는 이야기인지 java action에서는 해당 property가 정상적으로 적용되지 않았다. oozie launcher까지는 property들이 잘 적용되지만 막상 mapreduce까지 내려가면 위 propety들이 전부 누락되어버린다.

그래서 java option 에 아래와 같이 직접 추가해주니 mapred.job.priority 정보가 mapreduce까지 잘 적용되는 것을 확인할 수 있었다.

<arg>-Dmapred.job.priority=${priority}</arg>

마찬가지로 Hive action의 경우에도 query 파일에 mapred.job.priority 속성을 직접 추가해줘야 반영되었다.

SET mapred.job.priority=VERY_HIGH;