My Dev. story

Pivotal CFhttp://run.pivotal.io Cloud-Foundry Sampleshttps://github.com/cloudfoundry-samples Bluemixhttps://console.ng.bluemix.net Twelve-Factor App for SaaShttp://12factor.net/ko/ Bosh-lite 설치Pre-requirementVirtualbox / Vagrant 설치Vagrant - https://www.vagrantup.com/ Bosh-lite 다운로드 $ git clone https://github.com/cloudfoundry/bosh-lite Vagrant 이미지 생성 $ vagrant up --provider=virtualboxvagrant 접속 -..

Filebeat가 설치된 디렉토리에서 .filebeat 를 삭제한다.$ rm -rf $FILEBEAT_HOME/.filebeat

간혹 namenode 실행할 때, safemode 가 on 상태로 되어있어 namenode 가 실행되지 않는 경우가 있다. 이럴 땐 강제로 safemode 를 off 상태로 변경해주어야 한다.Safemode 끄기12345678910111213141516171819202122232425262728293031$ hdfs dfsadmin -safemode leave Usage: hdfs [--config confdir] [--loglevel loglevel] COMMANDUsage: hadoop [--config confdir] COMMANDwhere COMMAND is one of: namenode -format format the DFS filesystem secondarynamenode run the D..

수집 정보System-wide statisticsSystem load: in the last minute, in the last 5 minutes, and in the last 15 minutesSystem wide CPU usage: user (and percentage), system, idle, IOWait, and so on at both per CPU and overall levelSystem wide memory usage: total, used (and percentage), free, and so onSystem wide swap usage: total, used (and percentage), free, and so onPer-process statisticsProcess nameProc..

* Putty로 1번 서버로 접속할 시 SSH Tunnels 설정에 L8081 -> localhost:8081과 L4040 -> localhost:4040을 추가하여 저장 후 연결하도록 한다. ----- 1번, 2번, 3번 서버에서 동일하게 수행한다.------ 1. system에서 spark 계정을 만든 후 hdfs 계정으로 HDFS의 /user/spark 폴더를 만들고 $ chmod spark:hdfs로 해당 폴더에 spark 계정 권한 부여한다. root 계정에서 $ adduser spark -g hdfs 후 $ passwd spark 해서 passwd 설정 hdfs 계정에서 $ hadoop fs -mkdir /user/spark 후 $ hadoop fs -chmod spark:hdfs /user/..

[ 설치 전 확인 사항 ] 1) Java process kill $ ps -ef | grep java 로 확인 2) putty 접속 설정 tunneling 으로 L8080 -> HOST:8080 추가 [ 설치 ] 1. VM클러스터 내 각 호스트에서 root계정으로 다음을 실시 * password-less 설정 - $ ssh-keygen 후 엔터키, 엔터키, 엔터키 - $ ssh-copy-id -i .ssh/id_rsa.pub 후 연결 확인 * iptables off - $ chkconfig iptables off or service iptables stop - $ /etc/init.d/iptables stop * selinux disable - $ setenforce 0 - $ vim /etc/yum/p..

[계정 생성] $useradd [username] -d /home/[username] -s /bin/bash -d : home 디렉토리 생성/지정 -s : shell 종류 [비밀번호 생성] $passwd [username]

[key 생성] $ssh-keygen -t rsa$cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys [테스트] $ssh localhost

cd /etc/sysconfig/network-scripts/vi ifcfg-eth{x}service network restart [고정 IP]DEVICE=eth1BOOTPROTO=staticNM_CONTROLLED=NOONBOOT=yesTYPE=EthernetIPADDR=192.168.56.101 [유동 IP] DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED=noBOOTPROTO=dhcp

Oozie workflow 에서 job 의 priority를 설정할 때, oozie.launcher.mapred.job.priority ${priority} mapred.job.priority ${priority} 구글링 해보면 위와 같이 property를 추가 하면 된다고 나온다. 하지만, mapreduce action에만 해당 되는 이야기인지 java action에서는 해당 property가 정상적으로 적용되지 않았다. oozie launcher까지는 property들이 잘 적용되지만 막상 mapreduce까지 내려가면 위 propety들이 전부 누락되어버린다. 그래서 java option 에 아래와 같이 직접 추가해주니 mapred.job.priority 정보가 mapreduce까지 잘 적용되는 것..