[ 설치 전 확인 사항 ]
1) Java process kill
$ ps -ef | grep java 로 확인
2) putty 접속 설정 tunneling 으로 L8080 -> HOST:8080 추가
[ 설치 ]
1. VM클러스터 내 각 호스트에서 root계정으로 다음을 실시
* password-less 설정
- $ ssh-keygen 후 엔터키, 엔터키, 엔터키
- $ ssh-copy-id -i .ssh/id_rsa.pub <각 3개 host> 후 연결 확인
* iptables off
- $ chkconfig iptables off or service iptables stop
- $ /etc/init.d/iptables stop
* selinux disable
- $ setenforce 0
- $ vim /etc/yum/pluginconf.d/refresh-packagekit.conf 후 enabled=0 으로 수정
* ntp 설정
- $ yum install ntp
- $ vim /etc/ntp.conf 후
-- 1번 서버에서 기존 server 들은 주석 처리 후 아래를 추가
server 0.kr.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
-- 2,3번 서버에서는 마찬가지로 다른 server 들은 주석 처리 후 1번 서버 IP혹은 hostname 추가
server bigdata10-01 (1번 서버 hostname)
- $ service ntpd restart
- $ chkconfig ntpd on
(생략- ambari 에서 자동으로 설치하기 때문에 생략해도 무방)
----------------------------------------------------------------
* jdk 1.7 다운로드 및 설정
- $ mkdir /usr/java
- $ cd /usr/java
- $ wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u60-b19/jdk-7u60-linux-x64.tar.gz"
- $ mv jdk-7u60-linux-x64.tar.gz\?AuthParam\=1402628481_aa119c853a7bd35882142257e4b7f4c3 jdk-7u60-linux-x64.tar.gz
- $ tar zxvf jdk-7u60-linux-x64.tar.gz
- $ ln -s jdk1.7.0_60 jdk
* JAVA_HOME 및 PATH 설정
- $ cd
- $ vim .bash_profile 후 아래 2줄 추가
export JAVA_HOME=/usr/java/jdk
export PATH=$JAVA_HOME/bin:$PATH
- $ source .bash_profile
-----------------------------------------------------------------
* openssl upgrade (1.0.1e-15 에서 1.0.1e-e16 으로)
- $ yum upgrade openssl
2. Ambari 서버 설치 - 1번 서버에서 수행
* Repos 설정
- $ wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.6.0/ambari.repo
- $ cp ambari.repo /etc/yum.repos.d
- $ yum repolist 해서 Ambari 1.x, HDP-UTILS 가 나오는지 확인
* Ambari Install
- $ yum install ambari-server
- $ ambari-server setup 후 엔터, 엔터, JDK 설정 시 3. Custom JDK 선택 후 /usr/java/jdk 적어준다. 그 뒤 엔터, 엔터
* Ambari Start
- $ ambari-server start
- $ ps -ef | grep Ambari 로 프로세스 확인
3. Ambari를 통한 HDP Cluster deployment
* Log into Amabari
- 브라우저에서 http://{ambari-server}:8080 혹은 ssh tunneling 이 되어 있다면 http://localhost:8080 으로 접속 한다.
- admin/admin 으로 접속
* cluster이름을 넣어준다. (예: bigdata10)
* HDP 2.1 선택
* Target Host에는 3개 hostname으로 다 넣어준다.
(예: bigdata10-01
bigdata10-02
bigdata10-03)
* SSH Private Key에는 ambari-server가 설치된 서버(1번 서버)의 ~/.ssh/id_rsa 파일 내용을 copy and paste 로 넣어준다.
* Choose Services
- 필요한 서비스 선택: HDFS, YARN, Tez, Nagios, Oozie, Zookeeper, Storm 등 선택
* Assign Masters
- 1번 서버: NameNode, History Server, Resource Manager, Zookeeper Server,
- 2번 서버: SNameNode, App Timeline Server, Nagios Server, Zookeeper Server
- 3번 서버: Ganglia Server, Oozie Server, Zookeeper Server
* Assign Slaves and Clients
- 2번, 3번 서버에 DataNode, NodeManager, Client 설치 한다.
* Customize Services
- Oozie 탭에서 Database password 설정
- Nagios 탭에서 Nagios Admin Passwrd와 Hadoop Admin email 설정
* Review 후 Deploy 버튼 클릭