목표

AWS의 슈퍼 저렴한 인스턴스에 HDP를 설치하고 재생합니다.

인스턴스 초기화

Ambari

t2.nano

[ec2-user@ip-172-31 ~]$ free -m
              total        used        free      shared  buff/cache   available
Mem:            990          80         731          12         179         739
Swap:             0           0           0

AWS Amazon Linux 스왑 파일 생성으로 Swap 영역의 크기를 늘립니다.
htps : // 이 m / 0 아 아오 Q / ms / 278 A11 D905995 bd16 A f

현재 1GB이므로 8GB Swap 메모리 추가

grep Mem /proc/meminfo
grep Swap /proc/meminfo
free
uname -a
# /swapfile1 に保存
sudo dd if=/dev/zero of=/swapfile1 bs=1M count=8192
grep Swap /proc/meminfo

ll /swapfile1
sudo chmod 600 /swapfile1
sudo mkswap /swapfile1
ll /swapfile1
swapon -s
free
sudo swapon /swapfile1
free
grep Swap /proc/meminfo

메모리를 추가했습니다.

[ec2-user@ip-172-31 ~]$ free -m
              total        used        free      shared  buff/cache   available
Mem:            990          77          64          12         848         731
Swap:          3083           0        3083
[ec2-user@ip-172-31 ~]$

t2.micro instance 만들기

Ambari:1대
Master: 1대
슬레이브:3대

주의사항

RHEL 7.4

Red Hat Enterprise Linux 7.4 (HVM), SSD Volume Type - ami-26ebbc5c

AWS 설정

t2.micro instance

Storage setups -

Ambari: EBS 15G
NN/DN: EBS 20G

보안 설정

All Traffic, Allow, HDP의 보안 그룹 ID 지정(내부 통신을 모두 허가)
All Traffic, Allow, MyIP(관리자 IP 허용)
이제 OK

ssh private key

scp -i amuisekey.pem amuisekey.pem [email protected]:~/.ssh/id_rsa
# 全部サーバーにアップロード

hosts

내 MBP /etc/hosts

    127.0.0.1 localhost.localdomain localhost
    ::1 localhost6.localdomain6 localhost6

#外部IP
    10.110.35.23 hdpmaster1.hdp.hadoop hdpmaster1
    10.191.45.41 hdpmaster2.hdp.hadoop hdpmaster2
    10.151.94.30 hdpslave1.hdp.hadoop hdpslave1
    10.151.87.239 hdpslave2.hdp.hadoop hdpslave2
    10.70.78.233 hdpslave3.hdp.hadoop hdpslave3
    10.151.22.30 ambarimaster.hdp.hadoop ambarimaster

AWS 서버의 /etc/hosts

    127.0.0.1 localhost.localdomain localhost
    ::1 localhost6.localdomain6 localhost6

#外部IP
    10.110.35.23 hdpmaster1.hdp.hadoop hdpmaster1
    10.191.45.41 hdpmaster2.hdp.hadoop hdpmaster2
    10.151.94.30 hdpslave1.hdp.hadoop hdpslave1
    10.151.87.239 hdpslave2.hdp.hadoop hdpslave2
    10.70.78.233 hdpslave3.hdp.hadoop hdpslave3
    10.151.22.30 ambarimaster.hdp.hadoop ambarimaster

Install