Apache Storm 클 러 스 터 설치

1.환경

storm 1.2.1

자바 7+(storm 1.x 는 자바 7 과 자바 8 을 모두 테스트 했다)

Pytho 2.6.6(Python 3.x 이론 적 으로 도 가능 하지만 storm 의 테스트 로 서 는 안 된다)

이상 은 storm 환경 입 니 다.자바 와 python 이 일치 하지 않 으 면 오류 가 발생 할 수 있 습 니 다.
2.storm 클 러 스 터 설치 절차

Zookeeper 클 러 스 터 설정

Nimbus 와 worker 노드 의 설치 환경 설정

클 러 스 터 노드 에서 Storm

을 다운로드 하고 압축 해제 합 니 다.

storm.yaml 에 필요 한 설정 설정 설정

storm 시작

storm 은 Zookeeper 를 사용 하여 메 시 지 를 전달 하지 않 기 때문에 Zookeeper 에 부하 압력 이 적 습 니 다.주의:-Zookeeper 는 고장 이 빠 르 고 오류 가 발생 하면 프로 세 스 를 종료 합 니 다.감독 이 있 는 상태 에서 Zookeeper 를 실행 하 십시오.cron 작업 을 만 들 때 Zookeeper 의 데이터 와 트 랜 잭 션 로 그 를 정기 적 으로 압축 합 니 다.Zookeeper 자체 의 데 몬 은 이렇게 하지 않 습 니 다.디스크 공간 을 다 소모 하기 쉽다.
3.다운로드
zip 또는 tar 버 전의 storm 패 키 지 를 다운로드 하여 Nimbus 와 worker 서버 에 업로드 합 니 다.다운로드 주소:http://storm.apache.org/downloads.html 필요 한 버 전 을 선택 하 십시오.본 고 는 apache-storm-1.2.1.tar.gz 를 선택 하 십시오.서버 에 업로드 하여 압축 을 푸 십시오.

tar -xzvf apache-storm-1.2.1.tar.gz
ln -s apache-storm-1.2.1 storm

4.설정

cd storm
vim conf/storm.yaml

storm.zookeeper.server storm 은 Zookeeper 군집 의 hosts 목록 에 의존 합 니 다.다음 과 같 습 니 다.

storm.zookeeper.servers:
  - "111.222.333.444"
  - "555.666.777.888"

storm.zookeeper.port Zookeeper 클 러 스 터 가 기본 2181 포트 가 아니라면 포트 를 설정 할 수 있 습 니 다.

storm.local.dir Nimbus 와 Supervisor 데 몬 은 로 컬 디 렉 터 리 에 소량의 상태 정 보 를 저장 하도록 설정 해 야 합 니 다(예 를 들 어 jars,프로필 등).모든 기계 에 이 디 렉 터 리 를 만 들 고 권한 을 설정 해 야 합 니 다.예 를 들 어

storm.local.dir: "/mnt/storm"

nimbus.seeds worker 노드 는 어떤 것 이 호스트 후보자 인지 알 아야 토폴로지 jar 와 confs(nimbus.host 는 1.0 이후 폐기 되 었 습 니 다.HA 를 실현 합 니 다):

nimbus.seeds: ["dyl"]

기계 의 전체 도 메 인 이름(FQDN Fully Qualified Domain Name)작성 을 권장 합 니 다.여기 재 미 있 는 곳 이 있 습 니 다.서버 hostname:dyl,처음으로 여기 127.0.0.1 을 썼 습 니 다.storm ui 에서 Nimbus 두 개 를 보 았 습 니 다.
storm.yaml:

nimbus.seeds: [127.0.0.1]

storm ui nimbus summary:
Host
Port
Status
…
dyl
6627
Leader
…
127.0.0.1
6627
offline
…
127.0.0.1 을 작성 할 때 기본적으로 nimbus 를 시작 하 는 서버 이름 을 포함 하여 같은 서버,두 개의 nimbus 후보 자 를 만 들 었 기 때문에 그 중 하 나 는 오프라인 으로 정상적으로 시작 할 수 없습니다.그러나 아무것도 쓰 지 않 으 면 nimbus 가 없습니다.dyl 을 작성 하면 정상 적 이 고 dyl 하나의 nimbus 만 포 함 됩 니 다.

슈퍼 visor.slots.ports 는 워 커 노드 마다 워 커 를 시작 할 때 열 리 는 포트 입 니 다.워 크 마다 하나의 포트 로 메 시 지 를 받 고 몇 개의 포트 를 설정 하면 노드 가 몇 개의 워 크 프로 세 스 를 시작 할 수 있 습 니 다.기본적으로 워 커 네 개 를 엽 니 다.포트 는 6700,6701,6702 와 6703 입 니 다.

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

5.시동
5.1 프론트 시작
이 때 Storm 을 시작 할 수 있 습 니 다.주로 세 개의 구성 요 소 를 시작 합 니 다:1.Nimbus:메 인 노드(Nimbus)실행 명령:bin/storm nimbus 2.Supervisor:모든 Supervisor 노드 실행:bin/storm supervisor.Supervisor 데 몬 은 이 기계 의 worker 프로 세 스 를 시작 하고 중지 합 니 다.3.UI:메 인 노드(Nimbus)에서 실행:bin/storm ui 는 http:/{ui host}:8080 을 통 해 storm ui 에 접근 할 수 있 습 니 다.명령 이 실 행 된 후조금 만 기 다 려 야 접근 할 수 있 습 니 다.
기본적으로 프론트 데스크 톱 에서 시작 하면 nohup 배경 에서 시작 할 수 있 습 니 다.Storm 은 fail-fast 시스템 으로 예상 치 못 한 오류 가 발생 할 때마다 프로 세 스 가 멈 추 는 것 을 의미 합 니 다.Storm 의 디자인 은 언제든지 안전하게 멈 추고 프로 세 스 가 다시 시 작 될 때 올 바 르 게 복구 할 수 있 습 니 다.이것 은 Storm 이 프로 세 스 에서 상 태 를 유지 하지 않 는 이유 입 니 다.Nimbus 나 Supervisor 가 다시 시작 하면실행 중인 topologies 는 영향 을 받 지 않 습 니 다.
5.2 백그라운드 시작
가장 좋 은 방법 은 Supervisor 를 사용 하여 리 눅 스 프로 세 스 를 관리 하 는 것 이다.1.Supervisor 를 설치 하 는 것 이다.

yum install supervisor

Supervisor 설정 수정/etc/supervisord.conf 마지막 부분 은 다음 과 같 습 니 다.

[include]
files = supervisord.d/*.conf

/etc/supervisord.d 디 렉 터 리 에 있 는 모든 conf 파일 을 자동 으로 불 러 옵 니 다.새 파일 storm.conf:

[program:storm-nimbus]
command=/opt/storm/bin/storm nimbus
autostart=true
startretries=3
log_stdout=true
log_stderr=true
redirect_stderr=true
stdout_logfile= /var/log/storm/nimbus.log
stdout_stdout_logfile_backups=1
stdout_stdout_logfile_maxbytes=1MB

[program:storm-supervisor]
command=/opt/storm/bin/storm supervisor
autostart=true
startretries=3
log_stdout=true
log_stderr=true
redirect_stderr=true
stdout_logfile= /var/log/storm/supervisor.log
stdout_stdout_logfile_backups=1
stdout_stdout_logfile_maxbytes=1MB

[program:storm-ui]
command=/opt/storm/bin/storm ui
autostart=true
startretries=3
log_stdout=true
log_stderr=true
redirect_stderr=true
stdout_logfile= /var/log/storm/ui.log
stdout_stdout_logfile_backups=1
stdout_stdout_logfile_maxbytes=1MB

시작

supervisord -c /etc/supervisord.conf

이 때 storm 의 세 구성 요소 가 모두 시 작 됩 니 다.잠시 기다 리 고 storm ui 에 접근 하 십시오.
6.참고

http://storm.apachecn.org/releases/cn/1.1.0/Setting-up-a-Storm-cluster.html

http://storm.apache.org/releases/1.2.1/index.html