storm 상세 배치 절차
3583 단어 Storm
jzmq-master-----java c++ , , zeromp
storm-0.8.2
zeromq-2.1.7----- ( c++ )
zookeeper-3.4.5
1.컴 파일 설치 ZMQ:
tar -xzf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
# :configure: error: Unable to find a working C++ compiler
# rpm :libstdc++-devel gcc-c++
:
yum install gcc-c++
: http://mirrors.163.com/centos/6.4/os/x86_64/Packages/ rpm
rpm -i libstdc++-devel-4.4.7-3.el6.x86_64.rpm
rpm -i gcc-c++-4.4.7-3.el6.x86_64.rpm
rpm -i libuuid-devel-2.17.2-12.9.el6.x86_64.rpm
./configure
make
make install
2.컴 파일 설치 JZMQ:
cd jzmq
./autogen.sh
# :autogen.sh: error: could not find libtool. libtool is required to run autogen.sh. libtool
yum install libtool
rpm -i autoconf-2.63-5.1.el6.noarch.rpm
rpm -i automake-1.11.1-4.el6.noarch.rpm
rpm -i libtool-2.2.6-15.5.el6.x86_64.rpm
./configure
make
make install
3.Python 설치 컴 파일(storm 의 시작 프로필 은 python 으로 작성):
tar –zxvf Python-2.6.6.tgz
cd Python-2.6.6
./configure
make
make install
Storm 발표 버 전 을 다운로드 하고 풀 려 면 Nimbus 와 Supervisor 기기 에 Storm 발행 버 전 을 설치 해 야 합 니 다.
1. Storm
wget https://dl.dropbox.com/u/133901206/storm-0.8.2.zip
2. :
unzip storm-0.8.1.zip
storm.yaml
Storm conf/storm.yaml , Storm。 。conf/storm.yaml defaults.yaml 。
다음 설정 옵션 은 conf/storm.yaml 에서 설정 해 야 합 니 다:
1) storm.zookeeper.servers: Storm Zookeeper , :
storm.zookeeper.servers:
- "111.222.333.444"
- "555.666.777.888"
Zookeeper , storm.zookeeper.port 。
2) storm.local.dir: Nimbus Supervisor , jars、confs , 。
storm.yaml , :
storm.local.dir: "/usr/storm/workdir"
3) java.library.path: Storm (ZMQ JZMQ) , "/usr/local/lib:/opt/local/lib:/usr/lib",
ZMQ JZMQ /usr/local/lib , 。
4) nimbus.host: Storm Nimbus , Supervisor Nimbus, Topologies jars、confs , :
nimbus.host: "111.222.333.444"
5) supervisor.slots.ports: Supervisor , worker 。 worker ,
worker 。 , 4 workers, 6700、6701、6702 6703 , :
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
2.5 Storm
, Storm 。 Zookeeper ,Storm (fail-fast) , Storm , 。 Storm , Nimbus Supervisors , Topologies 。
다음은 Storm 의 각 배경 프로 세 스 를 시작 하 는 방식 입 니 다.
Nimbus: Storm "bin/storm nimbus >/dev/null 2>&1 &" Nimbus , ;
Supervisor: Storm "bin/storm supervisor >/dev/null 2>&1 &" Supervisor , ;
UI: Storm "bin/storm ui >/dev/null 2>&1 &" UI , , http://{nimbus host}:8080 worker 、Topologies 。
:
Storm , Storm logs/ 。
,Storm UI Storm Nimbus , UI , UI Nimbus 。
, bin/storm 。
,Storm 、 , 。
3.클 러 스 터 에 퀘 스 트 제출:
1) Storm Topology:
storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3
,allmycode.jar Topology jar ,org.me.MyTopology main Topology ,arg1、arg2 arg3 org.me.MyTopology 。
2) Storm Topology:
storm kill {toponame}
,{toponame} Topology Storm Topology 。