hadop 명령 해독

[빅 데이터 노트] - hadop 명령 해독 - flyfoxs - ITeye 기술 사이트http://flyfoxs.iteye.com/blog/2113064
다음은 hadop 발표 버 전 입 니 다. bin 디 렉 터 리 아래 hadop 명령 의 소스 코드 입 니 다. hadop 명령 은 여러 가지 인 자 를 지원 합 니 다. 기억 하지 못 하고 정밀도 이 부분 코드 를 통 해 일부 인 자 를 기억 할 수 있 습 니 다.
!/usr/bin/env bash
Licensed to the Apache Software Foundation (ASF) under one or more
contributor license agreements. See the NOTICE file distributed with
this work for additional information regarding copyright ownership.
The ASF licenses this file to You under the Apache License, Version 2.0
(the "License"); you may not use this file except in compliance with
the License. You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
This script runs the hadoop core commands.
이 세 줄 명령 의 주요 목적 은 Hadoop 이 실행 중인 디 렉 터 리 를 가 져 오 는 것 입 니 다.
bin= which $0 bin= dirname ${bin} bin= cd "$bin"; pwd
hadop - config. sh 파일 을 찾 았 습 니 다. Hadoop 명령 이 많이 포 함 된 프로필 입 니 다.
HADOOP 부터 찾 아LIBEXEC_DIR 디 렉 터 리, 정의 가 없 으 면 기본 경로, 즉 hadop 루트 디 렉 터 리 아래 libexec 를 사용 합 니 다.
DEFAULT_LIBEXEC_DIR="$bin"/../libexec HADOOP_LIBEXEC_DIR=${HADOOP_LIBEXEC_DIR:-$DEFAULT_LIBEXEC_DIR} . $HADOOP_LIBEXEC_DIR/hadoop-config.sh
function print_usage(){ echo "Usage: hadoop [--config confdir] COMMAND" echo " where COMMAND is one of:" echo " fs run a generic filesystem user client" echo " version print the version" echo " jar run a jar file" echo " checknative [-a|-h] check native hadoop and compression libraries availability" echo " distcp copy file or directories recursively" echo " archive -archiveName NAME -p * create a hadoop archive" echo " classpath prints the class path needed to get the" echo " Hadoop jar and the required libraries" echo " daemonlog get/set the log level for each daemon" echo " or" echo " CLASSNAME run the class named CLASSNAME" echo "" echo "Most commands print help when invoked w/o parameters." }
명령 매개 변수 개수 가 0 이면 알림 을 인쇄 하고 종료 합 니 다.
if [ $# = 0 ]; then print_usage exit fi
첫 번 째 매개 변 수 를 분석 하고, 0 번 째 매개 변 수 는 명령 자체 입 니 다.
COMMAND=$1 case $COMMAND in
usage flags
--help|-help|-h) print_usage exit ;;
hdfs commands
namenode|secondarynamenode|datanode|dfs|dfsadmin|fsck|balancer|fetchdt|oiv|dfsgroups) echo "DEPRECATED: Use of this script to execute hdfs command is deprecated." 1>&2 echo "Instead use the hdfs command for it." 1>&2 echo "" 1>&2 #try to locate hdfs and if present, delegate to it. shift if [ -f "${HADOOP_HDFS_HOME}"/bin/hdfs ]; then exec "${HADOOP_HDFS_HOME}"/bin/hdfs ${COMMAND/dfsgroups/groups} "$@" elif [ -f "${HADOOP_PREFIX}"/bin/hdfs ]; then exec "${HADOOP_PREFIX}"/bin/hdfs ${COMMAND/dfsgroups/groups} "$@" else echo "HADOOP_HDFS_HOME not found!" exit 1 fi ;;
mapred commands for backwards compatibility
pipes|job|queue|mrgroups|mradmin|jobtracker|tasktracker|mrhaadmin|mrzkfc|jobtrackerha) echo "DEPRECATED: Use of this script to execute mapred command is deprecated." 1>&2 echo "Instead use the mapred command for it." 1>&2 echo "" 1>&2 #try to locate mapred and if present, delegate to it. shift if [ -f "${HADOOP_MAPRED_HOME}"/bin/mapred ]; then exec "${HADOOP_MAPRED_HOME}"/bin/mapred ${COMMAND/mrgroups/groups} "$@" elif [ -f "${HADOOP_PREFIX}"/bin/mapred ]; then exec "${HADOOP_PREFIX}"/bin/mapred ${COMMAND/mrgroups/groups} "$@" else echo "HADOOP_MAPRED_HOME not found!" exit 1 fi ;;
Hadoop 이 실 행 될 때의 classpath 를 출력 하여 classpath 의 오 류 를 쉽게 찾 을 수 있 습 니 다.
classpath) if $cygwin; then CLASSPATH= cygpath -p -w "$CLASSPATH" fi echo $CLASSPATH exit ;;
core commands
) # the core commands if [ "$COMMAND" = "fs" ] ; then CLASS=org.apache.hadoop.fs.FsShell elif [ "$COMMAND" = "version" ] ; then CLASS=org.apache.hadoop.util.VersionInfo elif [ "$COMMAND" = "jar" ] ; then CLASS=org.apache.hadoop.util.RunJar elif [ "$COMMAND" = "checknative" ] ; then CLASS=org.apache.hadoop.util.NativeLibraryChecker elif [ "$COMMAND" = "distcp" ] ; then CLASS=org.apache.hadoop.tools.DistCp CLASSPATH=${CLASSPATH}:${TOOL_PATH} elif [ "$COMMAND" = "daemonlog" ] ; then CLASS=org.apache.hadoop.log.LogLevel elif [ "$COMMAND" = "archive" ] ; then CLASS=org.apache.hadoop.tools.HadoopArchives CLASSPATH=${CLASSPATH}:${TOOL_PATH} elif [[ "$COMMAND" = - ]] ; then # class and package names cannot begin with a - echo "Error: No command named `$COMMAND' was found. Perhaps you meant `hadoop ${COMMAND#-}'"exit 1 else \ # 위 에 있 는 것 이 일치 하지 않 으 면 첫 번 째 매개 변 수 는 classname 으로 해석 합 니 다. 예 를 들 어 아래 는 예제 입 니 다. \ # hadop org. apache. hadop. examples. WordCount / tmp / 15 / tmp / 46 CLASS = $COMMAND fi

#  $@       ,  "hadoop org.apache.hadoop.examples.WordCount /tmp/15 /tmp/46"
#   shift  $@=org.apache.hadoop.examples.WordCount /tmp/15 /tmp/46
#  $@=/tmp/15 /tmp/46
shift

# Always respect HADOOP_OPTS and HADOOP_CLIENT_OPTS
#                 hadoop-config.sh,         ,         ,       debug
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"

#make sure security appender is turned off
HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,NullAppender}"

#  cygwin   
if $cygwin; then
  CLASSPATH=`cygpath -p -w "$CLASSPATH"`
fi

#     ,            CLASSPATH
export CLASSPATH=$CLASSPATH
exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"
;;

esac