웹 hdfs put 파일 을 통 해 hdfs 로

755 단어 hadoop
rest API 의 webhdfs 를 통 해 가 는 http 는 hadop 클 라 이언 트 를 설치 할 필요 가 없습니다.
put 코드 는 다음 과 같 습 니 다:
#!/bin/sh
###################
. /etc/profile
. ~/.bash_profile
##################
echo =====================================`date`===============================================
SCRIPT_NAME=$(readlink -f "$0")
dir=`dirname ${SCRIPT_NAME}`
cd $dir
localFile=$1
echo $localFile
hdfsFile=$2
echo $hdfsFile
namenode=nn.tv.hadoop.sohuno.com
url=`curl -i -X PUT "http://$namenode:50070/webhdfs/v1${hdfsFile}?op=CREATE&user.name=rc&overwrite=true&replication=3" | grep Location | awk -F ' ' '{print $2}'`
curl -i -X PUT -T $localFile "$url"
if [[ $? -eq 0 ]];then
  exit 100
else
  exit 1
fi

좋은 웹페이지 즐겨찾기