HDFS 의 여러 파일 을 병행 하여 grep 작업 을 수행 합 니 다.
1569 단어 Shell
hadop fs 는 ls, cat 등 을 실행 할 수 있 지만 grep 작업 을 직접 수행 할 수 없습니다.map reduce 프로그램 을 써 서 실행 합 니 다. 가능 하지만 좀 번 거 로 워 서 셸 명령 을 직접 사용 하지 않 았 습 니 다.조회 와 시 도 를 거 쳐 마침내 방법 을 찾 았 다.
예 를 들 어 10 개의 프로 세 스 를 사용 하여 2016 년 1 월 11 일 19 시 와 20 시 사이 에 abcdefg 를 포함 하 는 로그 기록 을 조회 합 니 다.
hadoop fs -ls /path-to-log-dir/ | \
grep '2016011119' | awk '{print $8}' | \
xargs -n 1 -I {} -P 10 bash -c "hadoop fs -cat {} | zgrep 'abcdefg'"설명:
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Shell alias 명령에 별칭을 설정하는 방법명령에 별명을 설정하면 명령의'작은 이름'으로 삼을 수 있지만, 이렇게 하는 것이 무슨 의미가 있습니까? 이때 별명이 작용할 수 있다.vim 명령의 별명을vi라고 정의하면 이후에 실행된vi 명령은 실제로vim 명령을...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
