Mac에 Hadoop 설치 – 궁극적인 단계별 가이드

이 튜토리얼에서는 hadoop과 그 아키텍처에 대한 간략한 알림을 포함하여 Mac 컴퓨터에 hadoop 시스템을 설치하는 방법을 배웁니다.

Hadoop에 대해 이야기할 때 가장 먼저 떠오르는 아이디어는 빅 데이터입니다. 방대한 양의 데이터를 저장할 필요가 있었기 때문에 빅 데이터와 함께 하둡이 등장했습니다. 데이터를 저장할 뿐만 아니라 신뢰할 수 있고 확장 가능하며 경제적인 방식으로 분석하고 액세스할 수 있습니다.

Hadoop 시스템은 두 가지 주요 빅 데이터 문제를 해결합니다. 첫 번째 문제, 컴퓨터 중 하나가 고장 나면 어떻게 됩니까? 전통적으로 기계에 장애가 발생하면 백업이 없는 한 저장된 모든 정보가 손실됩니다. hadoop 시스템에는 이 문제를 피하기 위한 메커니즘이 있습니다.

두 번째 어려운 문제는 서로 다른 하드 드라이브의 정보를 결합하는 것이었습니다. 많은 하드 드라이브에 저장된 많은 양의 데이터를 분석할 때 이 정보에 액세스하고 결합하는 것은 어려울 수 있습니다. 다행히 Hadoop도 이 문제를 해결합니다.

하둡이란 무엇입니까?

Hadoop은 안정적이고 확장 가능한 분산 컴퓨팅에 최적화된 오픈 소스 소프트웨어입니다. 그게 무슨 뜻이야? 분산 컴퓨팅이란 처리 작업을 수행하는 단일 컴퓨터 대신 여러 기계에서 작업을 수행하는 것을 의미합니다. 하나의 목표를 시도하기 위해 모두 연결된 여러 대의 컴퓨터.

Hadoop 소프트웨어에는 데이터 손실을 방지하는 메커니즘이 포함되어 있습니다. 또한 데이터가 증가함에 따라 더 많은 컴퓨터를 시스템에 추가할 수 있는 확장 가능한 시스템입니다.

Hadoop은 대용량 파일을 처리하도록 설계되었습니다. Hadoop에 파일을 저장하면 파일이 더 작은 조각으로 분할되고 각 조각은 클러스터 내의 다른 시스템에 저장됩니다. 또한 각 파일 블록은 데이터 손실을 방지하기 위해 여러 시스템에 복제됩니다.

전체 시스템은 하나의 서버에서 수천 대의 서버로 확장할 수 있습니다. 결과적으로 각 서버의 계산 및 저장 능력이 결합되어 정말 강력한 시스템이 됩니다.

Learn more about Hadoop's architecture

Learn about different installation modes

독립형 설치

우리가 본 것처럼 세 가지 모드로 Mac에 Hadoop을 설치할 수 있습니다. 그들 중 하나는 독립형입니다. 독립형은 분리된 데몬이 없고 모든 Hadoop 프로세스가 동일한 JVM에서 실행됨을 의미합니다. 독립형 모드에서 Hadoop을 설치하는 단계는 아래를 참조하십시오.

1단계) Java가 설치되어 있는지 확인

Hadoop은 Java로 작성된 소프트웨어이며 배후에는 Java를 사용하고 있습니다. 따라서 가장 먼저 해야 할 일은 Java가 설치된 위치를 hadoop에 표시하는 것입니다. 이렇게 하려면 시스템에서 JAVA_HOME 환경 변수를 설정해야 합니다.

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-14.0.2.jdk/Contents/Home/

그런 다음 다음 명령을 실행하여 java가 설치되어 있는지 확인합니다.

java --version

2단계) 하둡 다운로드

다음 웹 사이트에서 hadoop을 다운로드할 수 있습니다. Hadoop 다운로드

미러 중 하나를 선택한 다음 버전을 선택하고 hadoop-X.Y.Z.tar.gz라는 파일을 다운로드합니다.

3단계) ​​Hadoop 환경 변수 설정

Mac에 hadoop을 설치하는 다음 단계는 hadoop 환경 변수를 만드는 것입니다. 이전 파일의 압축을 푼 디렉토리를 가리키는 HADOOP_HOME 환경 변수를 만들어야 합니다. 또한 이 경로를 PATH 변수에 추가해야 합니다. 실행해야 하는 명령은 아래를 참조하십시오.

export HADOOP_HOME=~/sw/hadoop-x.y.z
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

Run Hadoop on Pseudo Distributed Mode