datalake AWS EC2에 Hive 설치 다운로드 하이브 wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz tar -xvf apache-hive-3.1.3-bin.tar.gz /usr/lib 폴더로 이동하여 hive라는 폴더를 만듭니다. sudo mkdir hive cd ~mv apache-hive-3.1.3-bin /usr/lib/hive .bas... hadoophivedatalake AWS EC2에 Hadoop 단일 노드 클러스터 설치 Ubuntu 18, m3.large, 메모리 8GB openjdk 설치(JRE 아님) sudo apt-get install openjdk-8-jdk 하둡 2.9.0 받기wget https://archive.apache.org/dist/hadoop/core/hadoop-2.9.0/hadoop-2.9.0.tar.gz 홈 폴더에서 Hadoop 추출 tar -xvf hadoop-2.9.0.tar.g... hadoopdatalakeaws Hadoop AWS EC2에 sqoop 설치 전제 조건: hadoop 설치 방법 이전 가이드에서 이미 OpenJDK 1.8과 함께 Hadoop을 설치했습니다. 이후 버전의 MySql 서버가 JDK 1.7 MySql 커넥터 드라이버와 제대로 작동하지 않기 때문에 JDK 1.8이 필요합니다. Cloudera는 JDK 1.7과 함께 도커 이미지를 제공했기 때문에 이 수동 설치의 목적은 sqoop이 특히 RDS에서 광범위한 MySql 서버 버... hadoopsqoopdatalake 빠른 팁: Apache Iceberg Data Lake에 SingleStoreDB 추가 이 짧은 기사에서는 Apache Spark를 사용하여 Apache Iceberg Data Lake를 생성하는 방법을 보여줍니다. 이 간단한 예에서는 Apache Spark 데이터 프레임을 Apache Iceberg와 SingleStoreDB를 연결하는 방법으로 사용하는 방법을 살펴보겠습니다. 또한 세 개의 폴더( jars , data 및 warehouse )를 만들어야 합니다. data 폴더... singlestoredbapachesparkdatalakeapacheiceberg MongoDB 카프카 커넥터 그리고 Kafka Connect는 Apache Kafka를 MongoDB와 같은 데이터 저장소에 연결하는 문제를 해결하는 Apache Kafka의 구성 요소입니다. Kafka Connect는 다음 리소스를 제공하여 이 문제를 해결합니다. Apache Kafka를 다른 데이터 저장소에 연결하기 위한 솔루션을 공유하기 위한 Apache Kafka 커뮤니티용 프레임워크입니다. 그리고 MongoDB... kafkadatalakeconnectormongodb
AWS EC2에 Hive 설치 다운로드 하이브 wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz tar -xvf apache-hive-3.1.3-bin.tar.gz /usr/lib 폴더로 이동하여 hive라는 폴더를 만듭니다. sudo mkdir hive cd ~mv apache-hive-3.1.3-bin /usr/lib/hive .bas... hadoophivedatalake AWS EC2에 Hadoop 단일 노드 클러스터 설치 Ubuntu 18, m3.large, 메모리 8GB openjdk 설치(JRE 아님) sudo apt-get install openjdk-8-jdk 하둡 2.9.0 받기wget https://archive.apache.org/dist/hadoop/core/hadoop-2.9.0/hadoop-2.9.0.tar.gz 홈 폴더에서 Hadoop 추출 tar -xvf hadoop-2.9.0.tar.g... hadoopdatalakeaws Hadoop AWS EC2에 sqoop 설치 전제 조건: hadoop 설치 방법 이전 가이드에서 이미 OpenJDK 1.8과 함께 Hadoop을 설치했습니다. 이후 버전의 MySql 서버가 JDK 1.7 MySql 커넥터 드라이버와 제대로 작동하지 않기 때문에 JDK 1.8이 필요합니다. Cloudera는 JDK 1.7과 함께 도커 이미지를 제공했기 때문에 이 수동 설치의 목적은 sqoop이 특히 RDS에서 광범위한 MySql 서버 버... hadoopsqoopdatalake 빠른 팁: Apache Iceberg Data Lake에 SingleStoreDB 추가 이 짧은 기사에서는 Apache Spark를 사용하여 Apache Iceberg Data Lake를 생성하는 방법을 보여줍니다. 이 간단한 예에서는 Apache Spark 데이터 프레임을 Apache Iceberg와 SingleStoreDB를 연결하는 방법으로 사용하는 방법을 살펴보겠습니다. 또한 세 개의 폴더( jars , data 및 warehouse )를 만들어야 합니다. data 폴더... singlestoredbapachesparkdatalakeapacheiceberg MongoDB 카프카 커넥터 그리고 Kafka Connect는 Apache Kafka를 MongoDB와 같은 데이터 저장소에 연결하는 문제를 해결하는 Apache Kafka의 구성 요소입니다. Kafka Connect는 다음 리소스를 제공하여 이 문제를 해결합니다. Apache Kafka를 다른 데이터 저장소에 연결하기 위한 솔루션을 공유하기 위한 Apache Kafka 커뮤니티용 프레임워크입니다. 그리고 MongoDB... kafkadatalakeconnectormongodb