JAVA 코드로 HDFS 작업 방법

11563 단어 Hadoophadoop
때때로 우리는 직접 서버에 올라가서 Hadoop의 HDFS를 조작하지 않습니다. 그러면 다음은 JAVA 코드로 Hadoop pom을 어떻게 조작하는지 보여 드리겠습니다.
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.wy</groupId>
    <artifactId>FOBJ</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>7</source>
                    <target>7</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>E:/javajdk/lib/tools.jar</systemPath>
        </dependency>
    </dependencies>
</project>

구체적인 조작은 사실 매우 간단하다. 코드는 다음과 같다.
package com.wy;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HDFS {
     
    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {
     
        Configuration cfg =new Configuration();
        cfg.set("fs.defaultFS","hdfs://192.168.85.128:9000");

        FileSystem fs=FileSystem.get(new URI("hdfs://192.168.85.128:9000"),cfg,"root");
        fs.mkdirs(new Path("/cds"));
        fs.close();

    }

}


위의 이 예는 폴더를 만드는 예입니다. 다른 조작은 모두 File System의 대상을 사용하여 조작합니다. 여러분이 사용할 때 방법명이 명령이라는 것을 발견할 수 있습니다.

좋은 웹페이지 즐겨찾기