ASP.NET Hadoop 추가 삭제 검사 의 예제 코드 구현
packages.config
<?xml version="1.0" encoding="utf-8"?>
<packages>
<package id="Microsoft.AspNet.WebApi.Client" version="4.0.20505.0" targetFramework="net46" />
<package id="Microsoft.Data.Edm" version="5.2.0" targetFramework="net46" />
<package id="Microsoft.Data.OData" version="5.2.0" targetFramework="net46" />
<package id="Microsoft.Hadoop.WebClient" version="0.12.5126.42915" targetFramework="net46" />
<package id="Microsoft.Net.Http" version="2.0.20505.0" targetFramework="net46" />
<package id="Microsoft.WindowsAzure.ConfigurationManager" version="1.8.0.0" targetFramework="net46" />
<package id="Newtonsoft.Json" version="4.5.11" targetFramework="net46" />
<package id="System.Spatial" version="5.2.0" targetFramework="net46" />
<package id="WindowsAzure.Storage" version="2.0.4.1" targetFramework="net46" />
</packages>
HDFSAccess.cs
using Microsoft.Hadoop.WebHDFS;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Net.Http;
namespace Physical
{
public sealed class HDFSAccess
{
private readonly WebHDFSClient webHDFSClient;
public HDFSAccess(string uriString, string userName)
{
this.webHDFSClient = new WebHDFSClient(new Uri(uriString), userName);
}
public List<string> GetDirectories(string path)
{
var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;
return directoryStatus.Directories.Select(d => d.PathSuffix).ToList();
}
public List<string> GetFiles(string path)
{
var directoryStatus = this.webHDFSClient.GetDirectoryStatus(path).Result;
return directoryStatus.Files.Select(d => d.PathSuffix).ToList();
}
public bool CreateDirectory(string path)
{
// , 「/」
return this.webHDFSClient.CreateDirectory(path).Result;
}
public bool DeleteDirectory(string path)
{
// , 「/」
return this.webHDFSClient.DeleteDirectory(path).Result;
}
public string CreateFile(string localFile, string remotePath)
{
// , 「/」
return this.webHDFSClient.CreateFile(localFile, remotePath).Result;
}
public bool DeleteFile(string path)
{
// , 「/」
return this.webHDFSClient.DeleteDirectory(path).Result;
}
public HttpResponseMessage OpenFile(string path)
{
// , 「/」
return this.webHDFSClient.OpenFile(path).Result;
}
}
}
Program.cs
using Physical;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace MyTest
{
class Program
{
// HDFS cluster
// :http://[ ]:50070
// :Wu
private static HDFSAccess access = new HDFSAccess(@"http://127.0.0.1:50070", "Wu");
static void Main(string[] args)
{
GetDirectoriesTest();
Console.WriteLine("----------------------------------------------");
GetFilesTest();
Console.WriteLine("----------------------------------------------");
DirectoryTest();
Console.WriteLine("----------------------------------------------");
FileTest();
Console.WriteLine("----------------------------------------------");
OpenFileTest();
Console.ReadKey();
}
public void TestCleanup()
{
//
var directories = access.GetDirectories(@"/");
// :tmp、user
foreach (var directory in directories)
{
if ("tmp".Equals(directory) || "user".Equals(directory))
{
continue;
}
else
{
access.DeleteDirectory(directory);
}
}
//
var files = access.GetFiles(@"/");
//
foreach (var file in files)
{
access.DeleteFile(file);
}
// OpenFile
File.Delete(Path.Combine(Directory.GetCurrentDirectory(), "Test.jpg"));
}
//_ _
public static void GetDirectoriesTest()
{
// :tmp、user
var expected = new List<string>() { "tmp", "user", };
var actual = access.GetDirectories(@"/");
foreach (var item in actual)
{
Console.WriteLine(item);
}
}
//_ _
public static void GetFilesTest()
{
//
var expected = new List<string>();
var actual = access.GetFiles(@"/");
foreach (var item in actual)
{
Console.WriteLine(item);
}
}
//_ zzz _ _ zzz _ zzz _ _ zzz
public static void DirectoryTest()
{
var directoryName = "zzz";
// zzz
var boolCreateDirectory = access.CreateDirectory(directoryName);
Console.WriteLine(" zzz _ :"+boolCreateDirectory);
// zzz _ _ zzz
// :tmp、user、zzz
var expectedCreateDirectory = new List<string>() { "tmp", "user", directoryName, };
var actualCreateDirectory = access.GetDirectories(@"/");
foreach (var item in actualCreateDirectory)
{
Console.WriteLine(item);
}
Console.WriteLine("********************************************");
// zzz
var boolDeleteDirectory = access.DeleteDirectory(directoryName);
Console.WriteLine(" zzz _ :" + boolDeleteDirectory);
// zzz _ _ zzz
// :tmp、user
var expectedDeleteDirectory = new List<string>() { "tmp", "user", };
var actualDeleteDirectory = access.GetDirectories(@"/");
foreach (var item in actualDeleteDirectory)
{
Console.WriteLine(item);
}
}
//_ Test _ Test _ Test _ _ Test
public static void FileTest()
{
var localFile = Path.Combine(Directory.GetCurrentDirectory(), "TestFolder", "Test.jpg");
var remotePath = "Test.jpg";
// Test
var boolCreateFile = access.CreateFile(localFile, remotePath);
// Test _ Test
var expectedCreateFile = new List<string>() { remotePath, };
var actualCreateFile = access.GetFiles(@"/");
foreach (var item in actualCreateFile)
{
Console.WriteLine(item);
}
Console.WriteLine("********************************************");
// Test
var boolDeleteFile = access.DeleteDirectory(remotePath);
Console.WriteLine(" Test _ :"+boolDeleteFile);
// Test _ _ Test
var expectedDeleteFile = new List<string>();
var actualDeleteFile = access.GetFiles(@"/");
foreach (var item in actualDeleteFile)
{
Console.WriteLine(item);
}
}
//_ Test _ Test _ Test _ _ Test Stream
public static void OpenFileTest()
{
var localFile = Path.Combine(Directory.GetCurrentDirectory(), "TestFolder", "Test.jpg");
var remotePath = "Test.jpg";
var saveFile = Path.Combine(Directory.GetCurrentDirectory(), "Test.jpg");
Console.WriteLine("saveFile:" + saveFile);
Console.WriteLine("********************************************");
// Test
var boolCreateFile = access.CreateFile(localFile, remotePath);
// Test _ Test
var expectedCreateFile = new List<string>() { remotePath, };
var actualCreateFile = access.GetFiles(@"/");
foreach (var item in actualCreateFile)
{
Console.WriteLine(item);
}
Console.WriteLine("********************************************");
// Test
var response = access.OpenFile(remotePath);
// Test _
response.EnsureSuccessStatusCode();
// Test _ _ Test Stream
using (var fs = File.Create(saveFile))
{
response.Content.CopyToAsync(fs).Wait();
}
Console.WriteLine(File.Exists(saveFile));
}
}
}
실행 결 과 는 그림 과 같 습 니 다.이상 이 바로 본 고의 모든 내용 입 니 다.여러분 의 학습 에 도움 이 되 고 저 희 를 많이 응원 해 주 셨 으 면 좋 겠 습 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Maven을 사용하여 Hadoop 개발 환경 구축Maven의 사용에 대해 더 이상 수다를 떨지 않고 인터넷이 많으며 이렇게 여러 해 동안 변화도 크지 않다. 여기서는 Hadoop의 개발 환경을 어떻게 구축하는지만 소개한다. 1. 먼저 프로젝트를 작성합니다. 2. ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.