Go 🔥👀를 사용하여 S3에서 파일 가져오기 및 읽기

특정 서비스에 대해 AWS SDK를 사용하여 간단한 작업을 수행하는 방법을 알아내는 것은 때때로 AWS 설명서가 제한적이고 최소한의 정보만 제공한다는 점을 감안할 때 어려울 수 있습니다. 오늘은 Go를 사용하여 S3에서 특정 파일을 가져오고 읽는 방법을 보여 드리겠습니다. 이 튜토리얼은 단순한 문제가 무엇인지에 대한 많은 시간의 연구를 수집합니다.

전제 조건은 다음과 같습니다.

Go 설치/이전 Go 경험.

AWS-SDK 설정/이전 AWS-SDK로 개발.

기본 수입품

import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"

    "github.com/aws/aws-lambda-go/lambda"
    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3"
)

전역 변수 및 구조체 정의.

몇 가지 기본 구조체와 전역 변수를 정의하여 시작합니다.

type S3Bucket struct {
    Bucket string `json:"bucket"`
    Key    string `json:"key"`
}

type Metrics struct {
    RMSE         string      `json:"rmse"`
    MAE        string      `json:"mae"`
    MAPE        string      `json:"mape"`
}

var pageNum int = 0
var s3Buckets []S3Bucket
var finalMetrics []Metrics
var sess *session.Session

세션을 시작합니다.

먼저 SDK가 공유 자격 증명 파일 ~/.aws/credentials에서 자격 증명을 로드하는 데 사용하는 세션을 초기화하고 새 Amazon S3 서비스 클라이언트를 생성합니다.

sess, err := session.NewSession(&aws.Config{
        Region: aws.String(conf.AWS_REGION),
    })

if err != nil {
    exitErrorf("Unable to create a new session %v", err)
}

페이지 매김을 사용하여 버킷의 항목 나열.

AWS 문서는 ListObjectsV2 함수를 사용하여 버킷의 파일에 액세스하는 예만 제공합니다. 이제 이 함수에서 발생한 문제는 결과를 더 많이 필터링하기 위해 결과에 자체 사용자 정의 함수를 적용하는 것을 허용하지 않습니다. 또 다른 문제는 각 요청과 함께 버킷의 객체(최대 1,000개)를 반환한다는 것입니다. 여기에는 읽고 싶은 파일의 하위 경로가 포함됩니다.
ListObjectsV2 S3 버킷 트리의 모든 객체를 나열하며 파일이 포함되지 않은 객체도 포함합니다. 특정 개체를 대상으로 하려면 함수를 적용해야 합니다. 따라서 대신 ListObjectsV2Pages 을 사용합니다. ListObjectsV2Pages는 ListObjectsV2 작업의 페이지를 반복하여 각 페이지에 대한 응답 데이터로 함수를 호출합니다. 반복을 중지하려면 false 를 반환합니다.

아래와 같이 페이지의 .json 파일만 대상으로 지정하고 s3Bucket slice 에 추가하고 싶습니다. 이 부분은 우리가 각 파일의 위치를 ​​알 수 있도록 하여 내용에 접근할 수 있도록 해주기 때문에 중요합니다!

기본 버킷 이름을 S3_BUCKET으로 전달하고 객체 경로가 있는 경우 S3_PREFIX에 전달합니다.

svc := s3.New(sess)
err = svc.ListObjectsV2Pages(&s3.ListObjectsV2Input{Bucket: aws.String(S3_BUCKET), Prefix: aws.String(S3_PREFIX)},
    func(page *s3.ListObjectsV2Output, lastPage bool) bool {
        pageNum++
        for _, item := range page.Contents {
            if strings.Contains(*item.Key, "json") {
                s3Buckets = append(s3Buckets, S3Bucket{Bucket: conf.S3_BUCKET, Key: *item.Key})
            }
        }
        return pageNum < 100
    })

if err != nil {
    exitErrorf("Unable to list items in bucket %q, %v", conf.S3_BUCKET, err)
}

개체 콘텐츠에 액세스합니다.

s3buckets 슬라이스를 사용하여 Bucket에서 Key 및 struct에 액세스하여 'Object' 정보(또는 파일)를 요청한 다음 객체 정보를 기반으로 객체를 가져옵니다.

for _, item := range s3Buckets {
    requestInput := &s3.GetObjectInput{
        Bucket: aws.String(item.Bucket),
        Key:    aws.String(item.Key),
    }

    result, err := svc.GetObject(requestInput)
    if err != nil {
        log.Print(err)
    }

내용을 슬라이스로 읽기

JSON 파일 '결과'는 ioutil.Readall() 함수를 사용하여 Metrics 구조체 인스턴스로 디코딩된 바이트 슬라이스를 반환하는 json.Unmarshal() 함수로 읽습니다.

JSON을 struct로 읽는 것과 관련하여 찾은 최고의 자습서는 다음과 같습니다. Parsing JSON

    defer result.Body.Close()
    body, err := ioutil.ReadAll(result.Body)
    if err != nil {
        log.Print(err)
    }

    bodyString := fmt.Sprintf("%s", body)
    var metrics Metrics
    err = json.Unmarshal([]byte(bodyString), &metrics)

    if err != nil {
        fmt.Println("twas an error")
    }

    finalMetrics = append(finalMetrics, metrics)

}

그리고 그게 다야! 이제 특정 버킷에서 JSON 파일을 가져오고 결과를 struct 로 구문 분석했습니다. 제 생각에, 특히 기계 학습에서 S3 파일의 내용을 가져오는 것은 예를 들어 과거 모델의 성능을 지속적으로 보고 비교하거나 모델에 추가할 추가 데이터 기능을 가져오기를 원하는 엔지니어에게 매우 중요합니다.