Google Cloud에서 기초 데이터, ML, AI 작업 수행: Challenge Lab

챌린지에는 4개의 필수 작업이 포함되어 있습니다.


  • 간단한 Dataflow 작업 실행
  • 간단한 Dataproc 작업 실행
  • 간단한 Dataprep 작업 실행
  • AI 작업 중 하나를 완료하십시오
  • .

    1.간단한 Dataflow 작업 실행

    bq mk lab
    
    gsutil cp gs://cloud-training/gsp323/lab.csv .
    
    cat lab.csv
    
    gsutil cp gs://cloud-training/gsp323/lab.schema .
    
    cat lab.schema
    
    


    2. 간단한 Dataproc 작업 실행
  • 퀘스트에서 Dataproc을 사용했습니다. 이제 Dataproc을 사용하여 다른 예제 Spark 작업을 실행해야 합니다.
  • 작업을 실행하기 전에 클러스터 노드 중 하나에 로그인하고/data.txt 파일을 hdfs에 복사합니다(hdfs dfs -cp gs://cloud-training/gsp323/data.txt/data 명령 사용). txt)
  • 아래 값을 사용하여 Dataproc 작업 실행



  • 작업이 완료될 때까지 기다린 다음 진행률 확인을 클릭합니다.

    3. 간단한 Dataprep 작업 실행
  • Dataprep을 사용하여 데이터 파일을 가져오고 변환하여 데이터 보기를 얻었습니다. Dataprep을 사용하여 실험실 실행 데이터가 포함된 하나의 CSV 파일(아래 설명)을 가져옵니다.

  • gs://cloud-training/gsp323/runs.csv structure:





    데이터가 올바른 상태인지 확인하려면 다음 변환을 수행하십시오.
  • 상태가 "FAILURE"인 행을 모두 제거합니다
  • .
  • 점수가 0 또는 0.0인 모든 행을 제거합니다(정규식 패턴/(^0$|^0.0$)/사용).
  • 위의 이름이 있는 레이블 열



  • Note: Your Dataprep job should look similar to the following

    Make sure you run the job. You will need to wait until the Dataflow job completes before you can grade this task.



    4. AI
    아래의 다음 작업 중 하나를 완료하십시오.
  • Google Cloud Speech API를 사용하여 오디오 파일 gs://cloud-training/gsp323/task4.flac를 분석합니다. 파일을 분석한 후에는 결과 분석을 Cloud Speech Location에 업로드할 수 있습니다.
  • Cloud Natural Language API를 사용하여 Odin에 대한 텍스트에서 문장을 분석합니다. 분석해야 할 텍스트는 "오딘을 외눈박이에 긴 수염을 가진 오딘으로 묘사하고 있으며 자주 궁니르라는 이름의 창을 휘두르고 망토와 넓은 모자를 쓰고 있습니다."입니다. 텍스트를 분석한 후에는 분석 결과를 Cloud Natural Language Location에 업로드할 수 있습니다.
  • Google Video Intelligence를 사용하고 비디오 gs://spls/gsp154/video/train.mp4에서 모든 텍스트를 감지합니다. 비디오 처리를 완료하면 출력을 파일로 파이프하고 Video Intelligence Location에 업로드합니다. 작업 진행이 완료되었고 출력을 업로드하는 서비스 계정에 저장소 개체 관리자 역할이 있는지 확인합니다.

  • gcloud iam service-accounts create my-natlang-sa \
      --display-name "my natural language service account"
    
    gcloud iam service-accounts keys create ~/key.json \
      --iam-account my-natlang-sa@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com
    
    export GOOGLE_APPLICATION_CREDENTIALS="/home/$USER/key.json"
    
    gcloud auth activate-service-account my-natlang-sa@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com --key-file=$GOOGLE_APPLICATION_CREDENTIALS
    
    gcloud ml language analyze-entities --content="Old Norse texts portray Odin as one-eyed and long-bearded, frequently wielding a spear named Gungnir and wearing a cloak and a broad hat." > result.json
    
    gcloud auth login
    (Copy the token from the link provided)
    
    
    gsutil cp result.json gs://YOUR_PROJECT-marking/task4-cnl.result
    
    

    API 키 생성 및 API_KEY 변수로 내보내기

    export API_KEY={Replace with API KEY}
    
    nano request.json
    
    


    이 내용을 추가하십시오:

    {
      "config": {
          "encoding":"FLAC",
          "languageCode": "en-US"
      },
      "audio": {
          "uri":"gs://cloud-training/gsp323/task4.flac"
      }
    }
    
    


    단말기

    curl -s -X POST -H "Content-Type: application/json" --data-binary @request.json \
    "https://speech.googleapis.com/v1/speech:recognize?key=${API_KEY}" > result.json
    
    gsutil cp result.json gs://YOUR_PROJECT-marking/task4-gcs.result
    
    
    gcloud iam service-accounts create quickstart
    
    gcloud iam service-accounts keys create key.json --iam-account quickstart@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com
    
    gcloud auth activate-service-account --key-file key.json
    
    export ACCESS_TOKEN=$(gcloud auth print-access-token)
    
    
    nano request.json
    
    

    좋은 웹페이지 즐겨찾기