사용 가이드:원스톱 AI 개발 및 생산 플랫폼 AlphaIDE로 지능형 데이터 플랫폼을 빠르게 배포

1. 로그인



Alpha IDE: https://registry-alphaide.dmetasoul.com/#/login 링크를 클릭합니다. 이메일로 등록할 수 있습니다.



등록 후 이메일로 확인 링크가 전송됩니다. 확인 링크 클릭 후 방금 등록한 이메일 주소와 비밀번호로 로그인이 가능합니다.

로그인 후 평가판 IDE 환경을 입력하려면 클릭하십시오.

로그인 페이지가 표시되면 이전 이메일 비밀번호를 사용하여 로그인하십시오.

2. IDE의 활용



2.1 네임스페이스 생성



먼저 왼쪽 탐색 모음에서 kubeflow-Home으로 이동합니다.


Kubeflow 초기화 페이지에서 설정 시작을 클릭합니다.



그런 다음 네임스페이스 생성 페이지에서 마침을 클릭합니다. 기본 네임스페이스는 사용자 이름입니다.


2.2 주피터 노트북 만들기



Demo IDE 서비스 진입 후 왼쪽의 애플리케이션 서비스를 클릭하고 Kubeflow 드롭다운 메뉴를 클릭하여 Jupyter 페이지로 진입합니다.

오른쪽 상단 모서리에 있는 노트북 만들기를 클릭하여 노트북 만들기 페이지로 이동합니다.



노트북 이름을 입력한 후 구성 영역에서 모든 구성을 선택하고 다른 구성에는 기본 설정을 사용합니다.



하단으로 드래그하고 실행을 클릭합니다. 노트북을 생성한 후 연결을 클릭하여 Jupyter 개발 환경으로 들어갑니다. 초기 로드 중에 많은 리소스 파일을 읽어야 합니다. 1분만 기다리세요.

2.3 Spark 작업 테스트



Jupyter 노트북에서 Python3 커널 노트북을 만듭니다.



Notebook 코드 개발 화면에 진입한 후 다음 테스트 코드를 입력합니다.

from pyspark.sql import SparkSession
spark = SparkSession.builder\
.config('spark.master', 'local')\
.getOrCreate()
from datetime import datetime, date
from pyspark.sql import Row
df = spark.createDataFrame([
Row(a=1, b=2., c='string1', d=date(2000, 1, 1), e=datetime(2000, 1, 1, 12, 0)),
Row(a=2, b=3., c='string2', d=date(2000, 2, 1), e=datetime(2000, 1, 2, 12, 0)),
Row(a=4, b=5., c='string3', d=date(2000, 3, 1), e=datetime(2000, 1, 3, 12, 0))
])
df.show()


그런 다음 Shift + Enter를 눌러 결과를 확인합니다.



AlphaIDE Jupyter는 Python 언어 서버 및 Spark 모니터와 같은 플러그인을 통합하여 Python 코드 완성 및 Spark 작업 진행률 표시와 같은 기능을 제공하여 개발 및 디버깅을 용이하게 합니다. Jupyter Extension 인터페이스에 필요한 추가 플러그인 또는 테마를 설치할 수도 있습니다.

2.4 MetaSpore 작업 테스트



AlphaIDE는 이미 MetaSpore와 통합되어 있습니다. MetaSpore의 소개 튜토리얼 노트북: https://github.com/meta-soul/MetaSpore/blob/main/tutorials/metaspore-getting-started.ipynb을 테스트할 수 있습니다.

AlphaIDE 데모 서비스의 S3 버킷 이름은 alphaide-demo입니다. 자습서의 YOUR_S3_BUCKET은 이 버킷 이름으로 대체할 수 있으며 S3://alphaide-demo/로 데이터 저장 경로를 접두사로 붙입니다. 테스트에 필요한 기능 설명 스키마 파일은 튜토리얼 디렉토리에 있습니다.

2.5 LakeSoul 작업 테스트



LakeSoul 데모 링크: https://github.com/meta-soul/LakeSoul/wiki/03.-Usage-Doc#1-create-and-write-lakesoultable
LakeSoul 소개:

2.6 Movielen 데모 실행



DMetaSoul은 MovieLens 데모를 제공했습니다: https://github.com/meta-soul/MetaSpore/blob/main/demo/movielens/offline/README-CN.md .

좋은 웹페이지 즐겨찾기