AWS CloudWatchEvents+lambda+boto3로 서버 비용 절감 Angular의 튜토리얼을 참고로 작성한 포트폴리오입니다. 백엔드에서 SpringBoot(EC2)와 KeyCloak(FARGATE)와 MySQL이 움직이고 있습니다. 특히 FARGATE는 개인으로 운용하는 분에는 서버비가 높기 때문에, CloudWatchEvents+lambda로 정해진 시간에 작업을 중지하는 구성을 구현합니다. AWS Lambda 콘솔 화면에서 함수 생성을 클릭합니다. 1.... 람다CloudWatchEventsboto3AWS Docker에서 boto3을 사용하여 EC2 중지 boto3을 실행하는 환경은 Docker에 구축됩니다. AWSCLI v2도 함께 넣어 둡니다. boto3에서 AWS에 연결하기 위한 인증은 AWSCLI의 자격 증명을 사용합니다. PC 로컬 홈 디렉토리 $HOME/.aws/credentials에 이미 액세스 키 정보를 작성했으므로 볼륨으로 연결하여 공유합니다. Docker 안에 들어가고 나서 aws configure 로 설정하거나 환경 변수를... 파이썬도커boto3AWS AWS 각서 - boto3을 사용하여 IoT core 엔드포인트 얻기 - IoT core를 사용하기 위해서는 클라이언트로부터 커스텀 엔드포인트를 취득할 필요가 있으므로, 취득할 수 있을 때까지의 순서를 각서해 둔다. 파이썬으로 boto3과 AWS 클라이언트 boto3 AWS 클라이언트 우선 액세스 키와 비밀 키가 필요합니다. 계정의 IAM → 액세스 관리 → 사용자 → 액세스 키로 이동합니다. 액세스 키를 만들고 비밀 키를 얻습니다 (한 번만 얻을 수 있으므로 분... IoTCore파이썬boto3IoTAWS AWS S3 CSS가 반영되지 않을 때 s3에 boto3을 사용하여 index.html, main.js, style.css를 업로드했습니다. URL을 열면 자바스크립트가 움직이고 있다는 것을 알았다. 그러나 style.css는 반영되지 않았다. 1단계 style.css를 클릭하고 개체 동작을 클릭합니다. 2단계 메타데이터 수정을 클릭합니다. 3단계 아래의 "값"이 "text/html"이므로 "text/css"로 편집 편집 후 4단... S3boto3AWS VPC의 Lambda에서 boto3을 사용할 때 조심하십시오. 이 기사는, 사회인 2년째 AWS, python 초보자가 공부한 것을 정리한 것입니다. 잘못되어 있는 점, 개선점등 있었습니다 지적해 주시면 매우 고맙습니다. VPC의 Lambda에서 boto3을 사용하여 매개 변수 저장소에서 DB 연결 정보를 얻으려고 시도했습니다. 자신을 위한 비망록으로서, 또 초보자가 같은 곳에서 끼지 않게 끼워진 내용에 대해 기재해 둡니다. VPC의 프라이빗 서브넷에 ... 람다파이썬boto3AWS AWS S3에서 1000개 이상의 객체를 조작하는 방법 현재 업무에서 AWS(특히 S3나 Glue Job 등)를 사용하는 경우가 많기 때문에, 내 자신의 업무로 망설인 경험을 바탕으로 「AWS 초보자가 주저하기 쉬운 포인트와 그 해소법」이라는 테마로 블로그를 써 갑니다. 우선, 오늘 취급하는 테마는 「Boto3을 이용한 1,000건 이상의 S3 오브젝트의 조작」입니다. Boto3을 사용하여 AWS를 조작하는 경우 list_objects_v2 또는... 파이썬S3boto3AWS Python에서 parameter store 사용 이전에는 작업에 사용한 Parameter Store(AWS Systems Manager)를 다시 사용하게 되었기 때문에 기억했습니다. 이번에도 을 개발 환경으로하고 있습니다. 소스는 에 올려져 있습니다. /aaa 로 시작하도록 작성 main과 라이브러리로 파일을 나눕니다. main.py ssm_manager.py 이제 환경 변수 등에 넣었던 RDS의 암호 등을 저장할 수 있습니다.... parameter_store파이썬boto3도커AWS DynamoDB 기초 지식과 boto3에서의 간단한 사용법 테이블 RDS의 테이블 RDS에서의 레코드 이하 Partition Key, Sort Key가 되는 attribute 이외는 table 생성시에 설정 불필요 Primary Key Partition Key 테이블 생성시 설정(필수) Sort Key 테이블 생성시 설정 Partition Key + Sort Key에서 Primary Key로 사용 가능 Partition Key의 값이 동일하고 Sor... DynamoDBboto3AWS AWS Workspaces를 python으로 추가합니다. 리모트 워크로 AWS의 workspaces를 사용하는 기업이 늘어나고 있습니다만, workspaces의 유저를 만드는 것을 콘솔로부터라면 귀찮네요? 별로 API 경유로 했다는 기사가 없었기 때문에 참고까지 얹습니다. 이번에는 파이썬으로 구현하고 있지만 AWS cli에서도 쉽게 할 수 있다고 생각합니다. 다음 작업이 완료되었음 - EC2 시작 및 python3, boto3 설치 - Simple... workspacesboto3AWS 파이썬 (boto3)에서 자격 증명을 전환하는 8 가지 방법 AWS의 각종 리소스를 Python으로 컨트롤 할 때 사용하는 boto3이지만 자격 증명을 전환하는 방법에는 여러 가지가 있으며 우선순위가 혼란스러울 수 있기 때문에 복습을 겸해 조사해 보았습니다. boto3은 다음 순서로 자격 증명을 검색하고 사용합니다. boto.client () 메소드의 파라미터로서 건네받은 자격 증명 세션 객체를 만들 때 매개 변수로 전달 된 자격 증명 공유 자격 증명... Python3boto3AWS SageMaker에서 만든 Experiments 지우기 Autopilot을 사용해 보는 것이 아닐까요? 다만, 여러가지 시험해 보고 쓰레기의 Experiments가 서서히 모여 온 것이 아닐까요? GUI로 지울 수 있으면 좋은데 아무래도 지우는 방법은 없을 것 같습니다. 여러가지 조사하고 있으면 API를 사용하면 지울 것 같습니다. 분명히 평가판을 지워야 할 것 같습니다. 이제 이 앞을 시도한 분은 알겠다고 생각합니다만, 트라이얼도 지울 수 없습... SageMakerStudioSageMakerboto3AWS 파이썬에서 CloudWatch 데이터를 가져 왔습니다. CloudWatch 대시보드에서 서버 상태를 확인하는 일상. 출사하면 우선 대시보드를 차례로 확인하고ー・・・라고, 귀찮아! 대시보드 정보를 한꺼번에 얻고 싶다! 좋아, 파이썬으로 쓰자! Boto3의 get_metric_statistics()를 사용하면 좋을 것 같다. 대로, 우선은 Boto3에서 CloudWatch를 로드할 준비를 한다. get_metric_statistics()는 다음과 같... boto3파이썬CloudWatchAWS code-server 온라인 환경 편 (5) Docker에서 code-server 시작 이것은 2019년 code-server에 Advent Calender의 15일째 기사입니다. 지난 번에 이어 EC2 Instance를 시작하고 싶습니다. 목차 온라인 편 .. Coompose 파일로 구축 온라인 편 .. K8S를 사용해보십시오 마 개조편 마지막까지 boto3 x python에서 EC2 Instance를 시작했습니다. 그리고 Code-Server를 실행했습니다. 이번에는 Doc... 파이썬boto3code-server도커AWS code-server 온라인 환경편 (1) 2019년 code-server에 Advent Calender의 12일째 기사입니다. 첫째 날 에서 로컬 환경에서 Docker와 Docker-Compose를 이용하여 VSCode를 내장하는 개발 환경을 만들었습니다. 오늘부터, 온라인 편에 들어갑니다. 온라인 편에서는 클라우드에 Instance를 시작하고 거기에 Code-Server를 배치합니다. 이를 통해 어디서나 개발 리소스에 액세스 할 ... 코더파이썬boto3code-serverAWS AWS Python(Boto3) 예외 처리 및 테스트 시 raise 방법 Lambda 등 AWS 리소스를 사용한 개발을 하고 있다면 boto3의 에러 핸들링을 할 기회가 반드시 나옵니다. 또, Pytest등 테스트 자동화를 도입하고 있을 때에 raise 시키고 싶은 장면도 자주 있습니다. 그래서 에러 핸들링을 할 때의 순서를 간단하게 정리했습니다. DynamoDB에 레코드 추가 ID 중복시 중복되었음을 출력합니다 라고 하는 상정으로 갑니다. 오류 처리 1번째는 정... 오류Python3boto3AWS 【AWS를 코드로 조종한다】 Python boto3로 AWS EC2 인스턴스를 제어한다 Mac에서 Python을 AWS를 제어하는 프로그램의 시작 편입니다. 이 기사에서는 EC2 인스턴스를 AWS EC2 인스턴스 시작 → 중지합니다. boto3 아마존 웹 서비스(AWS)란? 이 기사에서는 EC2만 제어하지만 다른 AWS 서비스도 제어할 수 있습니다. Boto3 설치 pip 명령으로 설치할 수 있습니다. AWS API 키 AWS를 외부 프로그램에서 제어하려면 API 키를 준비해야... EC2파이썬boto3AWS 【Lambda】CloudWatch 로그의 보존 기간을 자동으로 설정 이전에 했습니다. CloudWatchLogs는 로그 그룹별로 보존 기간을 설정할 수 있기 때문에 이것을 임의의 기간으로 설정하면 CloudWatchLogs에 로그가 대량으로 축적...이라는 것은 없습니다만, 로그 그룹이 작성될 때마다 수동 설정하는 것이 상당히 번거롭게 느껴졌습니다. 그래서 이쪽도 Lambda에서 자동으로 설정되도록했습니다. 이번에는 CloudWatchEvents에서 Lamb... 람다파이썬boto3CloudWatchAWS Lambda에서 S3에서 파일을 검색하려고 하면 botocore.exceptions.ClientError: An error occurred (AccessDenied) when calling the GetObject operation: Access Denied가 되었을 때의 대응 방법 AWS도 Python도 꼭 응부 초보자로 모르겠습니다. 환경 OS : Ubuntu Server 18.04 LTS Python 3.6 lambda_function.py CloudWatch 로그 참고 : 콘솔에서 IAM을 선택합니다. 역할 목록에서 Lambda에서 사용하는 IAM 역할 선택 [Attach policies] 버튼을 누릅니다. [AmazomS3FullAccess]를 선택하고 [Att... Python3람다boto3S3AWS AWS IAM 사용자 추가(Python용) 소개 AWS 사용자 ID를 모든 부서별로 생성해야 합니다. 콘솔에서 수작업이라면 시간이 걸리기 때문에 Python (boto3) 자동 작성 프로그램을 작성. 직업 프로그래머가 아니기 때문에, 코드의 기술이 심한 것은 용서해 주셨으면 한다. 하고 싶은 일 Excel 파일에서 사용자 ID 가져 오기 난수로 암호를 생성하고 다른 Excel 파일에 사용자 ID/암호를 씁니다. boto3으로 IAM ... IAM파이썬boto3AWS AWS Cognito를 Python에서 처리 라고 말하면 AWS Cognito를 Boto3을 통해 호출 할 때 비망록으로 남겨 둡니다 Cognito에 대한 액세스를 허용하는 IAM을 생성합니다. AWS Cognito에서 UserPool 생성 우선 적당하게 진행해 간다 이 앱 클라이언트를 작성할 때에 이하의 2점을 변경. (하마리 파트 1) 클라이언트 시크릿 만들기 체크 해제 시크릿이 있으면 패스워드로 승인할 수 없는 것 같다… USER... Python3cognitoboto3AWS 파이썬의 boto3을 사용하여 S3의 폴더 객체를 얻을 수 없어서 곤란했습니다. 아마존 S3의 '폴더'라는 환상을 파괴하고 그 실체를 밝힌다. 여기에 실려 있던 정보로 아래의 2개의 케이스 이외에도 있었으므로 보충하겠습니다 관리 콘솔에서 기존 빈 폴더에 파일 배치 (케이스 1) aws-cli를 사용하여 존재하지 않는 폴더에 파일을 직접 배치 (케이스 2) 관리 화면에서 폴더별로 업로드 할 수 있으며 폴더 안의 파일 유무에 따라 달라집니다. 관리 콘솔에서 빈 폴더를 폴더별... 람다파이썬boto3S3AWS Amazon AppFlow와 ServiceNow를 함께 사용해 보세요. 여러 SaaS(Datadog, Google Analytics, Salesforce 등)에서 Amazon S3, Amazon Redshift 등으로 데이터 연계가 가능해진 것 같습니다. ServiceNow도 연계할 수 있는 것 같아서 시험해 보았습니다. 이쪽을 참고로 해, ServiceNow에 관련된 부분을 정리합니다. Amazon AppFlow에서 즐겨찾는 애플리케이션 시작에서 Service... ServiceNowAppFlowAWS AWS Glue DataBrew에서 Redshift에 연결할 때의 주의 사항 AWS Glue DataBrew는 AWS에서 제공하는 데이터 준비 서비스입니다. 보안 그룹 자체 참조 설정 DataBrew 연결은 AWS Glue 연결과 동일합니다. VPC의 리소스에 연결하려면 연결 설정을 통해 지불한 ENI에 연결된 보안 그룹에 자체 참조 규칙이 설정되어 있어야 합니다. 자체 참조 규칙은 다음과 같이 소스에 자체 보안 그룹이 설정된 규칙을 의미합니다. 모든 TCP 포트에 ... DataBrewglueredshiftAWS AWS Redshift Spectrum과 view의 조합에 대한 액세스 권한 확인 통상의 Redshift 내의 table에 view를 통한 액세스 (PostgreSQL에서도 마찬가지) Redshift Spectrum 외부 스키마 테이블에 직접 액세스 Redshift Spectrum 외부 스키마 테이블에보기를 통해 액세스 첫째, DB 사용자는 view에 대한 SELECT 권한이 필요합니다. view를 작성한 소유자라면 SELECT 권한이 있습니다. view를 작성한 것이 다... PostgreSQLredshiftAWS Amazon Redshift 일시중지/재개 Description은 어디에 표시됩니까? AWS의 Redshift는 중지/재개 작업을 일정으로 자동화할 수 있습니다. 콘솔에서 일정을 설정할 때 일정에 대한 설명을 추가 할 수 있습니다. 가능하지만, 어디에서 Description을 확인할 수 있는지 몰랐기 때문에, 찾아 보았습니다. Description을 보는 것만 목적이므로, 설정은 적당하게 합니다. 아래의 빨간색 프레임의 기재 내용을 나중에 확인합니다. Amazon Redshi... redshiftAWS Redshift에서 클러스터 구축 여기에서는 AWS의 서비스의 하나인 Redshift에서의 클러스터 작성에 대해서, 비망록도 겸해 간단하게 정리한다. Redshift에 대한 기본적인 지식이나 AWS 네트워크(VPC나 보안 그룹 등)에 대해서는 여기에서는 설명하지 않는다. 다음은, Windows로부터의 접속으로 검증을 실시했다. 다음 정보를 입력한 후 "만들기"를 누릅니다. 클러스터 이름, 노드 유형, 노드 수, 마스터 사용자... SSHredshiftAWS Redshift JDBC 종속성을 SBT로 추가 Redshift에 JDBC로 연결하고 싶은 경우, JDBC의 라이브러리는 MavenCentral에 Up되어 있지 않기 때문에, 간단하게 의존 관계를 쓰는 것만으로는 추가를 할 수 없기 때문에, 그 설정 방법을 설명합니다. 1. 최신 버전 검색 에서 최신 (또는 안정 버전) 찾기 2. LibraryDependencies에 추가 build.sbt 여기까지는 보통으로 설정합니다. 3. Resolv... JDBCsbtScalaredshiftAWS Redshift에서 COPY 명령을 시도했습니다. 이 기사는 공부용으로 시험한 것 정리한 것입니다. 이번에는 S3에 CSV 파일을 배치하고 Redshift에 COPY를 시도했습니다. AWS가 제공하는 DWH의 관리형 서비스입니다. PostgreSQL을 베이스로 개발된 것. 집계·분석에 최적화된 서비스이다. 클러스터를 시작하는 동안 요금이 발생했습니다. 현재 Redshift에 정지 기능이 없으므로 스냅샷을 얻고 사용할 때 스냅샷에서 복원해야 ... redshiftAWS Amazon 데이터베이스 서비스의 기초와 사용 사례 비교 크게 나누어 2개로 나눌 수 있다. 이전 DB → 관계형 DB (RDBS), 데이터 간의 관계가 정의 된 데이터를 처리하는 일반적인 DB 시스템 빅데이터용 DB → NoSQL, 관계형 데이터 구조를 가지지 않고 SQL을 이용하지 않는 DB의 총칭 DB 관계형 DB(RDB) RDS 업무 시스템을 위한 DB의 기본은 관계형 데이터베이스 데이터 웨어하우스(DWH) Redshift 구조화된 데이터를... DynamoDBRDSelasticacheredshiftAWS 이전 기사 보기
CloudWatchEvents+lambda+boto3로 서버 비용 절감 Angular의 튜토리얼을 참고로 작성한 포트폴리오입니다. 백엔드에서 SpringBoot(EC2)와 KeyCloak(FARGATE)와 MySQL이 움직이고 있습니다. 특히 FARGATE는 개인으로 운용하는 분에는 서버비가 높기 때문에, CloudWatchEvents+lambda로 정해진 시간에 작업을 중지하는 구성을 구현합니다. AWS Lambda 콘솔 화면에서 함수 생성을 클릭합니다. 1.... 람다CloudWatchEventsboto3AWS Docker에서 boto3을 사용하여 EC2 중지 boto3을 실행하는 환경은 Docker에 구축됩니다. AWSCLI v2도 함께 넣어 둡니다. boto3에서 AWS에 연결하기 위한 인증은 AWSCLI의 자격 증명을 사용합니다. PC 로컬 홈 디렉토리 $HOME/.aws/credentials에 이미 액세스 키 정보를 작성했으므로 볼륨으로 연결하여 공유합니다. Docker 안에 들어가고 나서 aws configure 로 설정하거나 환경 변수를... 파이썬도커boto3AWS AWS 각서 - boto3을 사용하여 IoT core 엔드포인트 얻기 - IoT core를 사용하기 위해서는 클라이언트로부터 커스텀 엔드포인트를 취득할 필요가 있으므로, 취득할 수 있을 때까지의 순서를 각서해 둔다. 파이썬으로 boto3과 AWS 클라이언트 boto3 AWS 클라이언트 우선 액세스 키와 비밀 키가 필요합니다. 계정의 IAM → 액세스 관리 → 사용자 → 액세스 키로 이동합니다. 액세스 키를 만들고 비밀 키를 얻습니다 (한 번만 얻을 수 있으므로 분... IoTCore파이썬boto3IoTAWS AWS S3 CSS가 반영되지 않을 때 s3에 boto3을 사용하여 index.html, main.js, style.css를 업로드했습니다. URL을 열면 자바스크립트가 움직이고 있다는 것을 알았다. 그러나 style.css는 반영되지 않았다. 1단계 style.css를 클릭하고 개체 동작을 클릭합니다. 2단계 메타데이터 수정을 클릭합니다. 3단계 아래의 "값"이 "text/html"이므로 "text/css"로 편집 편집 후 4단... S3boto3AWS VPC의 Lambda에서 boto3을 사용할 때 조심하십시오. 이 기사는, 사회인 2년째 AWS, python 초보자가 공부한 것을 정리한 것입니다. 잘못되어 있는 점, 개선점등 있었습니다 지적해 주시면 매우 고맙습니다. VPC의 Lambda에서 boto3을 사용하여 매개 변수 저장소에서 DB 연결 정보를 얻으려고 시도했습니다. 자신을 위한 비망록으로서, 또 초보자가 같은 곳에서 끼지 않게 끼워진 내용에 대해 기재해 둡니다. VPC의 프라이빗 서브넷에 ... 람다파이썬boto3AWS AWS S3에서 1000개 이상의 객체를 조작하는 방법 현재 업무에서 AWS(특히 S3나 Glue Job 등)를 사용하는 경우가 많기 때문에, 내 자신의 업무로 망설인 경험을 바탕으로 「AWS 초보자가 주저하기 쉬운 포인트와 그 해소법」이라는 테마로 블로그를 써 갑니다. 우선, 오늘 취급하는 테마는 「Boto3을 이용한 1,000건 이상의 S3 오브젝트의 조작」입니다. Boto3을 사용하여 AWS를 조작하는 경우 list_objects_v2 또는... 파이썬S3boto3AWS Python에서 parameter store 사용 이전에는 작업에 사용한 Parameter Store(AWS Systems Manager)를 다시 사용하게 되었기 때문에 기억했습니다. 이번에도 을 개발 환경으로하고 있습니다. 소스는 에 올려져 있습니다. /aaa 로 시작하도록 작성 main과 라이브러리로 파일을 나눕니다. main.py ssm_manager.py 이제 환경 변수 등에 넣었던 RDS의 암호 등을 저장할 수 있습니다.... parameter_store파이썬boto3도커AWS DynamoDB 기초 지식과 boto3에서의 간단한 사용법 테이블 RDS의 테이블 RDS에서의 레코드 이하 Partition Key, Sort Key가 되는 attribute 이외는 table 생성시에 설정 불필요 Primary Key Partition Key 테이블 생성시 설정(필수) Sort Key 테이블 생성시 설정 Partition Key + Sort Key에서 Primary Key로 사용 가능 Partition Key의 값이 동일하고 Sor... DynamoDBboto3AWS AWS Workspaces를 python으로 추가합니다. 리모트 워크로 AWS의 workspaces를 사용하는 기업이 늘어나고 있습니다만, workspaces의 유저를 만드는 것을 콘솔로부터라면 귀찮네요? 별로 API 경유로 했다는 기사가 없었기 때문에 참고까지 얹습니다. 이번에는 파이썬으로 구현하고 있지만 AWS cli에서도 쉽게 할 수 있다고 생각합니다. 다음 작업이 완료되었음 - EC2 시작 및 python3, boto3 설치 - Simple... workspacesboto3AWS 파이썬 (boto3)에서 자격 증명을 전환하는 8 가지 방법 AWS의 각종 리소스를 Python으로 컨트롤 할 때 사용하는 boto3이지만 자격 증명을 전환하는 방법에는 여러 가지가 있으며 우선순위가 혼란스러울 수 있기 때문에 복습을 겸해 조사해 보았습니다. boto3은 다음 순서로 자격 증명을 검색하고 사용합니다. boto.client () 메소드의 파라미터로서 건네받은 자격 증명 세션 객체를 만들 때 매개 변수로 전달 된 자격 증명 공유 자격 증명... Python3boto3AWS SageMaker에서 만든 Experiments 지우기 Autopilot을 사용해 보는 것이 아닐까요? 다만, 여러가지 시험해 보고 쓰레기의 Experiments가 서서히 모여 온 것이 아닐까요? GUI로 지울 수 있으면 좋은데 아무래도 지우는 방법은 없을 것 같습니다. 여러가지 조사하고 있으면 API를 사용하면 지울 것 같습니다. 분명히 평가판을 지워야 할 것 같습니다. 이제 이 앞을 시도한 분은 알겠다고 생각합니다만, 트라이얼도 지울 수 없습... SageMakerStudioSageMakerboto3AWS 파이썬에서 CloudWatch 데이터를 가져 왔습니다. CloudWatch 대시보드에서 서버 상태를 확인하는 일상. 출사하면 우선 대시보드를 차례로 확인하고ー・・・라고, 귀찮아! 대시보드 정보를 한꺼번에 얻고 싶다! 좋아, 파이썬으로 쓰자! Boto3의 get_metric_statistics()를 사용하면 좋을 것 같다. 대로, 우선은 Boto3에서 CloudWatch를 로드할 준비를 한다. get_metric_statistics()는 다음과 같... boto3파이썬CloudWatchAWS code-server 온라인 환경 편 (5) Docker에서 code-server 시작 이것은 2019년 code-server에 Advent Calender의 15일째 기사입니다. 지난 번에 이어 EC2 Instance를 시작하고 싶습니다. 목차 온라인 편 .. Coompose 파일로 구축 온라인 편 .. K8S를 사용해보십시오 마 개조편 마지막까지 boto3 x python에서 EC2 Instance를 시작했습니다. 그리고 Code-Server를 실행했습니다. 이번에는 Doc... 파이썬boto3code-server도커AWS code-server 온라인 환경편 (1) 2019년 code-server에 Advent Calender의 12일째 기사입니다. 첫째 날 에서 로컬 환경에서 Docker와 Docker-Compose를 이용하여 VSCode를 내장하는 개발 환경을 만들었습니다. 오늘부터, 온라인 편에 들어갑니다. 온라인 편에서는 클라우드에 Instance를 시작하고 거기에 Code-Server를 배치합니다. 이를 통해 어디서나 개발 리소스에 액세스 할 ... 코더파이썬boto3code-serverAWS AWS Python(Boto3) 예외 처리 및 테스트 시 raise 방법 Lambda 등 AWS 리소스를 사용한 개발을 하고 있다면 boto3의 에러 핸들링을 할 기회가 반드시 나옵니다. 또, Pytest등 테스트 자동화를 도입하고 있을 때에 raise 시키고 싶은 장면도 자주 있습니다. 그래서 에러 핸들링을 할 때의 순서를 간단하게 정리했습니다. DynamoDB에 레코드 추가 ID 중복시 중복되었음을 출력합니다 라고 하는 상정으로 갑니다. 오류 처리 1번째는 정... 오류Python3boto3AWS 【AWS를 코드로 조종한다】 Python boto3로 AWS EC2 인스턴스를 제어한다 Mac에서 Python을 AWS를 제어하는 프로그램의 시작 편입니다. 이 기사에서는 EC2 인스턴스를 AWS EC2 인스턴스 시작 → 중지합니다. boto3 아마존 웹 서비스(AWS)란? 이 기사에서는 EC2만 제어하지만 다른 AWS 서비스도 제어할 수 있습니다. Boto3 설치 pip 명령으로 설치할 수 있습니다. AWS API 키 AWS를 외부 프로그램에서 제어하려면 API 키를 준비해야... EC2파이썬boto3AWS 【Lambda】CloudWatch 로그의 보존 기간을 자동으로 설정 이전에 했습니다. CloudWatchLogs는 로그 그룹별로 보존 기간을 설정할 수 있기 때문에 이것을 임의의 기간으로 설정하면 CloudWatchLogs에 로그가 대량으로 축적...이라는 것은 없습니다만, 로그 그룹이 작성될 때마다 수동 설정하는 것이 상당히 번거롭게 느껴졌습니다. 그래서 이쪽도 Lambda에서 자동으로 설정되도록했습니다. 이번에는 CloudWatchEvents에서 Lamb... 람다파이썬boto3CloudWatchAWS Lambda에서 S3에서 파일을 검색하려고 하면 botocore.exceptions.ClientError: An error occurred (AccessDenied) when calling the GetObject operation: Access Denied가 되었을 때의 대응 방법 AWS도 Python도 꼭 응부 초보자로 모르겠습니다. 환경 OS : Ubuntu Server 18.04 LTS Python 3.6 lambda_function.py CloudWatch 로그 참고 : 콘솔에서 IAM을 선택합니다. 역할 목록에서 Lambda에서 사용하는 IAM 역할 선택 [Attach policies] 버튼을 누릅니다. [AmazomS3FullAccess]를 선택하고 [Att... Python3람다boto3S3AWS AWS IAM 사용자 추가(Python용) 소개 AWS 사용자 ID를 모든 부서별로 생성해야 합니다. 콘솔에서 수작업이라면 시간이 걸리기 때문에 Python (boto3) 자동 작성 프로그램을 작성. 직업 프로그래머가 아니기 때문에, 코드의 기술이 심한 것은 용서해 주셨으면 한다. 하고 싶은 일 Excel 파일에서 사용자 ID 가져 오기 난수로 암호를 생성하고 다른 Excel 파일에 사용자 ID/암호를 씁니다. boto3으로 IAM ... IAM파이썬boto3AWS AWS Cognito를 Python에서 처리 라고 말하면 AWS Cognito를 Boto3을 통해 호출 할 때 비망록으로 남겨 둡니다 Cognito에 대한 액세스를 허용하는 IAM을 생성합니다. AWS Cognito에서 UserPool 생성 우선 적당하게 진행해 간다 이 앱 클라이언트를 작성할 때에 이하의 2점을 변경. (하마리 파트 1) 클라이언트 시크릿 만들기 체크 해제 시크릿이 있으면 패스워드로 승인할 수 없는 것 같다… USER... Python3cognitoboto3AWS 파이썬의 boto3을 사용하여 S3의 폴더 객체를 얻을 수 없어서 곤란했습니다. 아마존 S3의 '폴더'라는 환상을 파괴하고 그 실체를 밝힌다. 여기에 실려 있던 정보로 아래의 2개의 케이스 이외에도 있었으므로 보충하겠습니다 관리 콘솔에서 기존 빈 폴더에 파일 배치 (케이스 1) aws-cli를 사용하여 존재하지 않는 폴더에 파일을 직접 배치 (케이스 2) 관리 화면에서 폴더별로 업로드 할 수 있으며 폴더 안의 파일 유무에 따라 달라집니다. 관리 콘솔에서 빈 폴더를 폴더별... 람다파이썬boto3S3AWS Amazon AppFlow와 ServiceNow를 함께 사용해 보세요. 여러 SaaS(Datadog, Google Analytics, Salesforce 등)에서 Amazon S3, Amazon Redshift 등으로 데이터 연계가 가능해진 것 같습니다. ServiceNow도 연계할 수 있는 것 같아서 시험해 보았습니다. 이쪽을 참고로 해, ServiceNow에 관련된 부분을 정리합니다. Amazon AppFlow에서 즐겨찾는 애플리케이션 시작에서 Service... ServiceNowAppFlowAWS AWS Glue DataBrew에서 Redshift에 연결할 때의 주의 사항 AWS Glue DataBrew는 AWS에서 제공하는 데이터 준비 서비스입니다. 보안 그룹 자체 참조 설정 DataBrew 연결은 AWS Glue 연결과 동일합니다. VPC의 리소스에 연결하려면 연결 설정을 통해 지불한 ENI에 연결된 보안 그룹에 자체 참조 규칙이 설정되어 있어야 합니다. 자체 참조 규칙은 다음과 같이 소스에 자체 보안 그룹이 설정된 규칙을 의미합니다. 모든 TCP 포트에 ... DataBrewglueredshiftAWS AWS Redshift Spectrum과 view의 조합에 대한 액세스 권한 확인 통상의 Redshift 내의 table에 view를 통한 액세스 (PostgreSQL에서도 마찬가지) Redshift Spectrum 외부 스키마 테이블에 직접 액세스 Redshift Spectrum 외부 스키마 테이블에보기를 통해 액세스 첫째, DB 사용자는 view에 대한 SELECT 권한이 필요합니다. view를 작성한 소유자라면 SELECT 권한이 있습니다. view를 작성한 것이 다... PostgreSQLredshiftAWS Amazon Redshift 일시중지/재개 Description은 어디에 표시됩니까? AWS의 Redshift는 중지/재개 작업을 일정으로 자동화할 수 있습니다. 콘솔에서 일정을 설정할 때 일정에 대한 설명을 추가 할 수 있습니다. 가능하지만, 어디에서 Description을 확인할 수 있는지 몰랐기 때문에, 찾아 보았습니다. Description을 보는 것만 목적이므로, 설정은 적당하게 합니다. 아래의 빨간색 프레임의 기재 내용을 나중에 확인합니다. Amazon Redshi... redshiftAWS Redshift에서 클러스터 구축 여기에서는 AWS의 서비스의 하나인 Redshift에서의 클러스터 작성에 대해서, 비망록도 겸해 간단하게 정리한다. Redshift에 대한 기본적인 지식이나 AWS 네트워크(VPC나 보안 그룹 등)에 대해서는 여기에서는 설명하지 않는다. 다음은, Windows로부터의 접속으로 검증을 실시했다. 다음 정보를 입력한 후 "만들기"를 누릅니다. 클러스터 이름, 노드 유형, 노드 수, 마스터 사용자... SSHredshiftAWS Redshift JDBC 종속성을 SBT로 추가 Redshift에 JDBC로 연결하고 싶은 경우, JDBC의 라이브러리는 MavenCentral에 Up되어 있지 않기 때문에, 간단하게 의존 관계를 쓰는 것만으로는 추가를 할 수 없기 때문에, 그 설정 방법을 설명합니다. 1. 최신 버전 검색 에서 최신 (또는 안정 버전) 찾기 2. LibraryDependencies에 추가 build.sbt 여기까지는 보통으로 설정합니다. 3. Resolv... JDBCsbtScalaredshiftAWS Redshift에서 COPY 명령을 시도했습니다. 이 기사는 공부용으로 시험한 것 정리한 것입니다. 이번에는 S3에 CSV 파일을 배치하고 Redshift에 COPY를 시도했습니다. AWS가 제공하는 DWH의 관리형 서비스입니다. PostgreSQL을 베이스로 개발된 것. 집계·분석에 최적화된 서비스이다. 클러스터를 시작하는 동안 요금이 발생했습니다. 현재 Redshift에 정지 기능이 없으므로 스냅샷을 얻고 사용할 때 스냅샷에서 복원해야 ... redshiftAWS Amazon 데이터베이스 서비스의 기초와 사용 사례 비교 크게 나누어 2개로 나눌 수 있다. 이전 DB → 관계형 DB (RDBS), 데이터 간의 관계가 정의 된 데이터를 처리하는 일반적인 DB 시스템 빅데이터용 DB → NoSQL, 관계형 데이터 구조를 가지지 않고 SQL을 이용하지 않는 DB의 총칭 DB 관계형 DB(RDB) RDS 업무 시스템을 위한 DB의 기본은 관계형 데이터베이스 데이터 웨어하우스(DWH) Redshift 구조화된 데이터를... DynamoDBRDSelasticacheredshiftAWS 이전 기사 보기