메모 Airflow에서 redash 쿼리 결과를 GCS로 보내기 별로 없는 장면이라고 생각합니다만, 「이런 일이 있었다」가 엄청나게… Airflow에서 redash 쿼리 결과를 API를 사용하여 GCS로 보낼 수 있도록 조사한 개인 메모 redash 쿼리 API를 실행하고 검색 결과를 GCS에 업로드합니다. 그림에 나타내면 아래와 같이 됩니다. GCP Cloud Composer Airflow(ver 1.10.2) redash (var 5.0) GCS bu... 메모GCSAirflowredash 작은 재료 : 결함 혼입, 테스트 레벨, 공정 책임 결함은 후공정에서 적출할수록 비용이 부풀기 때문에 조기에 적출하는 것이 이상적입니다. 그럼에도 불구하고 결함의 종류에 따라 조기에 발견되는 것이나 후공정에서 처음으로 나타나게 되는 것이 있습니다. 예를 들어 컴파일러의 warning이나 정적 해석 툴에서 발견되는 결함은 코딩~빌드의 공정에서 발견됩니다만 에러 처리의 결함은 에러의 상황을 준비해 시스템 동작을 실시하는 것으로 발견할지도 모릅니다... 테스트JSTQB메모콰작은 재료 Apache2.4에서 테스트 환경을 구축하는 이야기 안녕하세요, 하루카입니다. 개발 환경에 AWS를 사용하고 있습니다. 테스트 환경으로 이행했을 때 사외의 사람에게 보이고 싶지 않다. 라고 생각했으므로, 메모로서 둘 때입니다. 전제 AWS 계정이 있습니다 인스턴스 생성 apache를 설치하고 있습니다 저는 AWS 초보자이므로 Amazon Linux 2 AMI(HVM), SSD Volume Type을 사용하고 있습니다. 1.ip 제한을 걸기 2... 메모아파치Apache2.4AWS 온도 센서 DS18B20을 ESP32로 움직이는 메모 아마존에서 샀던 그리워하지 않았던 온도 센서 DS18B20이 구르고 있었기 때문에 사용해 보았습니다. 원래 방수 처리가 실시되었습니다. 이 센서는 1-wire 인터페이스라고 하며 하나의 배선으로 데이터를 제공하는 편리한 인터페이스인 것 같습니다. 결국, 에 사용법이 잘 정리되어 있었습니다. ESP32 저항 4.7kΩ 온도 센서 DS10B20 여기를 사용하는 것 같습니다. 에 있는 정규 풀업 ... 온도 센서메모전자 공작DS18B20ESP32 Node-RED를 웹 서버로 사용 간단한 웹 서버로 사용하여 내부에 js 라이브러리를 가져오거나 template 노드에서 만든 html에 이미지를 포함할 수 있었기 때문에 메모입니다. 스타터 코드 다운로드 httpStatic에 지정된 폴더에 배치 cf push (다운로드 화면) (다운로드된 zip 파일 내) bluemix-settings.js의 httpStatic을 확인하면 아래와 같습니다. bluemix-settings.j... Bluemix메모node-red 국내에서 사용할 수 있는 IaaS 프로바이더의 일람·비교 지금까지 메인에서 사용하고 있던 IaaS에서 다른 IaaS로 이행하려고했지만, 현재 어떤 클라우드 서비스가 있는지 정보가 흩어져 있었기 때문에, 일본에서 사용할 수 있는 IaaS를 아는 한 정리해 보았다. 이미지는 픽업 IaaS란, 간단히 말하면 하드웨어를 스스로 준비하지 않아도, 다른 사람과 공유 서버에 자신만의 VM을 만들어 리소스를 빌릴 수 있다는 것. 기업 서비스 운영부터 개인 서비스... 인프라메모IaaS PPO의 하이퍼파라미터 메모 #2b: 배치 사이즈 & 버퍼 사이즈(연속 행동 공간)편 에 이어, 이번은 연속 행동 공간의 환경에서 PPO를 학습시킬 때의 배치 사이즈, 그리고 (이어서) 버퍼 사이즈에 대해. 배치 크기 (batch_size)는 경사 강하의 각 업데이트에 얼마나 많은 샘플을 사용하는지에 해당합니다 배치 크기의 배수가 버퍼 크기 (buffer_size) 여야합니다 행동 공간이 이산 할 때는 작고, 연속일 때는 큰 것이 좋다 이전의 검증에서, 이산 행동 공간에 대해... OpenAIGym강화 학습메모chainerRLPPO PPO의 하이퍼파라미터 메모 #2a: 배치 사이즈(이산 행동 공간)편 이번에는 이산 행동 공간의 환경에서 PPO를 학습시킬 때의 배치 사이즈에 대해. 이라는 기사가 있어 배치 사이즈에 대해서 다음과 같은 것이 쓰여져 있다. batch_size corresponds to how many experiences are used for each gradient descent update. This should always be a fraction of the buff... OpenAIGym강화 학습메모chainerRLPPO PPO의 하이퍼파라미터 메모 #1: 최적화 기법편 전회의 기사 「 PPO의 원논문에서는 Adam이 권장됩니다. 그러나 이런 논의를 보았다. 실험을보고하는 논문도 있습니다. (그림은 상기 논문의 Figure 1.에서 인용) 논문 말하자면, PPO에서 학습률을 변경했을 때의 최적화 기법마다의 성능 변화가 이러한 것이다. 그렇다면 학습률 등을 최적화 방법이 제안하는 권장 값으로 비교할 때 어떻게 될까? CPU : Intel Core i7-8700... OpenAIGym강화 학습메모chainerRLPPO 할인율 메모 잡담한 메모입니다. 강화 학습에서는 누적 할인 보상 최대화. 여기서 $ R_t $는 각 시간 $ t $에받을 수있는 보상이며 $\gamma $는 할인율입니다. 할인율이란, 「미래에 받을 수 있는 보상을 얼마나 할인해 생각할까」를 나타내는 파라미터로, 범위는 $0\leq\gamma < 1$. 보통 0.9 당으로 설정한다. 할인율이 클 때는 먼 미래의 보수까지 생각하는 방책을, 작을 때에는 최근... 강화 학습메모 【비망록】 Bootstrap4를 사용한 HTML을 만들기 위한 사전 준비 Bootstrap4를 BootstrapCDN을 사용하지 않고 사용하려면 미리 준비해 두면 즐겁다고 생각한 것에 대한 메모입니다. 참고 사이트: 아래 파일을 다운로드합니다. Bootstrap4의 소스 파일 ( 에서 다운로드 가능) jquery-3.x.x.min.js( 에서 다운로드 가능) popper.min.js ( 에서 다운로드 가능) 일단, 아래와 같은 구성으로 폴더를 만들어 다운로드한 해... HTML메모Bootstrapbootstrap4
Airflow에서 redash 쿼리 결과를 GCS로 보내기 별로 없는 장면이라고 생각합니다만, 「이런 일이 있었다」가 엄청나게… Airflow에서 redash 쿼리 결과를 API를 사용하여 GCS로 보낼 수 있도록 조사한 개인 메모 redash 쿼리 API를 실행하고 검색 결과를 GCS에 업로드합니다. 그림에 나타내면 아래와 같이 됩니다. GCP Cloud Composer Airflow(ver 1.10.2) redash (var 5.0) GCS bu... 메모GCSAirflowredash 작은 재료 : 결함 혼입, 테스트 레벨, 공정 책임 결함은 후공정에서 적출할수록 비용이 부풀기 때문에 조기에 적출하는 것이 이상적입니다. 그럼에도 불구하고 결함의 종류에 따라 조기에 발견되는 것이나 후공정에서 처음으로 나타나게 되는 것이 있습니다. 예를 들어 컴파일러의 warning이나 정적 해석 툴에서 발견되는 결함은 코딩~빌드의 공정에서 발견됩니다만 에러 처리의 결함은 에러의 상황을 준비해 시스템 동작을 실시하는 것으로 발견할지도 모릅니다... 테스트JSTQB메모콰작은 재료 Apache2.4에서 테스트 환경을 구축하는 이야기 안녕하세요, 하루카입니다. 개발 환경에 AWS를 사용하고 있습니다. 테스트 환경으로 이행했을 때 사외의 사람에게 보이고 싶지 않다. 라고 생각했으므로, 메모로서 둘 때입니다. 전제 AWS 계정이 있습니다 인스턴스 생성 apache를 설치하고 있습니다 저는 AWS 초보자이므로 Amazon Linux 2 AMI(HVM), SSD Volume Type을 사용하고 있습니다. 1.ip 제한을 걸기 2... 메모아파치Apache2.4AWS 온도 센서 DS18B20을 ESP32로 움직이는 메모 아마존에서 샀던 그리워하지 않았던 온도 센서 DS18B20이 구르고 있었기 때문에 사용해 보았습니다. 원래 방수 처리가 실시되었습니다. 이 센서는 1-wire 인터페이스라고 하며 하나의 배선으로 데이터를 제공하는 편리한 인터페이스인 것 같습니다. 결국, 에 사용법이 잘 정리되어 있었습니다. ESP32 저항 4.7kΩ 온도 센서 DS10B20 여기를 사용하는 것 같습니다. 에 있는 정규 풀업 ... 온도 센서메모전자 공작DS18B20ESP32 Node-RED를 웹 서버로 사용 간단한 웹 서버로 사용하여 내부에 js 라이브러리를 가져오거나 template 노드에서 만든 html에 이미지를 포함할 수 있었기 때문에 메모입니다. 스타터 코드 다운로드 httpStatic에 지정된 폴더에 배치 cf push (다운로드 화면) (다운로드된 zip 파일 내) bluemix-settings.js의 httpStatic을 확인하면 아래와 같습니다. bluemix-settings.j... Bluemix메모node-red 국내에서 사용할 수 있는 IaaS 프로바이더의 일람·비교 지금까지 메인에서 사용하고 있던 IaaS에서 다른 IaaS로 이행하려고했지만, 현재 어떤 클라우드 서비스가 있는지 정보가 흩어져 있었기 때문에, 일본에서 사용할 수 있는 IaaS를 아는 한 정리해 보았다. 이미지는 픽업 IaaS란, 간단히 말하면 하드웨어를 스스로 준비하지 않아도, 다른 사람과 공유 서버에 자신만의 VM을 만들어 리소스를 빌릴 수 있다는 것. 기업 서비스 운영부터 개인 서비스... 인프라메모IaaS PPO의 하이퍼파라미터 메모 #2b: 배치 사이즈 & 버퍼 사이즈(연속 행동 공간)편 에 이어, 이번은 연속 행동 공간의 환경에서 PPO를 학습시킬 때의 배치 사이즈, 그리고 (이어서) 버퍼 사이즈에 대해. 배치 크기 (batch_size)는 경사 강하의 각 업데이트에 얼마나 많은 샘플을 사용하는지에 해당합니다 배치 크기의 배수가 버퍼 크기 (buffer_size) 여야합니다 행동 공간이 이산 할 때는 작고, 연속일 때는 큰 것이 좋다 이전의 검증에서, 이산 행동 공간에 대해... OpenAIGym강화 학습메모chainerRLPPO PPO의 하이퍼파라미터 메모 #2a: 배치 사이즈(이산 행동 공간)편 이번에는 이산 행동 공간의 환경에서 PPO를 학습시킬 때의 배치 사이즈에 대해. 이라는 기사가 있어 배치 사이즈에 대해서 다음과 같은 것이 쓰여져 있다. batch_size corresponds to how many experiences are used for each gradient descent update. This should always be a fraction of the buff... OpenAIGym강화 학습메모chainerRLPPO PPO의 하이퍼파라미터 메모 #1: 최적화 기법편 전회의 기사 「 PPO의 원논문에서는 Adam이 권장됩니다. 그러나 이런 논의를 보았다. 실험을보고하는 논문도 있습니다. (그림은 상기 논문의 Figure 1.에서 인용) 논문 말하자면, PPO에서 학습률을 변경했을 때의 최적화 기법마다의 성능 변화가 이러한 것이다. 그렇다면 학습률 등을 최적화 방법이 제안하는 권장 값으로 비교할 때 어떻게 될까? CPU : Intel Core i7-8700... OpenAIGym강화 학습메모chainerRLPPO 할인율 메모 잡담한 메모입니다. 강화 학습에서는 누적 할인 보상 최대화. 여기서 $ R_t $는 각 시간 $ t $에받을 수있는 보상이며 $\gamma $는 할인율입니다. 할인율이란, 「미래에 받을 수 있는 보상을 얼마나 할인해 생각할까」를 나타내는 파라미터로, 범위는 $0\leq\gamma < 1$. 보통 0.9 당으로 설정한다. 할인율이 클 때는 먼 미래의 보수까지 생각하는 방책을, 작을 때에는 최근... 강화 학습메모 【비망록】 Bootstrap4를 사용한 HTML을 만들기 위한 사전 준비 Bootstrap4를 BootstrapCDN을 사용하지 않고 사용하려면 미리 준비해 두면 즐겁다고 생각한 것에 대한 메모입니다. 참고 사이트: 아래 파일을 다운로드합니다. Bootstrap4의 소스 파일 ( 에서 다운로드 가능) jquery-3.x.x.min.js( 에서 다운로드 가능) popper.min.js ( 에서 다운로드 가능) 일단, 아래와 같은 구성으로 폴더를 만들어 다운로드한 해... HTML메모Bootstrapbootstrap4