Kinesis Amazon Kinesis를 사용하여 Redshift에 JSON 투입 Redshift 작성은 생략합니다. 좋은 기사가 많기 때문에. 이번에는 이런 테이블을 만들었습니다. 이름은 log-stream, Number of shards 는 1로 했습니다. 이름은 log-stream-firehose로 했습니다. Source에서 Kinesis stream을 선택, 방금 만든 log-stream을 선택해 모두 기본적으로. Select destination Amazon Re... KinesisKinesisFirehoseredshift APIGateway 로그 타임스탬프를 Lambda로 가공하여 Elasticsearch Service로 보내기 APIGateway 로그를 Elasticsearch Service로 보내 Kibana에서 시각화하려고 할 때의 단계. 다만, kibana로 대응하고 있는 타임스탬프의 형식이 APIGateway가 출력하는 타임스탬프의 형태와 일치하고 있지 않았다. 그 때문에, Lambda로 타임 스탬프의 형식을 변환해 Kibana에서 타임 스탬프로서 취급할 수 있도록(듯이) 했다. APIGateway의 액세스... 람다APIGatewayElasticsearchKinesisAWS FluentBit × Kinesis × S3로 로그 보존 기반 만들기 ~Kinesis&S3 실장편~ 이번에는 AWS측의 구현인 Kinesis Firehose Delivery Stream에서 S3로 데이터를 흘리는 기반을 만듭니다. Kinesis Firehose Delivery Stream용 IAM 역할 S3에 쓸 수 있어야합니다 Kinesis Firehose Delivery Stream ※ Kinesis Firehose Delivery Stream이 길기 때문에 이후에는 Firehose라고... CloudFormationS3KinesisAWS AWS kiness의 인상 kiness를 배우고 있지만 어떻게 인상을 줘야 할지 고민이에요. 선배들의 기사를 보고 자신의 인상을 정리했다. 업무상 사용하기 전에 진짜 의미에 화내진 않겠지... 잘못이 있으면 지적해 주세요.... AWSKinesis Amazon Kinesis Amazon Kinesis Agent OSS Amazon Kiness 서비스에 데이터를 쉽게 수집할 수 있는 독립형 Java 어플리케이션 Amazon Kiness Streams에 데이터를 전송하는 OSS의 보조 프로그램 라이브러리 Amazon Kinesis Streams와 Amazon Kiness Firehose에 이벤트를 보내는 OSS의 Flentd 출력 플러그인 Amazon Kinesis... AWSKinesis aws-kines-agent의 구린내 나는 벌레 일반 모드 디버깅 후 AP 서버에서kines-firehose로 전송, S3에 저장 aws-kinesis-agent-1.1.2-1.amzn1.noarch 구축할 때 문제가 없지만 대상 로그가 낮은 위치로 처리될 때 오류가 발생 객체 로그 /var/app/current/log/production.log 로그 /var/log/aws-kinesis-agent/aws-kinesis-agent.log ... AWSKinesis
Amazon Kinesis를 사용하여 Redshift에 JSON 투입 Redshift 작성은 생략합니다. 좋은 기사가 많기 때문에. 이번에는 이런 테이블을 만들었습니다. 이름은 log-stream, Number of shards 는 1로 했습니다. 이름은 log-stream-firehose로 했습니다. Source에서 Kinesis stream을 선택, 방금 만든 log-stream을 선택해 모두 기본적으로. Select destination Amazon Re... KinesisKinesisFirehoseredshift APIGateway 로그 타임스탬프를 Lambda로 가공하여 Elasticsearch Service로 보내기 APIGateway 로그를 Elasticsearch Service로 보내 Kibana에서 시각화하려고 할 때의 단계. 다만, kibana로 대응하고 있는 타임스탬프의 형식이 APIGateway가 출력하는 타임스탬프의 형태와 일치하고 있지 않았다. 그 때문에, Lambda로 타임 스탬프의 형식을 변환해 Kibana에서 타임 스탬프로서 취급할 수 있도록(듯이) 했다. APIGateway의 액세스... 람다APIGatewayElasticsearchKinesisAWS FluentBit × Kinesis × S3로 로그 보존 기반 만들기 ~Kinesis&S3 실장편~ 이번에는 AWS측의 구현인 Kinesis Firehose Delivery Stream에서 S3로 데이터를 흘리는 기반을 만듭니다. Kinesis Firehose Delivery Stream용 IAM 역할 S3에 쓸 수 있어야합니다 Kinesis Firehose Delivery Stream ※ Kinesis Firehose Delivery Stream이 길기 때문에 이후에는 Firehose라고... CloudFormationS3KinesisAWS AWS kiness의 인상 kiness를 배우고 있지만 어떻게 인상을 줘야 할지 고민이에요. 선배들의 기사를 보고 자신의 인상을 정리했다. 업무상 사용하기 전에 진짜 의미에 화내진 않겠지... 잘못이 있으면 지적해 주세요.... AWSKinesis Amazon Kinesis Amazon Kinesis Agent OSS Amazon Kiness 서비스에 데이터를 쉽게 수집할 수 있는 독립형 Java 어플리케이션 Amazon Kiness Streams에 데이터를 전송하는 OSS의 보조 프로그램 라이브러리 Amazon Kinesis Streams와 Amazon Kiness Firehose에 이벤트를 보내는 OSS의 Flentd 출력 플러그인 Amazon Kinesis... AWSKinesis aws-kines-agent의 구린내 나는 벌레 일반 모드 디버깅 후 AP 서버에서kines-firehose로 전송, S3에 저장 aws-kinesis-agent-1.1.2-1.amzn1.noarch 구축할 때 문제가 없지만 대상 로그가 낮은 위치로 처리될 때 오류가 발생 객체 로그 /var/app/current/log/production.log 로그 /var/log/aws-kinesis-agent/aws-kinesis-agent.log ... AWSKinesis