EC2에서 호스팅하는 Redash가 중지되었습니다.

ELB에게서 말하는 502 Bad Gateway 메시지



원인 식별에서 복구까지 로그를 남깁니다.

원인 식별

ELB 로그 조사

즉시 생략합니다. 왜냐하면 ALB 로깅이 활성화되지 않았기 때문입니다.

다음에 도움이 될 수 있도록 AWS 공식 문서에 따라 ALB 액세스 로그를 S3에 저장하도록 설정합니다.
htps : // / cs. 아 ws. 아마존. 이 m/에ぁs치cぉあdばぁしんg/ぁてst/あぁぃかちおん/ぉ아 ㄱㄹㄹㄹㄹㄹㅎㅎ html # 에나 b

EC2 인스턴스에 직접 액세스

발판 서버를 통해 EC2 인스턴스의 80번 포트에 액세스합니다. 그러면 연결할 수 없습니다.
SecurityGroup을 변경한 기억이 없기 때문에 EC2에서 문제가 발생했을 가능성이 높습니다.

curl -v  ip-**-**-**-**.ap-northeast-1.compute.internal:80
...
* Failed to connect to ip-**-**-**-**.ap-northeast-1.compute.internal port 80: Connection refused
* Closing connection 0
...

덧붙여서, 성공했을 경우의 응답은 이런 느낌입니다.

curl -v  ip-**-**-**-**.ap-northeast-1.compute.internal:80

< HTTP/1.1 302 FOUND
< Server: nginx/1.9.10
< Date: Tue, 12 Jan 2021 01:21:12 GMT
......

Redash에 대한 SSH 및 프로세스의 사활 확인

Redash가 들어 있는 EC2 인스턴스에 SSH하여 해당 프로세스의 사활 확인을 합니다.
여기서 원래 Redash on EC2는 어떻게 움직이고 있는 거야? 라는 의문에 부딪혔습니다.

공식 문서 에 의하면 docker-compose 를 이용하고 있다고 하는 것.

What the script does is:

Install Docker and Docker Compose.
Download our recommended Docker Compose configuration and create initial configuration.
Start everything.

확인해 보면 ...저, Docker 프로세스가 죽었군요.

/opt/redash$ sudo docker ps
sudo: unable to resolve host ip-**-**-**-**: Resource temporarily unavailable
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

원인 식별 및 복구 작업

원인 식별

docker-compose 프로세스를 재부팅하기 위해 Redash 업그레이드 절차 을 참고하여 재부팅을 실행할 때 오류가 발생했습니다.

cd /opt/redash
docker-compose up -d

> INTERNAL ERROR: cannot create temporary directory

검색하면 디스크의 잔량이 적은 것이 원인처럼.
h tps : // s t c ゔ ぇ rf ぉ w. 코 m / 쿠에 s 치온 s / 40755494 / 도 c 케 r 코 m 포세 - r r l

응용 프로그램 수준에서는 Redash가 쿼리 실행 결과를 캐시하고 있기 때문일 수 있습니다.
h tps : // / s s. 레다 sh. 이오/t/레다 sh-타킨 g-히 gh-ぢ sk-s 파세/6777

그렇게 말하면 limit 절없이 쿼리를 실행하고 응답이 없었기 때문에 브라우저 탭을 닫은 것 같은 기억이 ...
(PostgresDB 안을 들여다 보면 밝혀질 것이라고 생각합니다만, 이번은 거기까지 하지 않습니다)

복구 작업

Qiita , AWS 문서에 따라 EBS 볼륨을 추가하고 장치 파일 시스템에 할당량을 증가 시켰습니다.

반성

EC2의 디스크 메모리의 박박은 디폴트의 메트릭스에 나오지 않으므로, 반드시 추가 설정하는 구조를 만들고 싶은 곳이군요.