GAE 로그는 자동으로 GAE에 저장되지만, 기본 설정은 1GB 또는 90일간의 조건 중 하나에 도달하면 이전 데이터에서 삭제됩니다. 따라서 로그를 영구적으로 저장하려면 외부 서비스에 보관해야합니다.

GAE는 선택 사항이며 다음 두 서비스가 자동으로 로그를 내보내고 저장할 수 있습니다.
· BigQuery
· GCS

방법은 간단하고 Google Developers Console 에서 대상 프로젝트를 선택하고 Monitoring->Logs->Exports로 이동합니다.
BigQuery에 저장하려면 기존 또는 새 데이터 세트를 선택하고 Stream App Engine Logs to BigQuery를 선택합니다.
GCS에 저장하려면 기존 또는 새 버킷을 선택하고 Save App Engine Logs to Cloud Storage를 선택합니다.
마지막으로 "Done"을 클릭하면 설정 완료입니다.


직접 BigQuery에 저장할 수도 있지만 스토리지 비용이나 로그 저장 단위(BigQuery는 1일 단위, GCS는 1시간 단위)의 차이 등으로 GCS에 저장하는 것이 좋은 경우도 있습니다.
이 문서에서는 GCS에 자동으로 내보내고 저장한 GAE 로그를 BigQuery에 로드하는 방법을 설명합니다.

1. 데이터 세트 생성

BigQuery의 톱 페이지 에서 데이터 세트를 작성하십시오.

2. 테이블 작성 및 임포트

방금 만든 데이터 세트를 선택하고 테이블을 만듭니다. 마법사에 따라 다음과 같이 진행합니다.

1. "Table ID"에는 데이터 세트에서 고유한 테이블 ID를 입력합니다.

2. Source Format은 JSON을 선택합니다. Load data from은 Google Cloud Strage를 선택하고 GCS로 자동 내보낸 GAE 로그의 전체 경로(gs://~)를 입력합니다.

3. "Schema"에는 다음 JSON 파일의 내용을 모두 복사하여 붙여넣습니다.

htps : // 기 st. 기주 b. 코 m/얀 g36/46 아 9f3332d057에785에d

4. 마지막 화면에서 Ignore unknown values를 선택하고 Submit을 클릭합니다.

※체크를 넣는 것으로, BigQuery의 테이블 스키마에 정의되어 있지 않은 값은 무시(파기)됩니다. 현재, 일부의 값은 프로그램등에 의한 가공을 실시하지 않는 한, 그대로 BigQuery에 격납할 수 없습니다.
또한 GAE의 설정에 따라 출력되는 값이 미묘하게 변화하는 것도 확인되었습니다. 모든 로그를 저장하려면 GAE에서 BigQuery로 직접 내보내고 저장하는 방법을 권장합니다.

3. 무시(파기)되는 데이터에 대해서

다음과 같은 데이터가 무시(파기)됩니다.
"appengine.googleapis.com/module_id": "default",
"appengine.googleapis.com/version_id": "20150324a",
"appengine.googleapis.com/clone_id": "00c61b117c3335a4c278e4a25bd43eb92ba2cf40"
@type ": "type.googleapis.com/apphosting.RequestLog"
이러한 데이터를 무시(파기)해야 하는 이유는 BigQuery 테이블 스키마의 열 이름에 밑줄(_) 이외의 기호를 사용할 수 없기 때문입니다.

4. 참고로

GAE 로그를 GCS에 저장하고 BigQuery에 저장하면 어느 쪽이 비용이 저렴합니까?
아래의 공식 문서를 보는 한 GCS (Nearline Storage)에 보관하는 것이 싸게 보입니다.

htps : // c ぉ d. 오, ぇ. 코 m / s 토라 게 / p 리신 g # s 토라 게 p 리신 g
htps : // c ぉ d. 오, ぇ. 코 m / 비 g 쿠에 ry / p 리신 g # s

하지만 BigQuery에 저장하면 스토리지 크기가 작아집니다! (불필요한 JSON 형식이 생략되고 원시 데이터 만 저장되기 때문에)
따라서 실제 프로젝트 내용에 따라 어느 쪽이 저렴할지는 변동한다고 생각됩니다.