최초 출시 2019년 5월 7일 https://darnahsan.medium.com/schema-first-json-api-with-mson-and-json-schema-3fa8bfaabe9c
웹에서 모바일 애플리케이션까지의 클라이언트 응용이 증가함에 따라 API는 이미 끊임없이 상승하는 네트워크 표준이 되었다.Wego에서 우리의 분석 API는 사용자와 기업에 가치를 동시에 제공하는 핵심이었다.약 2년 전에, 우리는 최초의 실현을 개선하여, 이를 v2로 다시 썼습니다. 당신은 이곳에서 모든 내용을 읽을 수 있습니다.속도를 높이고 대역폭을 최적화한 후에 우리는 무대에 올라 이벤트 흐름을 분석하는 데 실시간 테스트를 실시하여 전송된 데이터를 깊이 있게 이해한다.간단하게 API를 분석한 역사를 소개하고 왜 MSON과 JSON 모드를 사용하여 API의 v3를 개발하기로 결정했는지 이해합니다.v1은 2015년경 작성된 것으로 구글의 프로토콜 버퍼를 사용했고 Protobuf라고도 부른다.당시에는 정의 모델을 통해 대량의 클래스에 유형화 클래스(protobuf2에 루비 지원이 없음)를 생성하는 것이 좋은 방법인 것 같다.Java로 작성된 메타데이터 검색 API는 잘 작동합니다.Ruby와 우리의 분석 API는 시간이 지날수록 하나의 아픔이 되었다.우선, 우리는 어떠한 상황에서도 JSON 대신 Protobuf를 사용하여 내부 통신을 하지 않았다.반대로, 이것은 JSON에서protos 대상까지의 대상을 만들고, 다시 JSON으로 돌아가 로그 기록을 하는 데 사용된다.이것은 v1의 성능 저하를 초래하는 주요 원인이다. v2를 개선하는 것은 비동기적(어떤 상황에서든 비동기적)이다. 비록 속도 문제를 완화시키고 제3자 분석을 사용하지 않고 내부 데이터 수집에만 의존하도록 허용하기 위해서이다.아래의 각도에서 보면protobufs가 어떻게 사용되고 어떻게 사용되는지 알 수 있다.
사용 방법

그것은 어떻게 사용되었는가

protobuf가 우리에게 가져다 준 고통은 API급에 그치지 않는다.ETL pipeline을 통해 Google BigQuery에 데이터를 업로드한 Google은 같은 패턴 파일에서 BQ 모드를 생성할 수 있어 매우 좋습니다.그러나 유형의 과도한 추상은 혼란을 초래할 수 있다. 이런 혼란은 서비스에 도입된다. 예를 들어 원 검색이 사용하는 검색 대상도 분석에 사용되지만 시간이 지날수록 이 대상은 원 검색의 사용을 바탕으로 증가한다. 현재 원 검색은 분석이나 다른 서비스에서 필요하지 않은 필드를 도입했다. 이는 대상의 API가 팽창할 뿐만 아니라 빈 열을 BQ표에 추가할 수 있다.protobuf의 고통은 article에서 잘 설명되었다. 이것은 API와 BQ 단계에서 우리가 protobuf가 Ruby 작업을 위해 하는 대량의 해커 공격으로 인해 우리가 가장 주목하는 필수 필드를 잘 설명한다.

The most problematic of these is the required type. Google explains it best: Required Is Forever: You should be very careful about marking fields as required. If at some point you wish to stop writing or sending a required field, it will be problematic to change the field to an optional field - old readers will consider messages without this field to be incomplete and may reject or drop them unintentionally. [...] Some engineers at Google have come to the conclusion that using required does more harm than good; they prefer to use only optional and repeated.

이것은 우리가 protobufs를 사용한 맹세의 간략한 설명입니다.v3에 대해, 우리는 이벤트를 추가하는 과정을 표준화하기로 결정했습니다. 프로토콜 bufs를 사용하여 이벤트 형식을 지정하지 않고, 전송된 변경 사항에 눈이 멀었습니다.이벤트 유형을 처리하려면 API Blueprint에 기록해야 합니다. Github에서 문법에 대한 일류 지원, 요청 대상을 MSON으로 정의하는 능력, JSON, JSON 모드, 테스트, 아날로그 API를 처리할 수 있는 도구 수량 등을 선택했기 때문입니다.MSON이 정의한 요청 속성과 JSON에서 정의한 예시체 대상을 가진 문서화 API가 생기면 일치된 JSON 모드와 BQ 모드를 생성할 수 있습니다.
JSON 모드를 생성하기 위해서 우리는 apib2json을 사용합니다. 이것은apib 문서를 사용하여 JSON 모드를 생성할 수 있도록 합니다.프로세스를 실행하기 위해 docker 용기를 추가합니다. 의존 관계를 허용하지 않습니다.우리는 jq 추출 모드 대상을 사용하여 json-schema을 통해 우리의 루비 코드 라이브러리와 함께 사용할 수 있도록 합니다

docker run --rm -i bugyik/apib2json --pretty < input.apib | jq -r '.[] | .[] | .schema' > output.json

이와 유사하게 BQ모델에 대해 우리가 필요로 하는 모델의 유연성에 따라 우리는 두 가지 방법을 사용할 수 있다.MSON에서 정의한 구속을 BQ 모드로 이동하려면 JSON 모드를 다른 방식으로 사용해야 합니다. 구속이 없는 유연한 모드에서는 apib doc 기반 JSON 객체를 사용합니다.양자에 대해 나는 모두 소스를 넣은 docker 용기 가방 jsonschema2bqschema을 가지고 있다

아산달 / jsonschema2bqschema

JSON 모드에서 BQ 모드로 docker 컨테이너에 패키지

Github 환매는 Gitlab 환매의 거울입니다.

Json 모드에서 BQ 모드로

이것은 jsonschema-bigquery을 포장한 용기로 JSON Schema에서 BQ 모드를 생성하는 데 쓰인다.이 패키지의 목적은 jsonschema bigquery를 사용하여 JSON 모드에서 bigquery 모드를 생성하는 모든 도구와 수요를 설치하는 것을 피하는 것입니다

현지의 기초 위에 세우다

docker build --build-arg BUILD_DATE=$(date -u +'%Y-%m-%dT%H:%M:%SZ') -t darahsan/jsonschema2bqschema:latest .

docker run -i darahsan/jsonschema2bqschema:latest < input-schema.json > output-bq-schema.json

docker run -i -e OPTIONS='--preventAdditionalObjectProperties' darahsan/jsonschema2bqschema:latest < input-schema.json > output-bq-schema.json

jsonschema2bqschema 변수는 jsonschema-bigquery options을 받아들이고 json schema을 입력한다.-p -d 플래그는 BQ 모드를 생성할 때 Google BigQuery와 상호 작용할 계획이 없으므로 받아들여지지 않습니다.

docker를 통해 로컬 파일에서 실행

docker run -i darahsan/jsonschema2bqschema:latest < input-schema.json > output-bq-schema.json

docker run -i -e OPTIONS='--preventAdditionalObjectProperties' darahsan/jsonschema2bqschema:latest < input-schema.json > output-bq-schema.json

재미나 다른 걸 위해서 용기에 들어가는 거예요.

docker-compose up

…
View on GitHub
(만약 당신이 jsonschema-bigquery의 v3.0.0이 어떻게 발표되었는지에 관심이 있다면, 이 docker 용기는 그것에 의존하여 나의 issue과 PR27을 보고 당신에게 견해를 제시합니다)와 json2bqschema

아산달 / json2bqschema

docker 컨테이너로 포장된 JSON 객체에서 Google BigQuery BQ 모드 생성기 생성

Github 환매는 Gitlab 환매의 거울입니다.

JSON 객체에서 BQ 모드 추출

이것은 JSON 객체에서 Google 쿼리 테이블 모드를 만드는 도구입니다.JSON 객체에서 테이블의 BQ 모드를 생성하는 데 사용할 수 있습니다.
이것은 수정된 코드로 단일 JSON 대상에서 실행하고 BQ 모드를 만들 수 있습니다.
이 슬라이드에서는 기본 사항 =>https://gist.github.com/igrigorik/83334277835625916cd6
gist 코드와 이 코드의 차이점은 json 라이브러리가 아니라 표준 루비 yajl 라이브러리를 사용한다는 것이다.yajl은 더 빠를 수 있지만 의존적으로 docker의 이미지 크기의 풍선은 최고 271MB, ruby의 이미지 크기의 풍선은 최고 50MB에 달한다.

현지의 기초 위에 세우다

docker build --build-arg BUILD_DATE=$(date -u +'%Y-%m-%dT%H:%M:%SZ') -t darahsan/json2bqschema:latest .

docker run -i darahsan/json2bqschema:latest < input-file.json > output-file.json

docker를 통해 로컬 파일에서 실행

docker run --rm -i darahsan/json2bqschema:latest < input-file.json > output-file.json

…
View on GitHub
이는 개발자들이 BQ 모델 생성에 대한 의존성을 걱정하지 않도록 과정을 간소화할 수 있다.

docker run --rm -i darahsan/jsonschema2bqschema < input-file.json > output-file.json

docker run --rm -i darahsan/json2bqschema < input-file.json > output-file.json

이런 점에서 프로토버프가 가지고 있는 유형화 클래스의 장점이 무엇인지 생각할 수 있다. 대상이 복잡해질 수도 있고 끊임없이 업데이트되면서 코드를 관리하는 것이 짜증날 수도 있기 때문이다.JSON 모드로 JSON 대상을 표준화함으로써 우리는 quicktype을 사용하여apib에서 MSON으로 기록되고 정의된 동일한 JSON 모드로 유형화 클래스를 생성할 수 있다.
명령줄에서quick type을 사용하여 유형화 클래스를 생성하는 과정을 간소화하기 위해, 모든 그룹이 여러 개의 의존항을 설정해야 하기 때문에, docker 용기 패키지는 원본입니다.패키지 출처: jsonschema2quicktype

아산달 / jsonschema2quicktype

docker 컨테이너에 패키지된 Quick type을 사용하여 Json 모드에서 유형 클래스 생성기 생성

json 환매는 Github 환매의 거울입니다.

유형화된 유형의 Json 모드

이것은 quicktype을 포장한 용기로 Json Schema에서 유형류를 생성하는 데 쓰인다.이 가방의 목적은 모든 도구와 요구를 설치하지 않도록 편의를 제공하는 것입니다.quick type을 사용하여 json 모드에서 형식 클래스를 생성하는 것입니다

현지의 기초 위에 세우다

docker build --build-arg BUILD_DATE=$(date -u +'%Y-%m-%dT%H:%M:%SZ') -t jsonschema2quicktype:latest .

docker run -i -e QUICKTYPE='-l ruby' jsonschema2quicktype:latest < input-schema.json > output-class.rb

Gitlab 변수는 모든quick type 옵션을 수락합니다.QUICKTYPE을 사용하는 -s, --src 또는 --src-lang으로 정의하지 마십시오.

docker를 통해 로컬 파일에서 실행

docker run --rm -i -e QUICKTYPE='-l ruby' darahsan/jsonschema2quicktype < input-schema.json > output-class.rb

재미나 다른 걸 위해서 용기에 들어가는 거예요.

docker-compose up

docker exec -it jsonschema2quicktype sh

View on GitHub
그리고 다음과 같은 방식으로 사용할 수 있다

docker run --rm -i -e QUICKTYPE='-l <supported-language>' darahsan/jsonschema2quicktype < input-schema.json > output-class.ext

API 로깅에서 단일 표준을 사용하는 프로세스 표준화, 통신에서 데이터 검증 및 처리에 이르기까지 향후 문제가 발생하지 않도록 하기 위해 노력하고 있습니다.
최초는 2019년 5월 7일 https://geeks.wego.com에 발표됐다.