Accelerate State of DevOps report 읽기

이 글은 혼돈 탐색 Advent Calendar 2021 열흘째다.
주식회사 카오스내비 제품본부 SRE부 운영팀 소속 오두막다리입니다.
조작팀은 정식적인 디버깅 작업과 일상적으로 발생하는 운용 업무의 자동화와 효율화를 진행하고 있다.
Accelerate State of DevOps는
매년 세계 각지에서 소프트웨어, 배송, 조작과 조직 성능의 데이터를 수집하여 통계 방법으로 분석하고 정리한 보고서.
Lean과 DevOps의 과학'을 통해 그 존재를 알게 됐어요.
이 가운데 이번에는 4개의 키 메트릭을 바탕으로 소프트웨어 딜리버리 앤드 Operation(이하 SDO)과 문서 품질의 페이지를 주목했다.
네 가지 관건 도량
2개마다 Throughput(처리 속도)과 Stability(안정성)의 지표로 나뉜다.
보고서의 P.9에서 발췌

Throughput
프로그램 주파수
1일의 공식 디버깅 횟수(디버깅 외에 공식 환경의 자원과 설정 변경 등도 포함)가 지표다.
이 보고서에 따르면 최대 1천460회/년=1일 4회 디자인을 하는 업체가 있다고 하는데 이 횟수가 너무 많아서 깜짝 놀랐어요...(글로벌 기업이라면 가능할 텐데, 워낙 일을 많이 해서...)
혼돈 내비게이션은 현재 하루 동안 안정적으로 여러 차례 정식 설계를 하고 있지만 토요일, 금요일, 금요일은 정식으로 테스트를 하지 않는다.그리고 그곳에도 공휴일이 있기 때문에 실제 목표는 500번~600번이 좋지 않을까 생각합니다.
읽기 시간
코드를 제출하고 정식으로 발표하는 데 얼마나 걸릴지 지표다.
리드 타임이 1시간 미만이면 슈퍼댄서지만 혼돈 내비게이션에서 1시간 미만으로 안정되지 않아 설계 프로세스와 구조 개선을 통해 1시간 미만 안정되면 설계를 할 수 있을 것으로 생각한다.
Stability
MTTR(평균 수리 시간)
문제가 서비스 회복에 이르는 시간을 지표로 삼아 우리도 선두 시간과 마찬가지로 1시간 미만이면 슈퍼 형식으로 분류된다.
문제 발생 후 서비스 복구까지의 정의가 신경 쓰이는 부분, 예를 들어 고장 발생 후 즉시 복구 변경, 현상 해소 = 서비스 복구와 같은 모델도 존재할 수 있다(근본적인 고장 원인의 대응은 이후에 하는 구상이다).
혼돈 내비게이션 시스템은 고장난 일부 모델에 대해 시간을 계산했지만 모든 모델이 실제 성적을 거둔 것은 아니기 때문에 일부 지표를 정의하고 넓은 의미의 MTTR을 조금 더 측정하고 싶다.
변경 실패율
공식 환경에 대한 디버깅과 변경에서 서비스 고장과 서비스 정지 등과 관련된 발표량이 얼마나 되는지 지표다.

変更失敗率 = 変更失敗回数 / 本番デプロイ回数

변경 실패 0을 목표로 해서는 곤란하지만 0을 유지하는 것은 매우 어렵다.
따라서 공식 테스트 횟수를 늘려 변경 실패율의 변동을 최소화하기를 바란다.
위에서 말한 바와 같이 혼돈 내비게이션은 매일 여러 차례 발표되기 때문에 변경 실패율이 비교적 낮다.실제 변경 실패율은 5%대를 유지하고 최종 목표는 2%다.
이 네 가지 관건적인 도량의 숫자를 실제로 정리해서 회사 내부에서 공유할 수 있었으면 좋겠다(이곳에서 말하면 된다).
문서 품질
또 하나는 2021년부터 내부 자료의 품질에 주목해 매뉴얼, README, 코드 리뷰 등 개발·운용과 관련한 모든 문서를 대상으로 조사했다는 점도 눈에 띈다.
보고서의 한 페이지는 다음과 같은 관점에서 문서의 질을 평가했다.고품질 문서를 제작하는 팀 SDO의 성능이 높다고 한다.

독자의 목적을 실현하는 데 도움이 된다

정확하고 최신식이며 포괄적

찾기 쉽고 정리하기 쉽다

약간 추상적이어서'알겠다'는 생각이 들지만, 문서의 질과 관련해서는'정보 아키텍처'와'SRE의 탐구'19장을 주제로 읽어보는 게 좋을 것 같다.
또한 문서의 질을 높이기 위해 다음과 같은 몇 가지 실천을 열거했다.

소유자 결정

용례를 문서로 바꾸기

기존 문서 업데이트 및 편집 가이드 만들기

잘못된 정보나 오래된 정보를 삭제하는 가이드 만들기

보고서에도 전문 지식, 방침, 방침을 팀 간과 전체가 공유하기 위해 문서가 중요한 역할을 해야 한다고 기재돼 있다.
유지보수가 번거롭지만 보고서에 기재된 실천, 특히 갱신과 삭제를 위한 가이드라인은 실천의 가치가 있다고 생각합니다('제작'의 가이드라인이 있지만'갱신'과'삭제'의 가이드라인은 의외로 없습니다).
끝맺다
2021년 특유의 콘텐츠로 코로나-19가 퍼포먼스에 미친 영향 등에 대한 조사도 있었다.또 다섯 번째 지표로 활용 성능에 대한 언급 및 문화 관련 조사 등이 있어 아직 충분히 읽지 못했다.
이 보고서와 같은 엘리트 슈퍼배우가 되기 위해 매일 개선해야 한다고 생각한다.