QA 엔지니어는 자동화 프레임워크를 개발하고 테스트를 추가하고 유지 관리하는 데 상당한 시간과 노력을 투자합니다.

이러한 종단 간 자동화 테스트의 취약한 특성을 감안할 때 대부분의 팀은 테스트 실패에 대한 경고 메커니즘을 설계합니다.

Slack 또는 Microsoft 팀과 같은 커뮤니케이션 플랫폼은 대부분의 엔지니어가 일정 기간 동안 알림을 무시하게 되므로 이러한 알림의 새로운 묘지가 되고 있습니다. 이러한 경고를 무시하는 주된 이유는 다음과 같습니다.

초과 경고

가시성 부족

잘못된 책임

다음 섹션에서는 Test Results Reporter cli 도구의 샘플 구성 파일을 공유하여 테스트 결과를 slack, Microsoft 팀 또는 기타 통신 플랫폼에 보내는 동안 모범 사례를 따릅니다.

테스트 결과 보고자 / 보고자

Microsoft Teams, Google Chat 및 Slack에 테스트 결과 게시

테스트 결과 보고자

테스트 결과를 Microsoft Teams, Google Chat, Slack 등에 게시합니다.

대상

확장 프로그램

시험 결과

샘플 보고서

선적 서류 비치

도움이 필요하다

Github Discussions을 사용하여 피드백을 받고, 아이디어를 토론하고, 질문에 답합니다. 그것으로 가서 자유롭게 토론을 시작하십시오. 기꺼이 도와드리겠습니다 😊.

당신의 도움이 필요합니다

이 프로젝트처럼! Github ⭐에 별표를 표시하세요. 귀하의 지원은 우리에게 큰 의미가 있습니다.
Flask icons created by Freepik - Flaticon



View on GitHub

초과 경고

초기 단계에서 슬랙 채널이나 다른 곳에서 이러한 알림을 보는 것은 멋진 경험이 될 것입니다. 며칠 후 처리할 수 있는 것보다 더 많은 경고가 있는 경우 무시하는 데 익숙해집니다. 이로 인해 실제 문제는 노이즈에서 손실됩니다.

이를 해결하는 한 가지 방법은 기본 채널을 깨끗하고 잡음이 없는 상태로 유지하여 장애 경고를 다른 채널로 보내는 것입니다.

기본 채널

실패 채널

구성

[
  {
    "name": "slack",
    "inputs": {
      "url": "<primary-channel-webhook-url>",
      "publish": "test-summary-slim"
    }
  },
  {
    "name": "slack",
    "condition": "fail",
    "inputs": {
      "url": "<failure-channel-webhook-url>",
      "publish": "failure-details"
    }
  }
]

가시성 부족

테스트 실패 분석은 가치가 실현되고 품질이 향상되는 곳입니다. 릴리스 속도에 매우 중요합니다. 실패는 다양한 이유로 발생하며 이러한 실패 이유를 추적하는 것은 지루한 작업입니다.

ReportPortal은 AI 기반 테스트 결과 포털입니다. 수집된 실행 기록 및 실패 패턴을 사용하여 최신 결과를 핸즈프리 분석합니다. 자동 분석 기능을 통해 실제 오류와 노이즈(알려진 오류 또는 불안정한 테스트)를 구별하는 데 도움이 됩니다.

다음과 같은 실패 범주를 제공합니다.

제품 버그(PB)

자동화 버그(AB)

시스템 문제(SI)

무결점(ND)

조사(TI)

보고서 포털 분석

구성

{
  "name": "report-portal-analysis",
  "inputs": {
    "url": "<report-portal-base-url>",
    "api_key": "<api-key>",
    "project": "<project-id>",
    "launch_id": "<launch-id>"
  }
}

빈약한 책임

테스트 실패를 조사하고 수정하는 것은 자동화 테스트 스위트를 유지 관리하는 데 있어 가장 중요한 부분입니다. 자동화를 건강하고 신뢰할 수 있게 만듭니다.

책임을 주입하는 방법 중 하나는 테스트 소유자(테스트를 작성했거나 채택한 사람)에게 실패를 살펴보도록 요청하는 것입니다. 이 접근 방식에서는 지식이 제한되고 다른 사람에게 종속됩니다.

또 다른 방법은 전체 팀이 모든 테스트 실패에 대해 책임을 지게 하는 것입니다. 전체 팀이 동시에 동일한 오류를 조사하려고 하거나 다른 사람이 조사하고 있다고 가정하고 아무도 살펴보지 않는다면 그것은 재앙이 될 것입니다. 그 사람이 실패를 볼 수 있도록 명단을 만드는 것은 가치가 있을 것입니다.

테스트 실패를 조사하기 위해 대기 중인 사람을 자동으로 태깅하면 자동화 제품군을 건강하게 유지하는 데 분명히 도움이 될 것입니다.

언급

구성

{
  "name": "mentions",
  "inputs": {
    "schedule": {
      "layers": [
        {
          "rotation": {
            "every": "week",
            "users": [
              {
                "name": "Jon",
                "slack_uid": "ULA15K66N"
              },
              {
                "name": "Anudeep",
                "slack_uid": "ULA15K66M"
              }
            ]
          }
        }
      ]
    }
  }
}