데이터 설정 테스트 자동화

1. 소개

어느 스마트 폰용 게임 앱의 QA를 담당하고 있습니다.
퀘스트 데이터의 테스트를 일부 자동화할 수 있었으므로 소개합니다.

2. 배경

퀘스트에는 스테이지마다, 등장하는 적이나 그 스킬, 행동 패턴 등이 설정되어 있다

플래너가 Excel에서 퀘스트 데이터를 만들고 있습니다

개발 환경 관리 페이지 (Rails)에서 데이터 설정을 확인할 수 있습니다

퀘스트 데이터의 설정 값 조합에 따라 NG가되는 패턴이 있습니다.

적 기술과 행동 패턴이 적절한 조합이 아닙니다

한 캐릭터가 다른 캐릭터의 스킬을 사용해 버린다 등

이것들은 진행 불능이나, 세계관적으로 NG가 되기 때문에 문제가 됩니다.
재현 공수가 높고, 캐릭터의 지식이 필요 등 검지하기 어렵고, 자신의 팀에서는 노하우가 있는 테스터에 의지하고 있는 상황이었습니다.

3. 했던 일

퀘스트 데이터에 NG 패턴이 있으면 관리 페이지에 경고 메시지를 표시하도록 했습니다.

구체적으로는
1. 테스트 케이스와 테스트 담당자의 히어링으로 구현해야 할 항목을 나열
2. 검증하고 싶은 데이터의 컬럼명, NG가 되는 값의 범위와 조합 조건을 정리
3. 위의 조건으로 관리 페이지에 메시지를 표시하도록 엔지니어에게 구현 요청




관점
컬럼
조건


적 기술과 행동 패턴이 적절한 조합이 아닙니다.
skill_id, attack_pattern
물리 스킬(id:10xxxxx)일 때 행동 패턴 1~5 이외가 설정되어 있다

어떤 캐릭터가 다른 캐릭터의 스킬을 사용해 버린다
character_id, skill_user
character_id와 skill_user가 일치하지 않음

4.좋은 일

QA에서는 일반적으로 사양서를 바탕으로 테스트한다고 생각합니다만, 룰 베이스로의 테스트이므로 데이터의 사양서 자체가 잘못되어 있더라도 NG를 검지할 수 있습니다.
이번에는 서버측에서 구현해 주었습니다만, Spreadsheet나 Excel에서 함수를 조합해 QA측에서 테스트용의 시트를 만드는 경우와 비교해 이하와 같은 이점이 있습니다.

설정하는 플래너 측에서도 확인할 수 있고 NG가 없는지 한발로 알 수 있으므로 QA 전 품질이 올라간다

마스터 데이터를 취득하여 시트에 흘리는 수고가 없기 때문에 QA 공수를 줄일 수있다

또한 자신의 팀에서는 속인화하고 있던 테스트를 다른 테스터에서도 실시할 수 있게 되었습니다.

5. 정리

데이터 설정의 테스트에를 효율화하고 싶다고 생각하고 있는 분에게, 이러한 방법도 있는 것을 알고 주시면 감사하겠습니다.
물론 엔지니어의 실장·유지보수 공수가 필요합니다만, 장점은 작지 않으므로 가능하면 제안해 보세요.