JMeter의 오른쪽 꼬리 이상값 감지기

이 블로그 게시물에서는 JMeter의 Right Tail Outlier Detector에 대해 살펴보겠습니다. 결과 분석은 모든 성능 테스트 프로젝트에서 중요한 단계 중 하나입니다. 발생하는 대부분의 결과에는 이상값이 있을 수 있습니다. NeoLoad와 같은 상용 도구에는 노이즈를 제거하는 기능이 내장되어 있습니다. JMeter 에서 Right Tail Outlier Detector 플러그인을 사용하여 이상값을 분리할 수 있습니다.

JMeter에 오른쪽 꼬리 이상값 감지기 설치

전제 조건

JMeter의 안정적인 버전

플러그인 관리자

이 데모에서는 JMeter 5.4.1과 Plugins Manager 1.6을 사용하고 있습니다. here에서 Plugins Manager jar를 다운로드하여 JMETER_HOME\lib\ext 폴더에 넣습니다.

(재)JMeter를 시작하여 Right Tail Outlier Detector 플러그인을 설치합니다.

오른쪽 상단의 아이콘을 클릭하여 Plugins Manager를 시작합니다.

아래와 같이 "Available Plugins"에서 "Right Tail"을 검색합니다.

JMeter의 오른쪽 꼬리 이상값 감지기

변경 사항 적용을 누르고 JMeter를 다시 시작하십시오. 관련 jar 파일을 다운로드하여 적절한 위치에 배치하고 JMeter를 다시 시작합니다.

용법

JMeter를 실행하고 아래와 같이 Non-Test Elements 아래에 있는 Right Tail Outlier Detection 요소를 추가합니다.

오른쪽 꼬리 이상값 감지 추가

아래와 같이 요소 구성을 볼 수 있습니다.

오른쪽 꼬리 이상값 감지 구성

이상값이란 무엇입니까?

성능 테스트 결과 관점에서 아웃라이어는 다른 데이터 포인트와 크게 다른 데이터 포인트입니다.

예를 들어 다음은 테스트 실행 중 페이지 로드의 응답 시간입니다. 17:19:00의 데이터 포인트는 다른 데이터 포인트와 다른 1.061초를 가집니다. 여기서 이상값은 1.061초입니다.



타임 스탬프

응답 시간



17:15:00

0.05



17:16:00

0.07



17:17:00

0.06



17:18:00

0.045



17:19:00

1.061



17:20:00

0.046


이상값이 있는 샘플 데이터

오른쪽 꼬리 이상값 감지기 플러그인 정보

이 플러그인은 Tukey의 기술을 사용하여 1.5 및 3 Tukey 상수 k의 두 가지 옵션을 사용하여 상한을 찾습니다.

k 1.5는 모든 이상값을 식별하고 k 3은 극단값만 식별합니다.

Right Tail Outlier Detector Plugin Source Code



이상값을 감지하려면 먼저 jtl, csv 또는 tsv 형식의 성능 테스트 결과가 필요합니다.

내 로컬 앱에 대해 실행한 샘플 테스트 결과가 있습니다. 먼저 k 1.5를 사용하여 모든 이상값을 감지해 보겠습니다.

1.5(모든 이상값 감지)를 선택하고 아래와 같이 결과 파일을 찾은 다음 감지를 클릭합니다.

이상값 감지

내 테스트 결과에는 5개의 Outliers가 있고 Bin 폴더에 Outliers 및 Trimmed 파일이 생성되었습니다.

이상치 및 잘린 파일

Outliers 파일을 버리고 추가 분석을 위해 Trimmed 파일만 고려할 수 있습니다. 잠재적인 성능 문제의 근본 원인을 분석하려는 경우 Outliers 파일을 고려할 수 있습니다.

테이블 보기에서 상단 펜스 및 트리머 수를 볼 수도 있습니다. 테이블 데이터를 저장하려면 테이블 데이터 저장을 클릭하십시오.

k 1.5 감지

k 3의 경우 내 테스트 결과에 대해 이상값이 감지되지 않습니다. 극단적인 값만 감지하기 때문입니다.

k 3 감지

명령줄 사용법

명령줄을 활용하여 즉시 이상값을 식별할 수 있습니다. 아래 명령을 실행하여 k 1.5에 대한 이상값을 감지합니다.

java -jar lib\cmdrunner-2.2.jar --tool RightTailOutlierDetector --input-file bin\Run2.jtl --tukey-k 1.5

명령줄 사용법

결론

이상값을 감지하면 성능 테스트 결과를 분석하는 데 도움이 됩니다. 이상값 감지는 체크리스트의 첫 번째 단계여야 합니다. 이 플러그인은 시간을 절약하고 몇 번의 클릭만으로 감지할 수 있도록 도와줍니다. 이상값을 감지하기 위해 다른 방법을 사용합니까? 댓글로 알려주세요.