p값과 함께 표시하고자 하는 효과량

최근의 학술논문에서는 실험에서 유의한 차이가 있는지 여부를 나타내는 p-값뿐만 아니라 그 차이에 얼마나 효과가 있는지를 나타내는 효과량의 제시가 요구되고 있다.
평균값 차이의 검정에는 효과량으로 Cohen의 d와 Hedges의 g가 있다. 일반적으로 두 가지 차이점은 효과량을 계산할 때 분산을 사용하는지 또는 불편 분산을 사용하는지입니다. 분산은 편차의 제곱합을 n으로 나누고, 불편 분산은 편차의 제곱합을 n-1로 나눕니다. 모집단을 추정하는 관점에서는 불편 분산이 바람직하다고 생각되지만, 샘플 사이즈가 크면 결과에 거의 차이는 없다.
그건 그렇고, SPSS Statistics 27에서 계산 된 Cohen의 d는 불편 분산을 사용합니다. 또한, Hedges의 보정은, 그 불편 분산을 사용해 구한 Cohen의 d에 보정을 가한 값을 출력하고 있습니다.

해당 샘플의 t-검정 효과량

실제로 SPSS Statistics 27에서 계산해 보았습니다.
분석 메뉴 > 평균 비교 > 해당 샘플의 t-검정을 선택하여 해당 변수를 설정합니다.
여기에서는 같은 피험자의 grade8과 grade9의 측정치를 비교했습니다.

그리고 ☑ 효과 사이즈의 추정을 선택하면 효과량을 산출할 수 있습니다.
효과량 옵션은 ◯ 차이의 표준 편차, ◯ 차이의 불편 표준 편차, ◯ 분산의 평균을 포함합니다.
자, 어느 것을 선택하겠습니까? 옵션이 있으면 망설이네요. 전반의 흐름에서 보면 ◯ 차이의 불편 표준 편차가 좋을 것 같아 보입니다.
각 계산 방법은 알고리즘 가이드를 참조합니다.
ftp // 푸bぃc. 그럼. 이 bm. 코 m / 그 f와 ぁ레 / 아나 ly cs / sps / 도쿠 멘 타치 온 / s 치 s cs / 27.0.1 / 엔 / c ぃs_S 들 s 치 cs_ 아 l 고리 thms. pdf
게다가 알고리즘 가이드를 보고 있다고 논문의 소개가 있었다.
Dunlap, W. P., Cortina, J. M., Vaslow, J. B., and Burke, M. J. (1996). Meta-analysisof experiments with matched groups or repeated measures designs. Psychological methods, 1(2):170.
요약하면 대응이 있는 2군 간의 상관이 클수록 오차가 작아지기 때문에 검정 통계량이 커집니다. 두 그룹 간의 상관 관계를 고려하지 않고 검정 통계량에서 효과량을 계산하면 효과량을 과대 평가합니다. 과연!
효과량을 산출할 때에 상관을 사용하여 조정하고 있는 것이 ◯차의 불편 표준 편차였습니다. 즉, 2군간의 상관이 높은 경우에는, ◯차의 불편 표준 편차를 선택하는 것이 좋다고 하는 것이군요.

효과량 비교

3개의 패턴으로 실행한 결과를 비교해 봅니다. 두 그룹의 상관 관계는 0.81입니다.
[포인트 추정]이 효과량의 값입니다.
조정하지 않는(차의 표준편차) 경우의 효과량이 과대 평가되고 있는 것을 알 수 있습니다.
■대응이 있는 샘플의 t검정◯차의 표준편차

■대응이 있는 샘플의 t검정◯차의 불편 표준편차

■ 대응하는 샘플의 t 검정 ◯ 분산의 평균

마지막으로

p값뿐만 아니라 효과량의 산출도 이것으로 확실하네요.
알고리즘 가이드에는, 계산식뿐만 아니라 참고문헌의 기재도 있으므로 도움이 되네요.