[위클리 페이퍼 #1] 제 1종 오류와 제 2종 오류 / p값(p-value)

* 첫 번째 위클리 페이퍼 주제 * 1. 제 1종 오류와 제2종 오류에 대해 설명해 주세요. 2. p값(p-value)은 무엇인가요?

 

---

기본 가설 검정 개념 

 

가설 검정

표본을 이용하여 미지의 모집단 모수에 대한 두 가설(대립가설, 귀무가설)을 놓고 어느 가설이 더 타당한지를 통계적으로 의사결정하는 과정

 

- 귀무가설 (H0 / 영가설) :  일반적으로 "기존 이론이 맞다", "효과가 없다", " 차이가 없다" 형태의 주장

- 대립가설 (H1 / 연구가설) : 귀무가설과 반대. 주장하거나 증명하고자 하는 가설.

                                     "기존 이론과 다르다","효과가 있다", "차이가 있다"

 

유의수준

귀무가설을 기각할 기준이 되는 확률.

일반적으로 0.05 많이 사용, 상황에 따라 다른 값(0.01, 0.1 등)을 사용하기도 함

 

ex1)  다이어트에 효과적인 보조제가 새로 개발되었다고 할 때

       귀무가설 : "이 다이어트 보조제의 효과가 없다."

       대립가설 : "이 다이어트 보조제의 효과가 있다."

 

ex2) 성별로 수학점수 평균의 차이가 있는지 알고 싶을 때

      귀무가설 : "남학생과 여학생의 수학점수 평균은 같다. (=차이가 없다.)"

      대립가설 : "남학생과 여학생의 수학점수 평균은 다르다.(=차이가 있다.)"

 

---

 

1. 제1종 오류와 제2종 오류에 대해 설명해 주세요.

 

  - 제1종 오류 : 귀무가설이 참인데도 이를 기각하는 경우

                     '실제로 효과가 없는데 효과가 있다고 판단하는 경우'

 

  - 제2종 오류 : 귀무가설이 거짓인데도(=대립가설이 참인데도) 이를 채택하는 경우

                     '실제로 효과가 있는데 효과가 없다고 판단하는 경우'

 

ex1) 다이어트 보조제의 효과가 없는데(=귀무가설 참) 효과가 있다고 판단하는 경우 : 제1종 오류

      다이어트 보조제의 효과가 있는데(=귀무가설 거짓) 효과가 없다고 판단하는 경우 : 제2종 오류

    

ex2) 남학생과 여학생의 수학점수 평균이 같은데(=귀무가설 참) 다르다고 판단하는 경우 : 제1종 오류

      남학생과 여학생의 수학점수 평균이 다른데(=귀무가설 거짓) 같다고 판단하는 경우 : 제2종 오류

 

 

2. p값(p-value)은 무엇인가요?

 

- p값 : 어떤 사건이 우연히 발생할 확률

         귀무가설이 맞다고 가정할 때 관찰된 데이터(또는 더 극단적인 결과)가 나올 확률

            p값의 해석은 유의수준(α) 활용해서 진행

 

- 유의수준(α) : 가설 검정에서 미리 정해진 기준 값, 보통 0.05(5%)로 설정. 제 1종오류를 허용할 최대 확률

                   p값이 유의 수준보다 작으면(p < 0.05) 귀무가설을 기각하고 대립가설 채택

 

- 주의사항 : 단지 ‘귀무가설이 참일 때 관측된 데이터가 나올 확률’을 나타냄

                p값이 작더라도 실제 효과 크기가 아주 미미할 수 있고,

                반대로 표본 수가 작으면 의미 있는 차이도 유의하게 나오지 않을 수 있음

 

- 보완방법 : 신뢰구간 활용

                    A/B 테스트에서 전환율 차이가 2%p이고 95% 신뢰구간이 [0.5%, 3.5%]라면,

                   최소 0.5%p에서 최대 3.5%p까지 실제 효과가 있을 수 있다는 걸 알 수 있어 실질적인 해석 가능