단순선형회귀 (1)로

  회귀분석은 변수 사이의 관계를 알아내는 통계 기법입니다. 독립변수를 통해 종속변수를 예측하는데, 독립변수와 종속변수가 각각 하나고 둘 사이 관계가 선형이라고 가정하는 회귀분석이 단순선형회귀입니다.

  지난 시간에는 (현실을 모델로 만든 회귀모형의 기댓값인 회귀식의 표본추정식인) 추정회귀식을 구해 봤습니다. 최고제곱법으로 식을 찾았습니다. 과연 이 식이 적합한지 영희를 예로 들어 설명했습니다. 이제 두 번째 질문, 과연 x와 y가 통계적으로 유의미한 관계인지 답해 보려고 합니다.

유의성 검정

단순선형회귀 모형

단순선형회귀 회귀식

  회귀식에 x값을 넣으면 y값이 나옵니다. 그런데 이 값은 y가 아닙니다. 정확히는 y의 기댓값이죠. 단순선형회귀 모형에는 오차항이 있는데, 오차항은 정규분포를 따릅니다. 따라서 y도 분포를 가지는 값입니다. 우리가 추세선으로 구하는 값은 y의 기댓값이었죠.

단순선형회귀모형에서 오차항에 대한 가정은 다음과 같습니다.

1) 오차항은 확률변수다.

2) 오차항은 모든 x마다 분산이 같다.

3) 오차항은 독립이다(어떤 x에 대한 오차항이 다른 x에 대한 오차항과 무관).

4) 오차항은 정규분포를 따른다.

  이 가정들, 특히 4번 가정 때문에 오차항을 포함하는 y도 확률변수처럼 행동합니다. 단순선형회귀분석에서 선을 긋고 x를 식에 넣어 구한 y는 y값이 아니라 y의 기댓값, 평균임을 다시 강조합니다. 왜 x와 y에 관계가 있는지 검사하는 과정에 이게 필요한가 싶지만, 곧 필요해집니다.

  이제 유의성 검정을 해 보죠. 유의성 검정은 두 변수가 과연 유의미한 관계인지 검사하는 과정입니다.

  회귀식에서 x의 기울기가 0이면, x가 있는 항은 통째로 0이 됩니다. 즉 x값이 y에 아무런 영향을 주지 못합니다. 그런데 관계가 있다고 말할 수 있을까요? 따라서 우리는 저 β1이 0인지 아닌지 판단해야 합니다. 유의성을 검정하는 방법은 크게 두 가지, t검정과 F검정이 있습니다.

잠깐. 두 가지 검정을 시작하기 전에 알아야 할 식

평균제곱오차(MSE) - SSE를 자유도로 나눈 값. 오차항 분산의 불편추정량

평균제곱오차의 제곱근은 ‘추정값의 표준오차’라고 부름.

t검정

1. 귀무가설과 대립가설을 세우고 유의수준을 정한다.

2. 회귀식 기울기(β1)의 표준편차를 구한다. β는 모집단 모수이므로 추정회귀식으로 추정해 구한다.

3. 검정통계량 t를 구한다.

4. 자유도 n-2인 스튜던트 t분포에서 절댓값이 검정통계량 이상인 양측 날개 면적을 p값으로 한다.

5. p값이 유의수준 이하면 귀무가설을 기각한다.

F검정

1. 귀무가설과 대립가설을 세우고 유의수준을 정한다.

2. 평균제곱회귀(MSR)를 구한다. SSR을 회귀자유도로 나눈 값으로, 회귀자유도는 일단 ‘독립변수의 수’라고 생각한다. 단순선형회귀에서 독립변수는 하나이므로 회귀자유도는 1이다.

3. F비를 구한다. MSR/MSE다.

4. 자유도가 1, n-2인 F분포에서 F비 오른쪽의 날개 넓이를 p값으로 한다.

5. p값이 유의수준 이하면 귀무가설을 기각한다.

참고 : 독립변수가 하나라면 t검정과 F검정의 결과는 같습니다.

주의 : 통계적 유의성은 인과와 다릅니다.

신뢰구간과 예측구간

  추정회귀식도 세웠고, 식이 (영희보다) 적합한지도 검정했고, 두 변수가 통계적으로 유의미한 관계에 있는지도 파악했습니다. 이제 하루 공부 시간에 따른 기말고사 점수를 예측할 수 있을 겁니다.

  추정회귀식에 따르면 x=2.5일 때 y는 약 60.7입니다. 그럼 ‘하루에 2.5시간 공부하는 학생은 기말고사 점수가 60.7점’이라고 말할 수 있을까요? 바로 결정하기 전에 짚고 넘어갑시다. ‘하루에 2.5시간 공부하는 학생’은 누굽니까?

'하루에 2.5시간 공부하는 학생'의 뜻

뜻 1 : 하루에 2.5시간 공부하는 학생 전부. 따라서 ‘하루에 2.5시간 공부하는 학생의 기말고사 점수’는 이들 점수의 평균이다.

뜻 2 : 하루에 2.5시간 공부하는 특정 누군가. 예를 들어 2.5시간 공부하던 17살 김민수 학생의 기말고사 점수를 추정한다는 뜻이다.

뜻 1은 y값의 평균을 예측합니다. 뜻 2는 y 개별값을 예측합니다. 아시다시피 y는 값이 아니라 확률분포입니다. 따라서 뜻 1이든 2든 정해진 값이 아니라 범위, 구간을 구해야 합니다.

뜻 1은 표본회귀로 y값의 평균, 즉 모집단 회귀(E(y))를 추정합니다.

뜻 2는 표본회귀로 모집단 회귀를 넘어 실제 값을 추정합니다.

  상식적으로 뜻 2가 더 맞추기 어렵겠죠. 따라서 신뢰수준이 같다면 뜻 2로 구한 구간이 뜻 1로 구한 구간보다 넓을 수밖에 없습니다.

뜻 1로 구한 구간은 신뢰구간(Confidence interval),

뜻 2로 구한 구간은 예측구간(Prediction interval)이라고 합니다.

신뢰구간

  신뢰구간 공식은 다음과 같습니다.

신뢰구간 식에서 무얼 알 수 있을까요?

- x가 x평균과 같을 때 신뢰구간이 제일 좁습니다.

- 자료 크기 n이 클수록 신뢰구간이 좁습니다.

예측구간

  예측구간 공식은 다음과 같습니다.

예측구간 식에서 무얼 알 수 있을까요?

- 자료크기와 신뢰수준이 같다면 예측구간은 신뢰구간보다 넓습니다.(y 평균이 아니라 y 개별값을 구하기는 더 어려우니 같은 정확도가 필요할 때 범위는 더 넓겠죠.)

- 예측구간 역시 신뢰구간처럼 x가 평균일 때 제일 좁습니다.

엑셀에서 단순선형회귀 하기

  엑셀 회귀분석을 이용하면 추정회귀식, 결정계수, 추정값의 표준오차, t검정과 F검정 결과까지 전부 한 번에 볼 수 있습니다.

[데이터 분석] - [회귀분석]에 들어갑니다.

  x,y축 입력 범위, 신뢰수준을 입력합니다.

  '이름표'에 체크하면 맨 위 셀은 제목으로 취급합니다.

  '이름표'에 체크했으면 입력범위는 제목도 포함시켜야 합니다.

  '확인'을 누르면 회귀분석 결과가 나타납니다. 추정회귀식에 쓸 계수와 y절편, 결정계수, 표준 오차, t검정과 F검정 결과가 나타납니다. 보시다시피 t검정 p값과 F검정 p값이 똑같습니다.

지난 시간에는 귀무가설과 대립가설,

귀무가설을 기각할지 말지를

p값을 이용해서 알아보았습니다.

지난 시간에는 모표준편차를 안다고 가정하고 계산했지만

이번에는 모표준편차를 모르는 때를 알아봅시다.

구간추정에선 모표준편차를 알 때/모를 때를 구분했는데,

모를 때는 모표준편차 대신 표본 표준편차를 사용했습니다.

표준정규분포 대신 자유도에 따른 t분포를 사용했고요.

이번에도 같습니다.

모표준편차는 표본 표준편차로 대신해서

표본분포 표준편차를 구합니다.

모표준편차를 알 때는 표본평균의 표본분포를 그렸는데,

이번에는 자유도가 n-1인 t분포를 그립니다.

z값을 구하듯

(표본평균 – 가정한 모평균)/표본분포의 표준편차

를 계산합니다.

예를 들어

귀무가설 : μ≤3

대립가설 : μ>3

n = 50

표본평균 = 3.1

표본 표준편차 = 1.1

유의수준 = 0.05

일 때, 귀무가설을 기각해야 할까요?

t값은 (3.1-3)/ 1.1/√50 = 약 0.64입니다.

자유도가 50-1= 49인 t분포에서

0.64보다 클 확률은 얼마일까요?

엑셀 T.DIST 함수를 이용해서

t분포 값을 계산할 수 있습니다.

=T.DIST( x , 자유도 , T/F)

TRUE : 누적

FALSE : 확률밀도값

=T.DIST(0.64 , 49 , TRUE)는

0.73입니다.

t값이 유의수준보다 크므로

귀무가설을 기각할 수 없습니다.

민희네 회사는 새 스포츠카를 개발했습니다.

제로백(정지상태에서 시속 100km까지 도달하는 시간)이

10초라는군요.

물론 실제로 10초인지 검사해야겠죠.

민희네 회사 소속 연구자들이 표본 25대를 가져와서

제로백을 측정할 겁니다.

연구자들은 가설을 세웁니다.

‘이 차의 제로백은 10초 이하다.’

검사 결과는 둘 중 하나가 나올 겁니다.

첫째, 정말 제로백이 10초 이하거나

둘째, 제로백이 10초 초과여서 개발자들이 조인트를 맞거나.

유의성 검정 Significance test란

수집한 자료가 가설에 적합한지 검사하는 것을 말합니다.

유의성 검정에는 반대되는 두 가지 가설을 만듭니다.

귀무가설 Null hypothesis과

대립가설 Alternative hypothesis입니다.

두 가설이 이하/초과, 이상/미만일 때는 단측검정한다고 하고

같음/다름일 때는 양측검정한다고 합니다.

이번 민희네 스포츠카 제로백 검사에서

귀무가설은 ‘제로백이 10초 이하’고

대립가설은 ‘제로백이 10초 초과’로

이번 유의성 검정은 단측검정입니다.

1, 2종 오류

제로백을 검사하는 연구진은 유능하지만

틀릴 가능성을 무시할 수 없습니다.

제로백이 10초 미만이지만

측정을 잘못하거나 표본을 잘못 뽑아서

제로백이 10초를 초과한다고 판단할 수 있습니다.

그와 반대로

제로백이 10초를 초과하지만

실수로 제로백이 10초 이하라고 판단할 수 있습니다.

귀무가설이 참인데도 기각해버리는 오류를

제1종 오류 Type Ⅰ error,

귀무가설이 거짓인데도 채택해버리는 오류를

제2종 오류 Type Ⅱ error라고 합니다.

통계 초보인 저는 잘 모르지만,

통계학자들은 제1종 오류를 더 피하고 싶은가 봅니다.

제1종 오류를 허용할 한계.

유의수준 Level of significance 개념이 아주 유명하거든요.

연구진은 조사하기 전에 유의수준을 정합니다.

제1종 오류를 저지르기 싫을수록 유의수준을 낮게 잡습니다.

유의수준은 0.05나 0.01로 잡는 편입니다.

민희네 연구진은 0.05로 잡았습니다.

(α로 씁니다)

모표준편차를 알 때

유의성 검정도 구간추정처럼

모표준편차를 알 때/모를 때 구분해서 생각해봅시다.

데이터가 많거나 공정이 정확하면

모표준편차를 안다고 가정한다고 지난번에 말씀드렸습니다.

연구진은 과거 자료로

모표준편차를 1.5로 가정했습니다.

표본 25대를 뽑아 제로백을 검사해보니

평균 10.5초가 나왔습니다.

표본 평균이 10초 이하라면

당연히 귀무가설이 맞겠죠.

(제2종 오류를 무시한다면요)

그런데 표본 평균이 10초를 초과합니다.

개발진은 이대로 조인트를 맞아야 할까요?

그러나 아직 제1종 오류를 무시할 수 없습니다.

연구진은 유의수준을 0.05로 잡았습니다.

만약 모평균이 10인데도

재수 없게 표본평균이 10.5를 넘길 확률이 크다면

귀무가설을 함부로 기각할 수 없겠죠.

얼마나 크면 기각할 수 없을까요?

아까 정한 유의수준 0.05보다 크면 기각할 수 없겠죠.

p값 (p-value, 유의 확률)이란

이렇게 귀무가설이 맞을 때 어떤 값보다 심한 값이 나올 확률입니다.

이게 낮을수록 우연히 그 값이 나올 가능성은 작아지고,

정말 귀무가설이 틀려서 그 값이 나올 가능성은 커집니다.

쉽게 말해,

p값이 낮을수록 귀무가설은 틀립니다.

이제 제로백을 판단할 시간입니다.

귀무가설이 참이고, 모집단이 정규분포라면

표본평균의 표본분포는 기댓값이 10이고

표준편차가 1.5/√25 = 0.3인

정규분포를 그립니다.

표준정규분포로 옮겨 봅시다.

10.5에 평균을 빼고 표준편차로 나누면

z = 약 1.67입니다.

표준정규분포에서 1.67보다 클 확률은

엑셀 NORM.S.DIST 함수로 구해 보니

약 0.048입니다.

p값 0.048이 유의수준 0.05보다 작으므로

귀무가설을 기각할 수 있습니다.

결국 개발진은 조인트를 피할 수 없겠군요.

모표준편차를 모르는 경우는

다음 시간에 설명해보겠습니다.

보충 1

기각이냐 아니냐?

우린 이 게시물에서 제2종 오류를 무시했습니다.

따라서 대립가설을 마음 놓고 채택할 수 없습니다.

이때는 두 가지로 말할 수 있습니다.

1) 귀무가설을 기각한다.

2) 귀무가설을 기각할 수 없다.

보충 2 

양측검정일 때

양측검정에서

귀무가설은 ‘모평균이 특정 값이다’고

대립가설은 ‘모평균이 특정 값이 아니다’입니다.

단측검정은 한쪽 꼬리 면적으로 p값을 구했지만

양측검정에서는 양쪽 꼬리 면적으로 구해야 합니다.

 보충 3

p값 방식과 임계값 방식

아까 p값으로 유의성을 검정했지만

임계값 방식도 있습니다.

임계값 방식은 유의수준을 토대로

미리 경계를 만들어 두고,

결과로 만든 z값이 이를 넘으면 기각하는 방식입니다.