9강 - 고정효과 · 랜덤효과

왜 일반 회귀로는 부족한가

일반 회귀는 다음 형태를 가진다.

$Y = \beta_0 + \beta_1 X + \varepsilon$

이 모형의 핵심 가정은 모든 관측치가 서로 독립이라는 것이다. 한 사람의 값과 다른 사람의 값이 무관해야 한다.

그런데 스포츠 데이터는 대개 어딘가에 묶여 있다.

데이터 상황	묶이는 단위
선수별 시즌 기록 (한 선수가 여러 시즌 기록 보유)	선수
팀별 경기 기록 (한 팀이 38경기 치름)	팀
반복 측정 (같은 선수의 체력 측정을 3회)	사람
여러 팀 / 여러 학교 / 여러 리그	팀·학교·리그

같은 선수의 기록은 개인 특성을 공유하므로 서로 비슷할 가능성이 크다. 이렇게 관측치가 비독립이면 일반 회귀의 가정이 깨지고, 표준오차가 왜곡되어 p값이 부정확해진다.

해결책은 그룹 효과를 모형에 포함하는 것이다.

고정효과(Fixed Effects, FE): 그룹의 고정된 차이를 모두 통제
랜덤효과(Random Effects, RE): 그룹 차이를 분포로 보고 일부만 통제

직관 — 키와 점프력

세 명의 선수 A, B, C가 각자 여러 번 점프력을 측정했다고 하자.

일반 회귀는 모든 점을 한꺼번에 놓고 “키가 1cm 클수록 점프 +0.5cm” 같은 결과를 낸다. 문제는 A·B·C의 개인차가 키 차이와 섞여 계수가 왜곡된다는 점이다.

고정효과 회귀는 A·B·C 각자의 평균을 빼고 분석한다. 그 결과는 “같은 사람 안에서 키가 1cm 클수록 점프가 얼마나 변하는가”이며, 개인차가 완전히 제거된다.

랜덤효과 회귀는 A·B·C가 어떤 분포에서 뽑힌 사람들이라고 가정한다. 개인차를 분포로 처리하고 “전체적으로 키가 1cm 클수록 점프가 얼마나 변하는가”를 본다.

모델	한 줄
일반 회귀	모든 관측을 평평하게 본다
고정효과	각 그룹의 평균 차이를 상수로 박아넣는다
랜덤효과	각 그룹의 평균 차이를 분포에서 뽑힌 값으로 본다

수식으로 보면

기호는 $i$ 를 그룹(예: 선수), $j$ 를 그룹 내 관측(예: $j$ 번째 시즌)으로 쓴다.

일반 회귀

$Y_{ij} = \beta_0 + \beta_1 X_{ij} + \varepsilon_{ij}$

고정효과 (Fixed Effects)

$Y_{ij} = \beta_0 + \beta_1 X_{ij} + \alpha_i + \varepsilon_{ij}$

여기서 $\alpha_i$ 는 선수 $i$ 의 고유 절편으로, 선수마다 다른 상수다. 선수가 $N$ 명이면 $N$ 개의 절편이 모형에 들어간다. 더미변수로 처리하거나 그룹 평균을 빼는 within transformation으로 처리한다. 핵심은 $\alpha_i$ 가 추정해야 할 모수라는 점이며, 그룹 수만큼 자유도를 소모한다.

랜덤효과 (Random Effects)

$Y_{ij} = \beta_0 + \beta_1 X_{ij} + u_i + \varepsilon_{ij}, \qquad u_i \sim N(0,\ \sigma^2_u)$

$u_i$ 는 선수 $i$ 의 고유 효과지만, “선수 차이는 평균 0의 정규분포를 따른다”고 가정한다. $N$ 개를 직접 추정하지 않고 분산 $\sigma^2_u$ 하나만 추정한다. 즉 $u_i$ 는 확률변수이므로 자유도를 적게 소모하고, 그룹이 많을 때 효율적이다.

혼합효과 (Mixed Effects)

랜덤절편 $u_i$ 만 있는 위 모형이 가장 흔한 형태로 랜덤절편 모형이라 부른다. 기울기까지 랜덤으로 두면 랜덤기울기 모형이 된다. 이는 다층 모형(Multilevel Model), 위계적 선형 모형(HLM)과 같은 의미다.

고정 vs 랜덤 — 언제 무엇을 쓸까

가장 중요한 질문은 하나다.

내가 모은 이 그룹들 자체가 관심사인가? 아니면 이 그룹들을 통해 더 넓은 모집단을 추론하고 싶은가?

답	모형	이유
이 그룹들 자체가 관심사다	고정효과	그룹 하나하나를 그대로 통제하면 됨
이 그룹들은 더 큰 모집단에서 뽑은 표본이다	랜덤효과	그룹을 분포로 모형화해 모집단으로 일반화

기준 ① 그룹이 모집단인가, 표본인가

K리그1 12개 팀 전체를 분석한다면, 이 12개 팀은 모집단 그 자체다. 더 추가될 팀이 없고 “이 12개 팀에 한정된 결론”이 정확히 원하는 것이므로 고정효과가 맞다.

반면 한국 고등학교 100곳에서 학생 자료를 수집했다면, 이 100곳은 한국 전체 고등학교의 표본이다. “한국 고등학교 전반”에 대한 결론을 원하므로 랜덤효과가 맞다.

고정효과는 각 그룹의 더미변수를 박아 그 그룹들만의 차이를 직접 통제하므로 모집단 일반화가 불가능하다. 랜덤효과는 그룹 차이를 정규분포에서 뽑힌 값으로 모형화하므로, 같은 분포에서 새로 뽑힐 다른 그룹에도 적용된다.

기준 ② 그룹 효과가 X와 상관되어 있는가 (가장 결정적)

통계적으로 가장 중요한 기준이다.

“훈련시간이 시즌 골에 미치는 영향”을 본다고 하자. 원래 능력이 높은 선수는 훈련도 많이 하고 골도 많이 넣는다. 그러면 “선수 능력(그룹 효과)“과 “훈련시간( $X$ )“이 상관된다. 이때 랜덤효과를 쓰면 능력 차이가 훈련 효과로 잘못 흡수되어 $\beta$ 가 왜곡된다. 따라서 선수 능력을 완전히 통제하는 고정효과를 써야 한다.

랜덤효과의 핵심 가정은 다음과 같다.

$\mathrm{Cov}(X,\ u_i) = 0$

즉 $X$ 와 그룹 효과가 무관해야 한다. 이 가정이 깨지면 회귀계수에 편향(bias)이 생긴다. 고정효과는 이 가정 없이도 작동하므로 안전한 선택이다.

반대로 상관이 없다면 랜덤효과가 더 효율적이다. 예를 들어 “K리그 12팀의 평균기온이 경기당 득점에 미치는 영향”에서 팀별 기본 득점력은 다르지만 그것이 외부 환경 변수인 평균기온과는 무관하다. 이 경우 랜덤효과가 표준오차가 작아 검정력이 높다.

기준 ③ 그룹 수가 얼마나 되는가

그룹 수	권장
2~5개	고정효과 (랜덤효과는 분산 추정 불가능)
6~10개	고정효과 (랜덤효과 분산 추정 불안정)
10~30개	둘 다 가능, 이론적 정당성으로 결정
30개 이상	랜덤효과 효율적

랜덤효과는 그룹 차이의 분산 $\sigma^2_u$ 를 추정해야 하는데, 분산이라는 통계량 자체가 표본이 많아야 안정적이다. 그룹 수가 적으면 $\sigma^2_u$ 추정값이 들쭉날쭉해 신뢰할 수 없다. 반면 고정효과는 더미변수만 넣으면 되므로 그룹 수가 적어도 괜찮다. 다만 그룹 수가 아주 많으면 더미가 지나치게 많아져 모형이 무거워지므로 그때는 랜덤효과가 효율적이다.

기준 ④ 그룹 수준 변수가 분석 대상에 있는가

그룹 수준 변수란 같은 그룹 안에서는 변하지 않는 변수다. 팀 예산·감독 경력·홈구장 규모, 선수의 출생국가·신장, 학교 유형·위치 등이 그렇다.

이런 변수는 랜덤효과만 추정할 수 있다. 예를 들어 12팀 데이터에서 “팀 예산”의 효과를 보고 싶은데, 한 팀의 예산은 한 시즌 내내 동일하다. 고정효과 더미(팀 더미)와 팀 예산 변수는 완전 공선성이므로 고정효과 모형은 팀 예산 계수를 추정할 수 없다. 고정효과는 그룹 안에서의 변동만 보기 때문에 그룹 안에서 안 변하는 변수를 추정하지 못한다. 랜덤효과는 그룹 간 변동도 활용하므로 그룹 수준 변수도 추정 가능하다.

기준 ⑤ 추론하고 싶은 대상이 무엇인가

추론 대상	모형
이 12개 팀에 한해서 점유율이 승점에 미치는 영향	고정효과
K리그 전반에서 점유율이 승점에 미치는 영향	랜덤효과
손흥민이라는 선수 안에서 훈련량이 골에 미치는 영향	고정효과
프로 축구선수 일반에서 훈련량이 골에 미치는 영향	랜덤효과

Hausman 검정

판단이 애매할 때는 Hausman 검정으로 객관적으로 결정할 수 있다.

$H_0:\ \text{그룹 효과와 } X \text{가 무관하다 (랜덤효과 가정 성립)}$ $H_1:\ \text{그룹 효과와 } X \text{가 상관 있다 (랜덤효과 가정 위반)}$

$p < .05$ → $H_0$ 기각 → 고정효과 채택
$p \geq .05$ → $H_0$ 채택 → 랜덤효과 채택 (더 효율적)

원리는 두 모형(FE, RE)의 회귀계수를 비교하는 것이다. 가정이 맞다면 두 계수가 비슷해야 한다(둘 다 일치추정량). 가정이 깨지면 RE는 편향되고 FE는 여전히 일치하므로 두 계수가 크게 차이난다. 그 차이의 크기를 검정한다.

급내상관(ICC)

데이터가 묶여 있는지 의심되면 급내상관(Intra-class Correlation, ICC)부터 계산한다. 혼합모형에서 ICC는 전체 분산 중 그룹 간 분산이 차지하는 비율이다.

$\mathrm{ICC} = \frac{\sigma^2_u}{\sigma^2_u + \sigma^2_\varepsilon}$

$\mathrm{ICC} < 0.05$ → 그룹 효과가 미미함, 일반 회귀로 충분
$\mathrm{ICC} \geq 0.05$ (특히 0.1 이상) → 다층·혼합모형 정당화

ICC가 클수록 같은 그룹 내 관측치들이 서로 비슷하다는 뜻이며, 그만큼 그룹 효과를 모형에 넣어야 할 근거가 강해진다.

분야별 관행과 안전한 기본값

분야	일반적 선택	이유
경제학 / 계량경제학	고정효과 선호	누락변수 편향 우려, 보수적 추정 선호
교육학 / 다층모형	랜덤효과 선호	학생·학교·지역 자체가 표본, 일반화 관심
임상 / 의학	랜덤효과(혼합모형) 선호	환자별 반복측정, 환자 모집단으로 일반화
스포츠 분석	상황에 따라 다름	선수 패널 → 고정효과 / 다팀 비교 → 랜덤효과

고민될 때의 기본값은 고정효과다. 랜덤효과 가정이 맞을 때 고정효과는 효율은 떨어져도 여전히 일치추정량이다. 반면 랜덤효과 가정이 틀리면 랜덤효과는 편향되어 잘못된 결론을 낸다. 즉 고정효과는 최악의 경우에도 무난하지만 랜덤효과는 최악의 경우 망한다. 단, 그룹 수준 변수를 분석해야 한다면 어쩔 수 없이 랜덤효과를 써야 한다.

스포츠 분석에서의 활용

연구 질문	적합한 모형
같은 선수 안에서 훈련량이 늘면 골 수가 늘어나는가?	고정효과 (개인차 완전 통제)
K리그 전체에서 점유율이 승점에 미치는 영향은? (팀이 그룹)	랜덤효과
한 선수가 시즌별로 반복 측정된 체력 점수의 변화	랜덤효과(랜덤절편)
여러 학교 학생들의 100m 기록 — 학교 효과 통제	랜덤효과(다층모형)

선수 50명을 5시즌 관측하면 250개의 관측치가 나온다. 여기서 “훈련시간이 시즌 득점에 영향을 미치는가”를 물으면, 고능력 선수는 원래 훈련도 많이 하고 골도 많이 넣으므로 일반 회귀는 “훈련 증가 → 골 증가” 효과를 과장한다. 고정효과는 선수 고유 절편을 통해 시즌 간 변동만 분석해 이 문제를 제거하고, 랜덤효과는 선수 능력차를 평균 0의 정규분포로 처리한다.

실습 자료

혼합모형 실습 데이터 (xlsx)