4강 - 단순선형회귀분석 (Simple Linear Regression)

단순선형회귀분석이란?

하나의 독립변인( $X$ )이 하나의 종속변인( $Y$ )에 미치는 영향을 분석하는 방법이다. 두 변인 간의 선형 관계(직선)를 수학적으로 모형화하며, “ $X$ 가 변하면 $Y$ 가 얼마나 변하는가?”에 대한 답을 준다.

언제 쓰는가는 ANOVA와 비교하면 분명해진다.

구분	ANOVA	회귀분석
독립변인 유형	범주형 (집단 구분)	연속형 (숫자)
분석 목적	집단 간 평균 차이 검정	변인 간 관계와 예측
질문 형태	”포지션에 따라 속도가 다른가?"	"훈련 시간이 늘면 속도가 빨라지는가?”
결과	$F$ 값, 평균 비교	회귀 방정식, 기울기, 예측값

독립변인이 연속형이고, 관계와 예측에 관심이 있을 때 회귀분석을 쓴다.

핵심 개념

용어	설명
독립변인 ( $X$ )	예측 변인, 설명 변인 — 원인 또는 예측에 사용
종속변인 ( $Y$ )	결과 변인, 반응 변인 — 예측하고자 하는 대상
회귀선	$X$ 와 $Y$ 의 관계를 가장 잘 나타내는 직선
잔차 (Residual)	실제값 - 예측값 $= Y - \hat{y}$
최소제곱법 (OLS)	잔차의 제곱합을 최소화하여 회귀선을 구하는 방법

회귀 모형

회귀 방정식

$\hat{y} = b_0 + b_1 X$

$\hat{y}$ : $Y$ 의 예측값 (predicted value)
$b_0$ : 절편 (intercept) — $X = 0$ 일 때 $Y$ 의 예측값
$b_1$ : 기울기 (slope) — $X$ 가 1단위 증가할 때 $Y$ 의 변화량

모집단 회귀 모형 vs 표본 회귀 모형

$\text{모집단 모형:} \quad Y = \beta_0 + \beta_1 X + \varepsilon$

$\text{표본 모형:} \quad \hat{y} = b_0 + b_1 X$

$\beta_0, \beta_1$ : 모집단 모수 (알 수 없음)
$b_0, b_1$ : 표본에서 추정한 값 (회귀계수)
$\varepsilon$ : 오차항 — 모형으로 설명되지 않는 변동

모집단 모형에는 오차항 $\varepsilon$ 이 포함되지만, 표본 모형은 추정치이므로 오차항 없이 예측값만 산출한다.

기울기( $b_1$ )의 의미

$b_1 > 0$ : 양의 관계 → $X$ 증가 시 $Y$ 증가
$b_1 < 0$ : 음의 관계 → $X$ 증가 시 $Y$ 감소
$b_1 = 0$ : 관계 없음 → $X$ 가 $Y$ 에 영향을 주지 않음

예를 들어 주당 훈련 시간( $X$ )이 최대 스프린트 속도( $Y$ , km/h)에 미치는 영향이 $\hat{y} = 28.0 + 0.5X$ 로 추정되었다면, $b_0 = 28.0$ 은 훈련을 전혀 하지 않을 때 예측 속도가 28.0 km/h임을, $b_1 = 0.5$ 는 훈련 1시간 증가 시 속도가 0.5 km/h 증가함을 뜻한다. $X = 10$ 시간이면 $\hat{y} = 28.0 + 0.5 \times 10 = 33.0$ km/h이다.

최소제곱법 (OLS)

원리

가능한 무한히 많은 직선 중에서 잔차의 제곱합(SSE)을 최소화하는 직선을 선택한다.

$e_i = Y_i - \hat{y}_i \quad (\text{실제값} - \text{예측값})$

$\text{SSE} = \sum e_i^2 = \sum (Y_i - \hat{y}_i)^2$

왜 제곱합을 최소화하는가:

잔차를 그냥 합하면 양수와 음수가 상쇄되어 0이 된다.
절대값 $|e_i|$ 을 쓸 수도 있지만, 제곱이 미분에 유리하고 수학적으로 깔끔하다.
제곱은 큰 오차에 더 큰 벌점을 부여해 극단적 오차를 억제한다.

회귀계수 추정 공식

$b_1 = \frac{\sum (X_i - \bar{X})(Y_i - \bar{Y})}{\sum (X_i - \bar{X})^2} = \frac{SP_{XY}}{SS_X}$

$b_0 = \bar{Y} - b_1 \bar{X}$

기호	의미
$SP_{XY}$	$X$ 와 $Y$ 의 교차곱합 — 공분산의 분자
$SS_X$	$X$ 의 제곱합 — $X$ 변동의 크기
$\bar{X}, \bar{Y}$	$X$ 와 $Y$ 의 표본 평균

수식 해석:

분자 $SP_{XY}$ 는 $X$ 와 $Y$ 가 함께 변하는 정도(공변량)다. $X$ 가 평균보다 클 때 $Y$ 도 크면 양수(양의 관계), $Y$ 가 작으면 음수(음의 관계)가 된다.
분모 $SS_X$ 는 $X$ 의 퍼짐 정도로, 이것으로 나누어 ” $X$ 1단위당 $Y$ 변화량”으로 표준화한다.
$b_0$ 는 회귀선이 반드시 $(\bar{X}, \bar{Y})$ 점을 지나도록 보장한다.

계산 예시

5명의 선수 데이터로 훈련시간( $X$ )과 속도( $Y$ )의 회귀식을 구해 본다.

선수	훈련시간 ( $X$ )	속도 ( $Y$ )
1	4	30
2	6	31
3	8	33
4	10	34
5	12	35

평균: $\bar{X} = 8$ , $\bar{Y} = 32.6$

$SP_{XY} = \sum (X_i - \bar{X})(Y_i - \bar{Y}) = 10.4 + 3.2 + 0 + 2.8 + 9.6 = 26.0$

$SS_X = \sum (X_i - \bar{X})^2 = 16 + 4 + 0 + 4 + 16 = 40.0$

$b_1 = \frac{SP_{XY}}{SS_X} = \frac{26.0}{40.0} = 0.65$

$b_0 = \bar{Y} - b_1 \bar{X} = 32.6 - 0.65 \times 8 = 27.4$

회귀 방정식은 $\hat{y} = 27.4 + 0.65X$ 이며, 훈련 시간이 1시간 증가할 때 스프린트 속도가 0.65 km/h 증가한다는 뜻이다.

변동의 분해

회귀분석에서도 ANOVA와 동일한 논리로 전체 변동을 분해한다.

$\text{SST} = \text{SSR} + \text{SSE}$

$\text{전체 변동} = \text{회귀 변동} + \text{잔차 변동}$

변동	수식	의미
SST	$\sum (Y_i - \bar{Y})^2$	$Y$ 의 전체 흩어짐
SSR	$\sum (\hat{y}_i - \bar{Y})^2$	회귀 모형( $X$ )으로 설명된 변동
SSE	$\sum (Y_i - \hat{y}_i)^2$	회귀 모형으로 설명되지 않은 변동 (잔차)

직관적으로, SSR은 회귀선 위의 예측값 $\hat{y}$ 이 전체 평균 $\bar{Y}$ 에서 떨어진 정도로 “ $X$ 로 설명되는 $Y$ 의 변동”이다. SSR이 크면 $X$ 가 $Y$ 를 잘 설명한다. SSE는 실제값 $Y$ 와 예측값 $\hat{y}$ 의 차이로, 작을수록 모형이 데이터를 잘 적합한 것이다.

앞의 예시에서 계산하면 $\text{SSR} = 16.90$ , $\text{SSE} = 0.30$ , $\text{SST} = 17.20$ 이며, 이는 $\sum (Y_i - \bar{Y})^2 = 17.20$ 과 일치한다.

결정계수 (R²)

정의

$R^2 = \frac{\text{SSR}}{\text{SST}} = 1 - \frac{\text{SSE}}{\text{SST}}$

전체 변동(SST) 중에서 회귀 모형( $X$ )으로 설명되는 비율을 뜻한다. 예시에서 $R^2 = 16.90 / 17.20 = 0.983$ 이므로, 스프린트 속도 변동의 98.3%가 훈련 시간으로 설명되고 나머지 1.7%만 설명되지 않는 잔차다.

범위와 해석

$0 \le R^2 \le 1$

$R^2 = 0$ : $X$ 가 $Y$ 를 전혀 설명하지 못함 (회귀선이 무의미)
$R^2 = 1$ : $X$ 가 $Y$ 를 완벽하게 설명 (모든 점이 회귀선 위)

Cohen의 기준(사회과학)에 따른 해석:

$R^2$	해석
.02	작은 효과
.13	중간 효과
.26 이상	큰 효과

R²과 상관계수(r)의 관계

$R^2 = r^2$

여기서 $r$ 은 $X$ 와 $Y$ 의 피어슨 상관계수다. 예를 들어 $r = 0.80$ 이면 $R^2 = 0.64$ 로, $X$ 가 $Y$ 변동의 64%를 설명한다. 단순선형회귀에서는 $R = |r|$ 이며, 기울기의 부호는 $r$ 의 부호와 같다.

수정된 R² (Adjusted R²)

$\text{Adjusted } R^2 = 1 - \frac{(1 - R^2)(N - 1)}{N - k - 1}$

$N$ : 표본 크기
$k$ : 독립변인 수 (단순회귀에서는 $k = 1$ )

$R^2$ 는 독립변인을 추가하면 무조건 증가하는 성질이 있다. 수정된 $R^2$ 는 독립변인 수에 대한 벌점을 적용한 값으로, 단순회귀에서는 $R^2$ 와 거의 동일하지만 다중회귀에서 중요해진다.

회귀 모형의 유의성 검정

F검정 — 모형 전체의 유의성

“이 회귀 모형이 통계적으로 의미가 있는가?”(= 기울기가 0이 아닌가?)를 검정한다.

$H_0: \beta_1 = 0 \quad (\text{선형 관계 없음})$

$H_1: \beta_1 \neq 0 \quad (\text{선형 관계 있음})$

회귀분석용 ANOVA 요약표는 다음과 같다.

변동원	SS	df	MS	F
회귀 (Regression)	SSR	1	$\text{MSR} = \text{SSR}/1$	$\text{MSR}/\text{MSE}$
잔차 (Residual)	SSE	$N-2$	$\text{MSE} = \text{SSE}/(N-2)$
전체 (Total)	SST	$N-1$

예시에서 $\text{MSR} = 16.90$ , $\text{MSE} = 0.30 / (5-2) = 0.10$ 이므로 $F = 16.90 / 0.10 = 169.0$ 이다. $F(1, 3) = 169.0$ , $p < .001$ 로 유의하여, 훈련 시간은 스프린트 속도를 유의하게 예측한다. 단순회귀에서 F검정과 t검정은 $F = t^2$ 의 관계로 동일한 결론을 준다.

t검정 — 개별 회귀계수의 유의성

기울기 $b_1$ 이 0과 유의하게 다른지 검정한다.

$t = \frac{b_1}{SE(b_1)}, \qquad SE(b_1) = \sqrt{\frac{\text{MSE}}{SS_X}}, \qquad df = N - 2$

예시에서 $SE(b_1) = \sqrt{0.10 / 40.0} = 0.05$ , $t = 0.65 / 0.05 = 13.0$ 이다. $t(3) = 13.0$ , $p < .001$ 로 유의하며, $t^2 = 13.0^2 = 169.0 = F$ 로 F검정 결과와 일치한다.

절편( $b_0$ )의 검정

$t = \frac{b_0}{SE(b_0)}, \qquad SE(b_0) = \sqrt{\text{MSE}\left(\frac{1}{N} + \frac{\bar{X}^2}{SS_X}\right)}$

절편의 유의성은 “ $X = 0$ 일 때 $Y$ 의 예측값이 0과 다른가”를 검정한다. $X = 0$ 이 비현실적일 때가 많아 실질적 의미가 없는 경우가 많으므로, 보고는 하되 해석의 초점은 기울기에 둔다.

전제 조건 (LINE)

회귀분석의 기본 가정은 네 가지이며, 머리글자를 따 LINE으로 부른다.

가정	약자	의미	검정 방법
선형성	L (Linearity)	$X$ 와 $Y$ 의 관계가 직선	산점도, 잔차 플롯
독립성	I (Independence)	잔차가 서로 독립	Durbin-Watson 검정
정규성	N (Normality)	잔차가 정규분포	Shapiro-Wilk, Q-Q Plot
등분산성	E (Equal variance)	잔차의 분산이 일정	잔차 플롯, Breusch-Pagan

선형성 (Linearity)

$X$ 와 $Y$ 의 관계가 직선이어야 한다. 산점도에서 곡선 패턴이 보이면 변수 변환(로그, 제곱근 등) 또는 비선형 회귀를 고려한다.

독립성 (Independence)

잔차 간에 자기상관(autocorrelation)이 없어야 한다. 시계열 데이터에서 특히 중요하다. Durbin-Watson 검정에서 $d \approx 2$ 이면 독립, $d < 1.5$ 또는 $d > 2.5$ 이면 자기상관을 의심한다.

정규성 (Normality)

$Y$ 자체가 아니라 잔차 $e_i$ 가 정규분포를 따라야 한다. 표본이 충분히 크면( $N \ge 30$ ) 중심극한정리에 의해 강건하다. Shapiro-Wilk 검정에서 $p \ge 0.05$ 이면 정규성을 충족하며, Q-Q Plot에서 점들이 대각선 위에 놓이면 정규로 본다.

등분산성 (Homoscedasticity)

잔차의 분산이 $X$ 의 모든 값에서 일정해야 한다. 위반 시 이분산성(Heteroscedasticity)이라 하며, 잔차 플롯이 깔때기 모양으로 벌어지는 것이 전형적 신호다. 위반 시 로그 변환, 가중최소제곱법(WLS), 로버스트 표준오차(HC) 등을 사용한다.

신뢰구간과 예측구간

회귀계수의 신뢰구간

$b_1 \pm t_{\alpha/2,\, N-2} \times SE(b_1)$

예시에서 $b_1 = 0.65$ , $SE(b_1) = 0.05$ , $t_{0.025, 3} = 3.182$ 이므로 95% 신뢰구간은 $0.65 \pm 3.182 \times 0.05 = [0.491, 0.809]$ 이다. 즉 훈련 시간 1시간 증가 시 속도 증가량은 95% 확률로 0.49~0.81 km/h다. 신뢰구간에 0이 포함되지 않으면 기울기가 유의하고( $p < .05$ ), 0이 포함되면 유의하지 않다.

평균 반응의 신뢰구간 vs 개별 예측구간

특정 $X_0$ 에서의 예측은 두 종류로 나뉜다.

평균 반응의 신뢰구간 (Confidence Interval): “ $X_0$ 일 때 모집단 평균 $\hat{y}$ 는 어디쯤인가?” — 집단 수준의 예측으로 폭이 좁다.
개별 예측구간 (Prediction Interval): “ $X_0$ 인 새로운 개인의 $Y$ 는 어디쯤인가?” — 개인차(오차)를 추가로 반영해 폭이 넓다.

두 구간 모두 $\bar{X}$ 에서 가장 좁고, $\bar{X}$ 에서 멀어질수록 넓어진다.

표준화 회귀계수 (β, Beta)

비표준화 계수 $b_1$ 은 $X$ 가 원래 단위로 1 증가할 때 $Y$ 의 변화량으로, 단위에 의존한다(“훈련 1시간당 속도 0.65 km/h 증가”). 표준화 계수 $\beta$ 는 $X$ 가 표준편차 1만큼 증가할 때 $Y$ 가 표준편차 몇 만큼 변하는가를 나타내며, 단위에 무관해 서로 다른 독립변인의 상대적 효과를 비교할 수 있다.

$\beta = b_1 \times \frac{S_X}{S_Y}$

단순회귀에서는 $\beta = r$ (피어슨 상관계수와 동일)이고, 다중회귀에서는 여러 독립변인의 상대적 영향력을 비교할 때 사용한다.

상관분석과의 관계

구분	상관분석	회귀분석
목적	두 변인 간 관계의 강도와 방향	관계의 예측식과 설명력
결과	상관계수 $r$	회귀 방정식 $\hat{y} = b_0 + b_1 X$ , $R^2$
방향성	$X \leftrightarrow Y$ 대칭	$X \to Y$ 방향 있음
$r = 0.8$ 이면	”강한 양의 상관”	$R^2 = 0.64$ , “ $X$ 가 $Y$ 의 64% 설명”

단순회귀 → 다중회귀 확장

구분	단순 선형 회귀	다중 선형 회귀
모형	$\hat{y} = b_0 + b_1 X$	$\hat{y} = b_0 + b_1 X_1 + b_2 X_2 + \cdots$
독립변인	1개	2개 이상
$R^2$ 의 의미	$r^2$	여러 $X$ 가 함께 설명하는 비율
주요 추가 이슈	없음	다중공선성(Multicollinearity)
$\beta$ 의 역할	$r$ 과 동일	각 $X$ 의 상대적 영향력 비교

실습 자료

단순선형회귀분석 실습 — 학생용 (xlsx)