02. 신뢰도와 타당도 · 강지연 Archive

신뢰도·타당도의 기본 개념

정의

구분	정의	답하는 질문
신뢰도 (Reliability)	측정·코딩·추출 결과가 우연오차에 얼마나 덜 좌우되는가	”같은 절차를 반복했을 때 같은 결과가 나오는가?”
타당도 (Validity)	데이터·지표·모형이 의도한 구성개념과 의사결정 목적을 얼마나 적절히 반영하는가	”그 숫자가 정말 내가 주장하는 것을 측정하는가?”

신뢰도 ≠ 타당도

과녁에 비유하면 네 가지 조합이 나온다.

신뢰도 높음 + 타당도 높음: 일관되게 정확 → 좋은 측정
신뢰도 높음 + 타당도 낮음: 일관되지만 빗나감 → 체계적 오류(편향)
신뢰도 낮음 + 타당도 높음: 흩어졌지만 평균은 과녁 근처
신뢰도 낮음 + 타당도 낮음: 흩어지고 빗나감 → 최악의 측정

신뢰도는 타당도의 필요조건이지만 충분조건은 아니다. 높은 정확도(accuracy)를 보고해도 수집·라벨링·검증 설계가 약하면 의사결정에 쓸모없는 결과가 된다. 검증 순서는 신뢰도 확보 → 타당도 확보 → 실무 적용 가능성 평가다.

스포츠 경기분석에서 왜 중요한가

경기분석 연구는 신뢰도·타당도 보고 관행이 들쭉날쭉하다는 비판이 반복된다. 특히 코딩 연구는 변수별 보고가 불충분하면 후속 연구와의 비교·재현이 어려워진다. 심사위원이 가장 먼저 묻는 질문은 “이 데이터가 믿을 만한가?”이므로, 서론·방법에서부터 변수별 κ/ICC, 신뢰구간, 표본 설계 등 투명한 보고를 약속해야 설득력이 확보된다.

데이터 수집 경로별 오차 구조

경기분석은 데이터 생성 경로가 다양하고, 경로가 바뀌면 오차 구조가 완전히 바뀐다. 같은 ‘패스 성공률’이라도 어떻게 얻었는지에 따라 잠재 오차원이 다르다.

경로	예시	주된 오차원
직접 수집 (센서/트래킹)	GPS/GNSS, LPS, 광학 트래킹, 웨어러블	기기 오차(샘플링레이트, 드롭아웃), 동기화, 기기 간 편차
웹 크롤링 / API	KBL·EPL 공식 기록, LoL Riot API	사이트 업데이트·결측·집계 규칙 변경에 따른 데이터 버전 문제
수작업 코딩 (비디오)	영상 이벤트 라벨링, 전술 분류	라벨 정의, 훈련 상태, 관찰자 드리프트(observer drift)

웹/API 데이터의 ‘데이터 버전 문제’

웹 크롤링·API 데이터는 언뜻 “자동이라 신뢰할 만하다”고 생각하기 쉽지만, 실제로는 다음 문제가 흔히 발생한다.

지연 업데이트: 경기 종료 직후 수집한 값과 며칠 뒤 수집한 값이 다르고, 공식 기록 정정으로 수치가 바뀐다.
집계 규칙 변경: 같은 ‘패스 성공률’이지만 벤더마다 정의가 다르고, API 버전 업데이트로 필드 의미가 변한다.
결측/누락: 특정 경기·선수만 데이터가 빠지고, 소스별로 결측 패턴이 달라 비교가 불가능하다.

대응은 수집 시각·엔드포인트·쿼리 조건을 모두 기록하고, 무작위 표본에 대해 재수집(test-retest)하며, 가능하면 대체 출처(공식 기록 + 제3자 벤더)와 교차 검증하는 것이다.

신뢰도의 종류

유형	정의	경기분석 적용
검사자 내 신뢰도 (Intra-rater)	같은 분석자가 다른 시점에 같은 데이터를 분석했을 때 일치도	2주 후 동일 영상을 재코딩하여 일치도 확인
검사자 간 신뢰도 (Inter-rater)	서로 다른 분석자가 같은 데이터를 분석했을 때 일치도	2명 이상이 독립 코딩 → κ/ICC 산출
검사-재검사 신뢰도 (Test-retest)	같은 대상을 다른 시점에 재측정했을 때 일치도	GPS 장비로 동일 동작 2회 측정
기기 간 신뢰도 (Inter-unit)	여러 대의 같은 기기가 동일 대상을 측정할 때 일치도	선수 10명에게 각자 GPS 채우고 같은 동작 수행
내적 일관성 (Internal consistency)	한 도구 내 여러 문항·지표가 같은 개념을 측정하는지	설문 조사 (코치 역량 척도 등)

연구 유형에 따라 필수 신뢰도가 다르다. 공식 기록(API) 기반 예측 모형은 재수집 test-retest로 데이터 무결성을, 비디오 이벤트 코딩은 검사자 내·간과 장기 드리프트를, GPS/트래킹 기반 체력 분석은 기기 간 신뢰도와 동작별 CV를, 설문·면담 혼합 방법은 검사자 간과 내적 일관성을 확보해야 한다.

신뢰도 지표 — 원리와 해석

Cohen’s Kappa (κ) — 범주형 라벨

두 명의 코더가 범주형 라벨(성공/실패, 패스/슈팅/크로스 등)을 매길 때의 일치도를, 우연히 일치할 확률을 빼고 순수한 일치도만 계산한다.

단순 일치율(%)만으로는 부족하다. 예를 들어 두 코더가 100장면을 ‘득점기회/비득점기회’로 분류했을 때, 다음 혼동행렬을 보자.

	코더 B: 득점	코더 B: 비득점
코더 A: 득점	5	2
코더 A: 비득점	3	90

단순 일치율은 $(5 + 90) / 100 = 95\%$ 로 “좋다”고 결론내리기 쉽다. 그러나 전체의 93%가 ‘비득점’이라 우연히도 쉽게 일치할 뿐이고, 실제 ‘득점’ 판정의 일치는 5/10에 불과하다.

관찰된 일치율 $P_o$ 와 우연 기대 일치율 $P_e$ 로부터 κ를 계산한다.

$P_o = \frac{5 + 90}{100} = 0.95$

$P_e = \frac{(7 \times 8) + (93 \times 92)}{100^2} = \frac{56 + 8556}{10000} = 0.8612$

$\kappa = \frac{P_o - P_e}{1 - P_e} = \frac{0.95 - 0.8612}{1 - 0.8612} \approx 0.64$

해석 기준(Landis & Koch, 1977)은 다음과 같다.

κ 값	해석
< .00	일치하지 않음 (우연 이하)
.00 ~ .20	약간의 일치 (Slight)
.21 ~ .40	보통의 일치 (Fair)
.41 ~ .60	중간 일치 (Moderate)
.61 ~ .80	상당한 일치 (Substantial)
.81 ~ 1.00	거의 완벽한 일치 (Almost perfect) — 논문에서 요구

κ만 단독으로 보고하지 말고 관찰일치율(%)과 혼동행렬을 함께 제시해야 한다. 클래스 편중(prevalence)이 심하면 κ가 왜곡되어, 한 클래스가 90% 이상이면 κ가 낮게 나와도 실제 코딩이 나쁘지 않을 수 있다.

가중 Kappa (Weighted κ) — 순서형 라벨

라벨이 순서를 가질 때(전술 수준 1/2/3/4, 패스 난이도 하/중/상) 쓴다. 1과 2의 불일치는 1과 4의 불일치보다 덜 심각해야 하는데, 일반 κ는 “같음/다름”만 보지만 가중 κ는 얼마나 다른지를 반영한다.

종류	공식	특징
선형 가중 (Linear)	$\lvert i - j \rvert / (k-1)$	거리에 비례한 벌점
이차 가중 (Quadratic)	$(i - j)^2 / (k-1)^2$	큰 불일치에 더 큰 벌점

여기서 $k$ 는 범주 수, $i, j$ 는 두 코더의 범주 번호다. 순서형 데이터에는 이차 가중이 가장 널리 쓰인다.

Fleiss’ Kappa — 3명 이상 코더

Cohen’s κ는 2명에 한정되므로, 3명 이상이면 Fleiss’ κ를 사용한다. 해석 기준은 Cohen’s κ와 동일하다.

Krippendorff’s α — 가장 유연한 지표

코더 수 제한이 없고(2명 이상 누구나), 결측치를 허용하며(모든 코더가 모든 단위를 코딩할 필요 없음), 모든 측정 수준(명목·순서·등간·비율)을 지원한다. 대규모 비디오 코딩 연구에 적합하다.

$\alpha = 1 - \frac{D_o}{D_e}$

$D_o$ 는 관찰된 불일치, $D_e$ 는 우연히 발생할 것으로 기대되는 불일치다. $\alpha = 1$ 이면 완벽한 일치, $\alpha = 0$ 이면 우연 수준, $\alpha < 0$ 이면 우연보다 못하다.

α 값	해석
≥ .80	신뢰할 만함 (reliable)
.67 ~ .80	잠정적 결론 가능
< .67	신뢰할 수 없음

측정 수준(nominal/ordinal/interval/ratio)을 반드시 명시하고, 부트스트랩 기반 95% 신뢰구간을 함께 제시한다.

ICC (급내상관계수) — 연속형

연속형 측정치의 평가자 간·내 일치도를 측정한다(GPS로 측정한 스프린트 속도, 비디오에서 측정한 패스 길이 등). Pearson 상관(r)은 “두 변수가 비례하는가”만 보지만, ICC는 절대값이 얼마나 일치하는가까지 본다.

ICC는 세 가지 축을 결정해야 하며, “어떤 설계에서 어떤 ICC를 썼는지”가 논문 심사에서 자주 지적된다.

축 1 (평가자를 어떻게 볼 것인가): Model 1은 평가자가 무작위이며 대상마다 다르다. Model 2는 같은 평가자들이 모든 대상을 측정하되 평가자를 무작위 효과로, Model 3은 같은 평가자들을 고정 효과로 본다.
축 2 (어떤 형태의 값을 쓸 것인가): Single measurement는 한 평가자의 한 번 측정, Average measurement(k)는 k명의 평균값.
축 3 (무엇을 일치로 볼 것인가): Absolute agreement는 절대값이 같아야 하며 체계적 편향도 문제삼고, Consistency는 상대적 순위만 같으면 되어 편향을 허용한다.

유형	상황	특징
ICC(2,1), absolute agreement	같은 코더들이 모든 경기를 독립 코딩, 편향까지 일치 확인	수작업 비디오 코딩에서 가장 권장
ICC(3,1), consistency	고정된 코더들, 상대 순위 일관성만 필요	선수 순위 평가 등
ICC(2,k), average	여러 코더의 평균값을 최종 점수로 쓸 때	팀 단위 지표

해석 기준(Koo & Li, 2016)은 다음과 같다.

ICC 값	해석
< .50	불량 (Poor)
.50 ~ .75	보통 (Moderate)
.75 ~ .90	양호 (Good)
≥ .90	우수 (Excellent) — 논문에서 요구

보고할 때는 ICC 유형, 모델(one-way / two-way random / two-way mixed), 측정 형태(single / average), 정의(absolute agreement / consistency), 95% 신뢰구간, 사용 소프트웨어·버전을 밝힌다.

Bland-Altman Plot — 방법 비교

두 측정 방법의 일치도를 시각적으로 확인한다(새 GPS 장비 vs 금 표준 장비, 자동 검출 시스템 vs 수작업 코딩).

“상관이 높다 ≠ 일치한다”는 점이 핵심이다. 예를 들어 방법 A가 5, 10, 15, 20, 25이고 방법 B가 15, 20, 25, 30, 35라면(항상 +10 편향) Pearson $r = 1.0$ 으로 완벽한 상관이지만 실제 값은 전혀 다르다. Bland-Altman은 이 편향을 잡아낸다.

각 짝에 대해 평균 $(A+B)/2$ 를 x축, 차이 $A-B$ 를 y축에 두고, 전체에 대해 편향과 합의 한계를 계산한다.

$\text{bias} = \overline{(A - B)}$

$\text{LoA} = \text{bias} \pm 1.96 \times \text{SD}_{(A-B)}$

95%의 측정 쌍이 ±LoA 범위 안에 들어가면 실용적으로 일치한다고 본다. 확인할 것은 편향이 0에 가까운가(체계적 차이 없음), LoA가 좁은가(일치도 높음), 차이가 평균에 따라 추세를 보이는가(있으면 이분산성 → 변환 또는 회귀형 LoA 고려), 점이 LoA 밖에 있는 비율(5% 이내 권장)이다.

Cronbach’s α — 설문 내적 일관성

설문·척도의 내적 일관성을 평가한다(경기분석 자체보다 코치·선수 설문에 사용). 기준은 ≥ .70 양호, ≥ .80 좋음, ≥ .90 우수이며, .95 이상이면 문항 중복 가능성을 검토한다. 하위 요인별로 각각 보고해야 한다(전체 α만 보고하면 부족).

CV (변동계수)

측정 오차의 상대적 크기다.

$CV = \frac{\text{표준편차}}{\text{평균}} \times 100\%$

GPS/웨어러블 반복 측정 오차 보고에 자주 쓰이며, CV < 5%면 우수, CV < 10%면 수용 가능이다.

타당도 — 네 가지 관점

학위논문 서론에서 “연구 결론이 믿을 만한가?”를 구조화할 때 네 가지 타당도로 나눠 설득하면 효과적이다.

내적 타당도 (Internal Validity)

“관측된 관계가 교란 없이 설명되는가?”를 묻는다. 경기분석에서는 팀 전력·상대 수준·홈/원정·전술 변화가 교란변수로 작동한다. 예를 들어 “패스 성공률이 높을수록 승률이 높다”는 결과는, 실제로는 강팀이 패스도 잘하고 이기기도 하는 것일 수 있다.

통제는 설계 기반(대조군, 전후 비교, 동일 팀/선수 고정효과), 분석 기반(교란변수 포함 회귀, 매칭, 층화, 민감도 분석), 그리고 데이터 누설 방지로 이뤄진다.

데이터 누설(Data Leakage)은 가장 흔한 치명적 결함이다.

나쁜 예: 경기 승패 예측 모형에 ‘최종 득점’을 변수로 사용 → 사후 정보이므로 실시간 예측 불가.
나쁜 예: ‘경기 종료 후 집계한 패스 성공률’로 ‘경기 승패’ 예측 → 90분 내내의 집계라 경기 결과에 이미 영향받음.
좋은 예: ‘전반 종료 시점까지의 패스 성공률’로 ‘후반 득점’ 예측 → 예측 시점에 관측 가능한 정보만 사용.

외적 타당도 (External Validity)

“다른 시즌·리그·수준에도 일반화되는가?”를 묻는다. 특정 시즌·리그 종속성(한 시즌 모형이 다음 시즌에 안 맞음), e스포츠의 패치(버전) 변경으로 인한 메타·KPI 의미 변화, 리그 수준 차이(1부 결과가 2부에서 재현 안 됨)가 전형적 위험이다.

전략	설명
시간 분할(temporal holdout)	2020~22 시즌으로 학습 → 2023 시즌으로 검증
교차 시즌 검증	여러 시즌에 걸쳐 k-fold
교차 리그 검증	K리그1 학습 → K리그2 검증
외부 데이터셋 검증	다른 연구자가 공개한 데이터로 재검증

표본이 작을수록 교차검증 성능의 오차막대가 과소추정될 수 있으므로, 단순 정확도만 보고하지 말고 95% 신뢰구간 또는 부트스트랩 분포를 함께 제시한다.

구성 타당도 (Construct Validity)

“새 지표·구성개념이 실제로 그 개념을 측정하는가?”를 묻는다. 임의로 만든 ‘전술지수’, ‘모멘텀지수’, ‘압박지수’가 의미 없는 합성 지표일 수 있고, 이름만 그럴듯하고 실제로는 아무것도 측정하지 못하는 경우가 있다.

유형	정의	확인 방법
내용 타당도 (Content)	지표가 구성개념의 내용을 충분히 대표하는가	전문가 패널 검토 (CVR, I-CVI)
구조 타당도 (Structural)	지표의 요인 구조가 이론과 일치하는가	탐색적·확인적 요인분석 (EFA, CFA)
수렴·판별 타당도	관련 개념과는 높은 상관, 무관한 개념과는 낮은 상관	가설 기반 상관 분석

예를 들어 전술지표 A가 “공격 효율”을 측정한다고 주장한다면, xG·득점기회와 양(+) 상관이 나와야 하고(수렴, 실제 $r=0.65$ ), 수비 전환 지표와는 낮은 상관이어야 한다(판별, 실제 $r=0.12$ ). 네트워크 기반 ‘팀 연결성’ 지표라면 네트워크 지표들(중심성, 밀도, 클러스터링)이 하나의 요인으로 묶이는지 요인분석으로 확인하고(구조), 전문가가 분류한 ‘팀 스타일’과 일치하는지 본다(수렴).

내용 타당도는 CVR과 I-CVI로 정량화한다.

$CVR = \frac{N_e - N/2}{N/2}$

$N_e$ 는 “적합”이라고 응답한 전문가 수, $N$ 은 전체 전문가 수다. 전문가 10명 중 8명이 “적합”이면 $CVR = (8-5)/5 = 0.60$ 이다.

전문가 수별 CVR 최소 기준(Lawshe, 1975)은 다음과 같다.

전문가 수	CVR 최소
5명	.99
7명	.99
10명	.62
15명	.49
20명	.42

$\text{I-CVI} = \frac{\text{"관련 있음"으로 평가한 전문가 수}}{\text{전체 전문가 수}}$

기준은 ≥ .78(전문가 6명 이상일 때)이다.

구조 타당도는 요인분석으로 확인한다. 요인 구조를 모를 때는 탐색적 요인분석(EFA)을 쓴다.

확인 항목	기준
KMO (표본 적절성)	≥ .60, ≥ .80 양호
Bartlett 구형성 검정	$p < .05$
요인 적재량	≥ .40
교차 적재량	< .30
누적 설명 분산	≥ 60%

가설된 구조를 검증할 때는 확인적 요인분석(CFA)을 쓴다.

적합도 지표	기준
$\chi^2/df$	≤ 3.0
CFI	≥ .90
TLI	≥ .90
RMSEA	≤ .08
SRMR	≤ .08

CFA 기반 수렴·판별 타당도 기준은 다음과 같다.

구분	지표	기준
수렴	AVE (평균분산추출)	≥ .50
수렴	CR (합성신뢰도)	≥ .70
판별	$\sqrt{AVE}$ > 요인 간 상관	각 요인의 $\sqrt{AVE}$ 가 다른 요인과의 상관보다 커야 함

결정 타당도 (Decision Validity)

“예측·분류·지표가 실제 의사결정에 유용한가?”를 묻는다. 정확도는 높지만 확률이 잘못 보정(uncalibrated)되면 의사결정에 해로울 수 있다. “정확도 85%“라도 예측 확률이 과신(overconfident)이면 임계값 결정에 쓸 수 없다.

결정 타당도는 세 단으로 구성된다.

1단 — 판별(Discrimination): “양성·음성을 얼마나 잘 구분하는가?” 지표는 ROC-AUC, PR-AUC.
2단 — 보정(Calibration): “예측 확률이 실제 빈도와 일치하는가?” 지표는 Calibration plot, ECE, Brier score.
3단 — 효용(Utility): “이 모형을 써서 의사결정이 실제로 개선되는가?” 지표는 Decision Curve Analysis(순편익).

지표	의미	언제 쓰나
ROC-AUC	무작위로 뽑은 양성이 무작위로 뽑은 음성보다 높은 점수를 받을 확률	클래스가 균형 있을 때
PR-AUC	정밀도-재현율 곡선 아래 면적	클래스 불균형일 때 (예: 희소 사건)

경기분석에서 PR-AUC가 중요한 경우는 부상 발생 예측(부상은 희소 사건), 언더독 승리 예측, 득점 순간 탐지(90분 중 몇 초에 불과) 등이다.

보정이 왜 중요한가. 모델이 “승리 확률 80%“라고 예측한 경기들을 모아봤더니 실제로는 50%만 승리했다면 과신이고 보정이 안 된 것이며, 실제로 80% 승리했다면 잘 보정된 것이다. Calibration plot(신뢰도 다이어그램)에서 점이 이상적 대각선에 가까울수록 잘 보정된 것이다.

ECE(Expected Calibration Error)는 예측 확률을 구간으로 나눈 뒤 각 구간에서 예측 평균과 실제 빈도 차이의 가중 평균을 구한다.

$ECE = \sum_k \frac{n_k}{N} \times \lvert \text{acc}_k - \text{conf}_k \rvert$

$ECE = 0$ 이면 완벽히 보정되었고, $ECE > 0.1$ 이면 심각한 과신/과소신이다.

Brier score는 정확도와 보정을 동시에 평가하는 전체 성능 지표로, 0에 가까울수록 좋다.

$\text{Brier} = \overline{(\text{예측 확률} - \text{실제 결과})^2}$

효용은 의사결정곡선 분석(Decision Curve Analysis, DCA)으로 본다. 정확도·AUC는 결과적 효용을 직접 다루지 않으므로, DCA는 다양한 임계값에서의 순편익(Net Benefit)을 계산한다.

$\text{Net Benefit} = \frac{TP}{N} - \frac{FP}{N} \times \frac{p_t}{1 - p_t}$

여기서 $p_t$ 는 임계값이다. 여러 임계값에서 계산해 곡선으로 그리고, “모두 치료”·“아무도 치료 안 함” 전략과 비교한다. 경기분석에서는 이를 “모두 선발”·“아무도 선발 안 함” 등으로 대체한다.

상용 데이터 vs 자체 코딩

항목	상용 데이터 (Opta, InStat, Wyscout 등)	자체 코딩
장점	이미 검증됨, 대규모, 일관된 기준	변수를 목적에 맞게 정의 가능
단점	비용, 변수 선택 제한, 정의 수정 불가	신뢰도·타당도를 직접 검증 필수
검사자 내 신뢰도	선행연구 인용으로 대체 가능	직접 산출 필수
검사자 간 신뢰도	선행연구 인용으로 대체 가능	직접 산출 필수
내용 타당도	변수 정의가 선행연구와 일치하면 인용 가능	전문가 패널 검증 필수
데이터 버전 문제	정정·재집계 이력 확인 필요	해당 없음

상용 데이터도 벤더마다 정의가 다르므로(‘어시스트’, ‘키패스’ 등) 안심할 수 없다. 본 연구에서 사용하는 버전·수집 시점을 명시하고, 가능하면 두 개 이상의 출처와 교차 검증한다.