빌드 날짜: 2026-08-29

이 문서를 읽는 방법

이 문서는 확률과 통계를 혼자 읽어 학사 과정 수준까지 도달하도록 정리한 자습서다. 확률에서 출발해 분포, 표본, 추정, 검정, 회귀까지 한 줄로 이어진다.

통계학의 목표는 한 문장으로 적을 수 있다. 일부를 보고 전체에 대해 말하되, 그 말이 얼마나 틀릴 수 있는지도 함께 말하는 것. 앞의 절반은 계산이고 뒤의 절반은 해석이다. 그리고 실전에서 무너지는 곳은 거의 항상 뒤쪽이다.

그래서 이 문서는 계산과 함께 흔한 오해를 정면으로 다룬다. 밀도는 확률이 아니라는 것, 상관은 인과가 아니라는 것, 신뢰구간을 "참값이 이 안에 있을 확률"로 읽으면 안 되는 이유, $p$ 값이 무엇이 아닌지. 이 네 가지를 각각 한 절씩 그림과 함께 다뤘다.

무엇을 알고 있어야 하는가

이 사이트의 기초 수학 문서를 끝냈다면 준비가 됐다. 특히 그 문서의 마지막 두 장을 쓴다.

적분 — 연속확률변수의 확률은 넓이이므로 적분이 계산 도구다. 이상적분도 쓴다
미분 — 최대가능도추정과 최소제곱이 모두 "미분해서 0"이다
확률의 기초 — 순열·조합, 조건부확률, 베이즈 정리, 확률변수, 기댓값과 분산, 이항분포, 정규분포와 표준화
지수·로그와 $e$ , 시그마 기호, 집합 연산과 포함배제 원리

기초수학에 없어서 이 문서에서 새로 도입하는 도구가 넷 있다. 5장의 지수함수의 급수 전개, 5장의 적률생성함수, 6장의 이중적분, 8장의 감마함수다. 각각 그 자리에서 필요한 만큼만 설명하고 도구 전체를 가르치지는 않는다.

선형대수는 선수과목이 아니다. 12장의 회귀는 변수 두 개짜리를 미분으로 유도하므로 행렬이 필요하지 않다. 다중회귀로 넘어가는 자리에서 선형대수 문서로 연결해 둔다.

Mathematics for Computer Science 문서와는 확률을 나눠 맡고 있다. 그쪽은 유한하거나 셀 수 있는 확률공간에 머물러 조합적 논증과 무작위 알고리즘으로 가고, 이 문서는 연속 확률로 넘어가 분포와 통계적 추론으로 간다. 그래서 표본공간과 공리, 조건부확률과 베이즈, 독립, 기댓값의 선형성, 마르코프와 체비쇼프, 큰 수의 법칙은 두 문서에 모두 나오되 각도가 다르다.

그쪽을 먼저 읽었다면 이 문서의 3장과 5장 전반부는 훑고 지나가도 된다. 반대로 이 문서를 먼저 읽었다면 그쪽에서 새로 얻을 것은 유한 확률공간 위의 엄밀한 재구성과 몬티 홀·생일 원리·체르노프 한계·도박꾼의 파산·무작위 행보다. 다만 표기가 다르다. 그쪽은 $Pr [\cdot]$ , $Ex [\cdot]$ , $Var [\cdot]$ 를 쓰고 이 문서는 $P (\cdot)$ , $E [\cdot]$ , $V (\cdot)$ 를 쓴다. 뜻은 같다.

이 문서가 지키려는 약속

어떤 기호도 정의하기 전에 쓰지 않는다. 처음 나오는 자리에서 이름·뜻·읽는 법을 함께 밝힌다.
분포를 소개할 때마다 그래프를 그린다. 모수를 바꾸면 모양이 어떻게 변하는지 한 그림에 겹쳐 보인다. 통계는 분포의 모양을 보지 않으면 아무것도 남지 않는다.
예제 데이터는 직접 만든 작은 표다. 출처를 댈 수 없는 실제 연구 수치는 인용하지 않았다.
수치표는 문제 풀이에 필요한 값만 그 자리에서 준다. 표준정규표는 8장에 한 번만 두고 이후에는 그것을 가리킨다.
결론을 단정하지 않는다. 통계적 절차에는 가정이 붙고, 가정이 깨지면 결론도 깨진다. 각 방법마다 "언제 쓰면 안 되는가"를 함께 적었다.

권장 순서와 장별 난이도

아래 순서가 표준이다. 세 덩어리로 보면 된다. 3~6장이 확률의 언어, 7~9장이 분포와 표본, 10~12장이 추론이다.

장	주제	난이도	예상 시간	앞에 필요한 장
3	확률을 다시 세운다	★★	4시간	-
4	확률변수와 분포	★★	5시간	3
5	기댓값, 분산, 적률	★★★	6시간	4
6	결합분포와 독립	★★★	6시간	5
7	주요 이산분포	★★	5시간	5
8	주요 연속분포	★★★	6시간	5, 7
9	표본분포와 극한정리	★★★★	6시간	6, 8
10	추정	★★★	6시간	9
11	가설검정	★★★	7시간	10
12	회귀와 상관	★★★	6시간	6, 11

총 57시간 남짓이다. 하루 2시간이면 한 달 정도의 분량이다.

가장 걸리는 곳은 9장의 중심극한정리다. 이 문서 전체의 분기점이기도 하다. 그 앞까지는 "분포를 알 때 확률을 구하는" 이야기이고, 그 뒤부터는 "분포를 모를 때 표본으로 말하는" 이야기다. 9장에서 시간을 더 쓰는 편이 낫다.

이 문서의 표기 규약

확률변수는 대문자 $X, Y$ , 그 값은 소문자 $x, y$ 로 쓴다. 이 구별이 무너지면 뒤가 전부 흐려진다.
모수는 그리스 문자 $μ, σ, p, λ$ , 그 추정값은 $\bar{x}, s, \hat{p}$ 로 쓴다. 모수는 고정된 미지수이고 추정값은 표본마다 달라진다.
확률질량함수는 $p (x)$ , 확률밀도함수는 $f (x)$ , 누적분포함수는 $F (x)$ 다.
$X \sim N (μ, σ^{2})$ 는 " $X$ 가 그 분포를 따른다"고 읽는다. 정규분포의 두 번째 인수는 분산이다.
$Φ (z) = P (Z \leq z)$ 는 표준정규분포의 누적분포함수다.
로그는 밑을 생략하면 $\ln$ (자연로그)이다. 가능도함수에 쓰는 로그는 항상 자연로그다.

참고문서

교재와 강의

표준과 데이터

계산과 확인

확률을 다시 세운다

확률은 이미 한 번 배웠다. 기초수학 12장에서 표본공간과 사건을 정하고, 덧셈정리와 조건부확률을 쓰고, 베이즈 정리로 검사 결과를 뒤집어 보았다. 그러니 이 장은 그것을 되풀이하지 않는다.

대신 그때 직관에 맡기고 넘어간 자리를 메운다. 답할 질문은 넷이다. 확률이란 대체 무엇으로 정의되는가(세어서 나눌 수 없는 경우가 있다), 조건부확률은 왜 그 모양인가, 사건이 셋 이상일 때 독립은 무엇인가, 그리고 왜 사람들은 확률을 그렇게 자주 틀리는가.

앞에서 가져오는 것은 분명하다. 기초수학 4장의 집합 연산과 포함배제 원리가 이 장의 문법이고, 11장의 /posts/fundamental/elementary-mathematics.html > 정적분은 넓이로 확률을 재는 절에서 쓴다. 12장에서 배운 순열·조합·덧셈정리·베이즈 정리는 아는 것으로 놓고 계속 쓴다.

이 장을 마치면 확률이 '세는 요령의 모음'이 아니라 세 줄짜리 규칙에서 자라난 하나의 체계로 보일 것이다. 그리고 그 체계가 왜 필요한지도 보일 것이다.

표본공간과 사건을 집합으로 다시 적는다

용어를 정확히 다시 세워 두자. 시행(experiment)은 결과가 여럿이고 어느 것이 나올지 미리 알 수 없는 관찰이다. 표본공간 $S$ 는 일어날 수 있는 결과 전체의 집합이고, 그 원소 하나를 표본점이라 한다. 사건(event)은 $S$ 의 부분집합이다.

여기서 처음 짚어 둘 것이 있다. 표본공간은 문제가 주는 것이 아니라 우리가 정하는 것이다. 같은 상황도 무엇을 '한 번의 결과'로 볼지에 따라 표본공간이 달라지고, 잘못 정하면 셈이 틀어진다. 주사위 두 개를 던질 때 두 눈을 구별하지 않고 ${1, 1}, {1, 2}, \dots$ 로 세면 원소가 21개지만, 이들은 같은 정도로 일어나지 않는다. 구별해서 36개로 세야 셈이 맞는다.

사건에 대한 말은 전부 집합 연산이다. 아래 넷만 익히면 문장을 식으로 옮길 수 있다.

<‘적어도 하나’는 합집합, ‘둘 다’는 교집합, ‘일어나지 않는다’는 여집합, ‘A 이지만 B 는 아니다’는 차집합이다. 겹치는 부분이 비면 배반이라 부르고, 그때에만 확률을 그냥 더할 수 있다>[원본 보기]

여기에 드모르간 법칙이 그대로 따라온다. 기초수학 4장에서 집합으로 증명한 것을 사건의 말로 읽으면 이렇다.

$(A \cup B)^{c} = A^{c} \cap B^{c}, (A \cap B)^{c} = A^{c} \cup B^{c}$

왼쪽 식을 말로 옮기면 '둘 중 적어도 하나가 일어나지 않는다'는 '둘 다 일어나지 않는다'와 같다이다. 오른쪽은 '둘 다 일어나지는 않는다'는 '적어도 하나는 안 일어난다'와 같다이다. 이 뒤집기는 '적어도 하나' 문제를 여사건으로 바꿀 때마다 쓴다.

표본공간의 크기에는 세 종류가 있고, 이 구분이 다음 절에서 중요해진다.

유한 — 주사위, 동전, 카드. 원소를 하나씩 셀 수 있고 개수가 끝난다.
가산무한 — 앞면이 처음 나올 때까지 던진 횟수 ${1, 2, 3, \dots}$ . 셀 수는 있지만 끝이 없다.
비가산 — 버스를 기다린 시간처럼 구간을 빈틈없이 채우는 경우. 셀 수 없다.

유한일 때는 '경우의 수를 세어 나눈다'가 통한다. 비가산일 때는 통하지 않는다. 나눌 개수 자체가 없기 때문이다. 이것이 확률을 다시 정의해야 하는 이유다.

예제 1

동전을 세 번 던진다. 표본공간을 적고, 사건 $A$ = '앞면이 두 번 이상', 사건 $B$ = '첫 번째가 앞면'을 집합으로 적어라. 그리고 $A \cap B$ 와 $(A \cup B)^{c}$ 를 구하라.

풀이 보기

먼저 무엇을 한 번의 결과로 볼 것인가를 정한다. 순서를 구별한 세 글자의 나열로 잡으면 각 결과가 같은 정도로 일어난다. 앞면을 $H$ , 뒷면을 $T$ 로 적자.

$S = {HHH, HHT, HTH, HTT, THH, THT, TTH, TTT}$ , $| S | = 8$

사건은 조건을 만족하는 원소를 골라 모은 것이다.

$A = {HHH, HHT, HTH, THH}$ , $B = {HHH, HHT, HTH, HTT}$

$A \cap B$ 는 두 조건을 모두 만족하는 것이다. $A$ 의 원소 중 $H$ 로 시작하는 것을 고르면 된다.

$A \cap B = {HHH, HHT, HTH}$

$(A \cup B)^{c}$ 는 드모르간으로 $A^{c} \cap B^{c}$ 다. 앞면이 한 번 이하이면서 첫 글자가 $T$ 인 것을 고른다.

$A \cup B = {HHH, HHT, HTH, HTT, THH}$ 이므로 $(A \cup B)^{c} = {THT, TTH, TTT}$

검산은 개수로 한다. $| A \cup B | = 5$ 이고 $8 - 5 = 3$ 이므로 여집합의 원소가 3개인 것이 맞다. 그리고 직접 만든 여집합의 세 원소가 모두 '첫 글자가 T 이고 앞면이 한 번 이하'를 만족한다.

예제 2

부품 다섯 개를 검사한다. '적어도 하나가 불량'이라는 사건의 여사건을 말로 적고, 그것이 왜 계산에 편한지 설명하라.

풀이 보기

$A_{i}$ 를 ' $i$ 번째가 불량'이라 하면 '적어도 하나가 불량'은 $A_{1} \cup A_{2} \cup \dots \cup A_{5}$ 다. 드모르간을 쓰면

$(A_{1} \cup \dots \cup A_{5})^{c} = A_{1}^{c} \cap \dots \cap A_{5}^{c}$

말로 옮기면 '다섯 개가 모두 정상'이다.

왜 편한가. 왼쪽을 그대로 계산하려면 불량이 1개인 경우, 2개인 경우, … 를 모두 세고 겹침을 조정해야 한다. 오른쪽은 조건이 하나뿐이라 곧바로 계산된다. 각 부품이 독립이고 불량률이 $0.1$ 이라면 $P (모두 정상) = {0.9}^{5} \approx 0.590$ 이고, 따라서 답은 $1 - 0.590 = 0.410$ 이다.

규칙으로 기억해 두자. '적어도 하나'가 나오면 여사건을 먼저 떠올린다. 합집합은 겹침 때문에 어렵고 교집합은 곱으로 풀리기 때문이다.

콜모고로프 공리 — 세 줄에서 나머지가 나온다

기초수학에서 확률의 세 정의를 보았다. 고전적 정의는 '같은 정도로 일어난다'를 미리 알아야 하고, 상대도수 정의는 몇 번 반복해야 하는지 말해 주지 않는다. 그래서 20세기에 콜모고로프가 택한 길은 다른 것이었다. 확률이 무엇인지 말하는 대신, 확률이 지켜야 할 규칙을 적는다.

표본공간 $S$ 의 사건들에 실수를 대응시키는 함수 $P$ 가 다음 셋을 만족하면 확률이라 부른다.

비음성 — 모든 사건 $A$ 에 대해 $P (A) \geq 0$
정규화 — $P (S) = 1$
가산가법성 — 서로 배반인 사건 $A_{1}, A_{2}, \dots$ 에 대해 $P (⋃_{i = 1}^{\infty} A_{i}) = \sum_{i = 1}^{\infty} P (A_{i})$

셋째가 기초수학에서 본 것과 다르다. 거기서는 두 사건에 대해서만 적었는데 여기서는 무한히 많은 사건까지 허용한다. 왜 그렇게까지 하는가. 유한한 덧셈만으로는 '앞면이 언젠가는 나온다'처럼 무한히 많은 경우를 모아야 하는 사건을 다룰 수 없기 때문이다. 이 차이가 극한을 다루는 모든 정리의 바탕이 된다.

놀라운 것은 이 셋 말고는 아무것도 가정하지 않는다는 점이다. 나머지는 전부 여기서 끌어낸다.

<세 성질 모두 증명의 요령이 같다. 겹치지 않는 조각으로 쪼갠 뒤 셋째 공리를 쓴다. B 를 A 와 B−A 로 쪼개면 단조성이 한 줄로 나온다>[원본 보기]

유도되는 것을 차례로 적는다. 각각 한두 줄이면 증명된다.

성질	내용	어떻게 나오나
공사건	$P (\emptyset) = 0$	$S = S \cup \emptyset \cup \emptyset \cup \dots$ 에 셋째 공리를 쓴다
유한가법성	배반이면 $P (A_{1} \cup \dots \cup A_{n}) = \sum P (A_{i})$	나머지를 공사건으로 채우고 셋째 공리
여사건	$P (A^{c}) = 1 - P (A)$	$S = A \cup A^{c}$ 이고 둘은 배반
단조성	$A \subset B$ 이면 $P (A) \leq P (B)$	$B = A \cup (B - A)$ 로 쪼개고 첫째 공리
상한	모든 $A$ 에 대해 $P (A) \leq 1$	단조성에 $B = S$ 를 넣는다
덧셈정리	$P (A \cup B) = P (A) + P (B) - P (A \cap B)$	$A \cup B$ 를 배반인 세 조각으로 쪼갠다
부울 부등식	$P (⋃ A_{i}) \leq \sum P (A_{i})$	겹친 부분을 두 번 세므로 크거나 같다

마지막 줄은 이름이 낯설지 몰라도 자주 쓰인다. 여러 사건 중 적어도 하나가 일어날 확률의 상한을 각각의 확률만으로 잡아 주기 때문이다. 겹침을 몰라도 쓸 수 있다는 것이 강점이다.

예제 3

공리 세 개만 써서 덧셈정리 $P (A \cup B) = P (A) + P (B) - P (A \cap B)$ 를 증명하라.

증명

셋째 공리는 배반일 때만 쓸 수 있다. 그러니 $A \cup B$ 를 겹치지 않는 조각으로 쪼개는 것이 전부다.

$A \cup B = (A - B) \cup (A \cap B) \cup (B - A)$

세 조각은 서로 배반이므로

$P (A \cup B) = P (A - B) + P (A \cap B) + P (B - A)$

한편 $A = (A - B) \cup (A \cap B)$ 도 배반인 쪼갬이므로 $P (A - B) = P (A) - P (A \cap B)$ 다. 같은 식으로 $P (B - A) = P (B) - P (A \cap B)$ 다. 이 둘을 (1)에 넣으면

$P (A \cup B) = (P (A) - P (A \cap B)) + P (A \cap B) + (P (B) - P (A \cap B)) = P (A) + P (B) - P (A \cap B)$

■ 증명에서 쓴 것은 셋째 공리뿐이다. 벤 다이어그램은 이해를 돕는 그림일 뿐 증명이 아니라는 점을 확인해 두자. 그림이 하는 일은 어떻게 쪼갤지 알려 주는 것이다.

예제 4

세 사건에 대한 포함배제를 적어라. 그리고 어떤 학급에서 수학을 좋아하는 학생이 $0.5$ , 과학이 $0.4$ , 둘 다가 $0.25$ 일 때 적어도 하나를 좋아할 확률과 둘 다 싫어할 확률을 구하라.

풀이 보기

세 사건의 포함배제는 두 사건의 덧셈정리를 한 번 더 적용하면 나온다.

$P (A \cup B \cup C) = P (A) + P (B) + P (C) - P (A \cap B) - P (A \cap C) - P (B \cap C) + P (A \cap B \cap C)$

홀수 개씩 묶으면 더하고 짝수 개씩 묶으면 뺀다. 기초수학 4장의 포함배제 원리와 같은 모양이다.

문제는 두 사건이므로 덧셈정리를 그대로 쓴다.

$P (M \cup S) = 0.5 + 0.4 - 0.25 = 0.65$

둘 다 싫어하는 것은 $(M \cup S)^{c}$ 이므로 여사건이다.

$P ((M \cup S)^{c}) = 1 - 0.65 = 0.35$

답이 말이 되는지 본다. 확률이 모두 0과 1 사이이고, 겹침 $0.25$ 가 $min (0.5, 0.4) = 0.4$ 를 넘지 않는다. 만약 문제가 겹침을 $0.45$ 라고 주었다면 그런 상황은 있을 수 없다. 단조성에 따라 $P (M \cap S) \leq P (S) = 0.4$ 여야 하기 때문이다.

예제 5

어떤 기계에 부품 열 개가 들어 있고, 각 부품이 한 해 안에 고장 날 확률은 $0.02$ 다. 부품 사이의 관계는 알려져 있지 않다. 기계가 한 해 안에 고장 날(부품 중 적어도 하나가 고장 나는) 확률이 많아야 얼마인지 말하라.

풀이 보기

구하려는 것은 $P (A_{1} \cup \dots \cup A_{10})$ 인데, 부품 사이의 독립 여부도 겹침도 모른다. 모르면 정확한 값을 낼 수 없다. 그러나 상한은 낼 수 있다. 부울 부등식이 그것을 위한 도구다.

$P (⋃_{i = 1}^{10} A_{i}) \leq \sum_{i = 1}^{10} P (A_{i}) = 10 \times 0.02 = 0.2$

많아야 20%다. 실제 값은 이보다 작다. 만약 열 개가 독립이라면 $1 - {0.98}^{10} \approx 0.183$ 이다. 상한 $0.2$ 와 참값 $0.183$ 이 가깝다.

여기서 배울 것은 두 가지다. 첫째, 겹침을 모르면 상한만 말할 수 있다. 둘째, 각 확률이 작을 때 부울 부등식은 꽤 좋은 근사다. 겹칠 여지 자체가 작기 때문이다. 반대로 각 확률이 크면 상한이 1을 넘어 버려 아무 말도 하지 않게 된다.

확률을 어떻게 배정하는가

공리는 확률이 지켜야 할 규칙을 정할 뿐 구체적인 값을 정해 주지는 않는다. 값은 우리가 상황을 보고 배정해야 한다. 배정 방법은 크게 셋이다.

셀 수 있으면 세어서 나눈다

표본공간이 유한하고 각 표본점이 같은 정도로 일어난다고 볼 근거가 있으면

$P (A) = \frac{| A |}{| S |}$

로 정한다. 이것이 공리 셋을 만족하는지 확인해 두자. 개수는 음이 아니므로 첫째가 성립하고, $| S | / | S | = 1$ 이므로 둘째가 성립하며, 배반인 두 사건의 원소는 겹치지 않으므로 개수가 더해져 셋째가 성립한다. 고전적 정의는 공리를 만족하는 배정 방법 중 하나인 셈이다.

이 방법의 한계도 분명하다. '같은 정도'라는 판단이 우리 몫이고, 표본공간이 무한하면 분모가 없다.

셀 수 없으면 재서 나눈다

결과가 구간이나 영역을 빈틈없이 채우면 개수 대신 길이·넓이·부피를 쓴다.

$P (A) = \frac{(A 의 크기)}{(S 의 크기)}$

이것을 기하학적 확률이라 한다. 여기서도 공리가 성립한다. 크기는 음이 아니고, 전체를 전체로 나누면 1이며, 겹치지 않는 두 영역의 넓이는 더해진다.

<두 사람의 도착 시각을 좌표 하나씩으로 삼으면 모든 경우가 정사각형이 되고 만나는 경우가 그 안의 띠가 된다. 넓이의 비 1575/3600 이 확률이다>[원본 보기]

다만 한 가지를 반드시 짚어야 한다. '임의로 고른다'가 무슨 뜻인지 먼저 정해야 넓이 비가 확률이 된다. 같은 문제도 '임의'를 다르게 정하면 답이 달라진다. 원 안에 그은 현이 반지름보다 길 확률을 묻는 유명한 문제(베르트랑의 역설)에서 답이 $1 / 2$ , $1 / 3$ , $1 / 4$ 로 갈리는 이유가 이것이다. 현을 '양 끝점을 고르는 것'으로 보느냐 '중점을 고르는 것'으로 보느냐에 따라 균등의 뜻이 달라진다.

세 번째 배정 방법은 직접 값을 주는 것이다. 일기예보의 강수확률처럼 세거나 잴 수 없는 경우, 전문가의 판단이나 과거 자료로 값을 정한다. 공리 셋만 지키면 그것도 어엿한 확률이다. 공리적 정의의 값어치가 여기에 있다. 어디서 온 값이든 규칙만 지키면 같은 계산 규칙을 쓸 수 있다.

예제 6

두 사람이 낮 12시부터 1시 사이 아무 때나 약속 장소에 도착하고, 먼저 온 사람은 15분만 기다린 뒤 떠난다. 두 사람이 만날 확률을 구하라.

풀이 보기

한 번의 결과는 두 사람의 도착 시각 한 쌍이다. 12시를 0분으로 놓고 각자의 도착 시각을 $x, y$ 라 하면 표본공간은

$S = {(x, y) : 0 \leq x \leq 60, 0 \leq y \leq 60}$

인 정사각형이고, 넓이는 $3600$ 이다. '아무 때나'를 넓이가 같으면 확률도 같다는 뜻으로 읽는다.

만나는 조건은 두 도착 시각의 차이가 15분 이하인 것이다.

$| x - y | \leq 15$

이 영역은 대각선을 낀 띠다. 띠의 넓이를 직접 구하는 것보다 여집합인 두 삼각형을 구하는 편이 쉽다. $y - x > 15$ 인 삼각형은 두 변이 $60 - 15 = 45$ 인 직각삼각형이므로 넓이가 $45^{2} / 2 = 1012.5$ 이고, 반대쪽도 같다.

$P (만난다) = \frac{3600 - 2 \times 1012.5}{3600} = \frac{1575}{3600} = 0.4375$

답이 말이 되는지 본다. 15분은 한 시간의 4분의 1인데 확률이 4분의 1보다 훨씬 크다. 자연스럽다. 앞뒤 어느 쪽으로 15분이든 만나므로 실제로 허용되는 폭은 30분에 가깝기 때문이다. 기다리는 시간을 30분으로 늘리면 같은 계산에서 $1 - 2 (30^{2} / 2) / 3600 = 0.75$ 가 된다.

흔한 오해

'확률은 경우의 수를 세어 나눈 것'이라고 배웠다. 그런데 $0$ 과 $1$ 사이에서 수 하나를 임의로 고를 때 그것이 $0.3$ 보다 작을 확률은 얼마인가. 경우의 수로 셀 수 있는가?

풀이 보기

셀 수 없다. $0$ 과 $1$ 사이의 실수는 셀 수 없이 많다. 기초수학 4장에서 본 대로 이 집합은 가산이 아니다. 그러니 분모에 넣을 '전체 개수'라는 것이 없다.

그렇다고 확률을 정할 수 없는 것은 아니다. 개수 대신 길이를 쓴다.

$P (X < 0.3) = \frac{0.3 - 0}{1 - 0} = 0.3$

이 배정이 공리 셋을 만족하므로 확률로 인정된다. 여기서 짚어야 할 것은 이것이다. 고전적 정의는 확률의 정의가 아니라 유한하고 균등한 경우에 쓰는 배정 방법이다. 정의는 공리이고, 세는 것은 그 공리를 만족시키는 한 가지 방법일 뿐이다.

덤으로 하나 더. 이 배정에서는 한 점의 길이가 0이므로 $P (X = 0.3) = 0$ 이다. 그런데 수를 하나 고르면 반드시 어떤 값이 나온다. 확률 0이 '불가능'을 뜻하지 않는다는 것을 기초수학 12장에서 보았는데, 그 사실이 공리에서 어떻게 나오는지가 이제 분명해졌다. 공리 어디에도 '확률 0이면 일어나지 않는다'는 말이 없다.

조건부확률은 표본공간을 줄이는 일이다

사건 $B$ 가 일어났음을 알았을 때의 $A$ 의 확률을 조건부확률이라 하고 $P (A ∣ B)$ 로 적는다는 것, 그리고 그 값이 다음과 같다는 것은 이미 안다.

$P (A ∣ B) = \frac{P (A \cap B)}{P (B)} (P (B) > 0)$

이 절에서 확인할 것은 왜 이것이 새 개념이 아닌가이다.

<분모가 36 에서 10 으로, 분자가 6 에서 2 로 줄었다. 새 규칙이 생긴 것이 아니라 세는 세계가 B 안으로 줄어들었을 뿐이다>[원본 보기]

그림이 말하는 것을 식으로 옮기면 이렇다. $B$ 를 알고 나면 $B$ 바깥의 결과는 더 이상 가능하지 않다. 남은 세계는 $B$ 뿐이다. 그런데 새 세계에서도 전체 확률이 1이어야 하므로 모든 확률을 $P (B)$ 로 나눠 다시 맞춘다. 그것이 분모의 정체다.

그러면 자연스러운 물음이 생긴다. 줄어든 세계에서도 확률의 공리가 성립하는가. 성립한다. 그리고 그것이 이 정의를 정당화한다.

예제 8

$P (B) > 0$ 일 때 $Q (A) = P (A ∣ B)$ 가 콜모고로프 공리 셋을 모두 만족함을 보여라.

증명

하나씩 확인한다.

비음성. $P (A \cap B) \geq 0$ 이고 $P (B) > 0$ 이므로 $Q (A) = P (A \cap B) / P (B) \geq 0$ 이다.

정규화. $Q (S) = P (S \cap B) / P (B) = P (B) / P (B) = 1$ 이다.

가산가법성. $A_{1}, A_{2}, \dots$ 가 서로 배반이면 $A_{1} \cap B, A_{2} \cap B, \dots$ 도 서로 배반이다. 그러므로

$Q (⋃_{i} A_{i}) = \frac{P ((⋃_{i} A_{i}) \cap B)}{P (B)} = \frac{P (⋃_{i} (A_{i} \cap B))}{P (B)} = \frac{\sum_{i} P (A_{i} \cap B)}{P (B)} = \sum_{i} Q (A_{i})$

■ 세 공리를 모두 만족하므로 $Q$ 는 확률이다.

이 결과의 쓸모는 크다. 확률에 대해 증명한 모든 정리를 조건부확률에도 그대로 쓸 수 있다. 예를 들어 $P (A^{c} ∣ B) = 1 - P (A ∣ B)$ 는 여사건 성질을 조건부확률에 적용한 것이고, 따로 증명할 필요가 없다.

반대로 조심할 것도 있다. 위 결과는 앞쪽 자리에 대한 것이다. 뒤쪽 자리를 바꾸는 $P (A ∣ B^{c}) = 1 - P (A ∣ B)$ 는 일반적으로 틀리다. 조건이 바뀌면 세계 자체가 바뀌므로 두 값 사이에는 아무 관계가 없다.

정의를 곱셈 꼴로 옮기면 곱셈정리가 되고, 그것을 여러 번 이으면 사슬 규칙이 된다.

$P (A_{1} \cap A_{2} \cap \dots \cap A_{n}) = P (A_{1}) P (A_{2} ∣ A_{1}) P (A_{3} ∣ A_{1} \cap A_{2}) \dots P (A_{n} ∣ A_{1} \cap \dots \cap A_{n - 1})$

말로 옮기면 '차례로 일어난다'를 '앞의 결과를 알고 난 뒤의 확률'을 곱해 나가는 것이다. 순서대로 뽑는 문제에서 이 형태가 그대로 쓰인다.

예제 9

상자에 흰 공 4개와 검은 공 6개가 있다. 다시 넣지 않고 세 번 뽑을 때 세 번 모두 흰 공일 확률을 사슬 규칙으로 구하라.

풀이 보기

뽑을 때마다 상자의 구성이 바뀌므로 매번 조건부확률이 달라진다. 사슬 규칙이 정확히 이런 상황을 위한 것이다.

$W_{i}$ 를 ' $i$ 번째가 흰 공'이라 하면

$P (W_{1} \cap W_{2} \cap W_{3}) = P (W_{1}) P (W_{2} ∣ W_{1}) P (W_{3} ∣ W_{1} \cap W_{2})$

첫 번째는 10개 중 흰 공 4개이므로 $4 / 10$ . 흰 공을 하나 뺐으니 두 번째는 9개 중 3개로 $3 / 9$ . 세 번째는 8개 중 2개로 $2 / 8$ .

$P = \frac{4}{10} \cdot \frac{3}{9} \cdot \frac{2}{8} = \frac{24}{720} = \frac{1}{30} \approx 0.0333$

조합으로도 확인할 수 있다. 흰 공 4개에서 3개를 고르는 방법이 $(\binom{4}{3}) = 4$ 가지, 전체 10개에서 3개를 고르는 방법이 $(\binom{10}{3}) = 120$ 가지이므로 $4 / 120 = 1 / 30$ 이다 ✓.

두 방법의 차이를 짚어 두자. 사슬 규칙은 순서를 따라가고 조합은 순서를 무시한다. 답이 같은 이유는 '세 번 모두 흰 공'이라는 사건이 순서에 상관없기 때문이다. '첫 번째만 흰 공' 같은 사건이라면 사슬 규칙 쪽이 자연스럽다.

전확률 정리와 베이즈 정리를 나무로 본다

표본공간을 배반이면서 빈틈없는 조각들로 나눈 것을 분할(partition)이라 한다. 즉 $B_{1}, \dots, B_{k}$ 가 서로 배반이고 $B_{1} \cup \dots \cup B_{k} = S$ 이며 각 $P (B_{i}) > 0$ 인 경우다.

어떤 사건 $A$ 든 분할의 조각별로 쪼갤 수 있다. $A = (A \cap B_{1}) \cup \dots \cup (A \cap B_{k})$ 이고 이들은 서로 배반이므로 셋째 공리와 곱셈정리로

$P (A) = \sum_{i = 1}^{k} P (B_{i}) P (A ∣ B_{i})$

이것이 전확률 정리다. 그리고 이 값을 분모에 넣어 조건을 뒤집으면 베이즈 정리가 된다.

$P (B_{j} ∣ A) = \frac{P (B_{j}) P (A ∣ B_{j})}{\sum_{i} P (B_{i}) P (A ∣ B_{i})}$

<가지를 따라 확률을 곱하면 끝값이 나오고, 조건에 맞는 끝값을 모두 더하면 전확률이다. 그중 한 가지가 차지하는 몫이 베이즈 정리의 답이다>[원본 보기]

나무 그림은 계산을 손에 잡히게 해 준다. 규칙은 둘뿐이다. 가지를 따라가며 곱하고, 끝을 모아 더한다. 베이즈 정리는 그 더한 값 중 한 가지가 차지하는 비율을 묻는 것이다.

두 가지 원인만 있을 때는 오즈(odds) 형태가 편하다. 오즈란 확률의 비 $P (B) / P (B^{c})$ 다. 베이즈 정리의 분자를 두 번 쓰고 나누면 분모가 지워져 이렇게 된다.

$\underset{사후 오즈}{\underset{⏟}{\frac{P (B ∣ A)}{P (B^{c} ∣ A)}}} = \underset{사전 오즈}{\underset{⏟}{\frac{P (B)}{P (B^{c})}}} \times \underset{우도비}{\underset{⏟}{\frac{P (A ∣ B)}{P (A ∣ B^{c})}}}$

곱셈 하나로 갱신이 끝나므로 증거가 여러 개일 때 특히 편하다. 증거마다 우도비를 곱해 나가면 된다.

예제 10

어떤 공장에서 부품의 30%를 기계 1이, 70%를 기계 2가 만든다. 불량률은 기계 1이 8%, 기계 2가 15%다. 임의로 고른 부품이 불량일 확률을 구하고, 불량이었다면 그것이 기계 1에서 나왔을 확률을 구하라.

풀이 보기

먼저 무엇을 아는지 정리한다. 주어진 것은 원인이 주어졌을 때 결과의 확률이다.

$P (B_{1}) = 0.30, P (B_{2}) = 0.70, P (D ∣ B_{1}) = 0.08, P (D ∣ B_{2}) = 0.15$

두 기계가 표본공간을 빈틈없이 나누므로 전확률 정리를 쓸 수 있다.

$P (D) = 0.30 \times 0.08 + 0.70 \times 0.15 = 0.024 + 0.105 = 0.129$

두 번째 물음은 방향이 반대다. 결과를 알고 원인을 묻고 있으므로 베이즈 정리다.

$P (B_{1} ∣ D) = \frac{0.024}{0.129} \approx 0.186$

답이 말이 되는지 본다. 기계 1이 만든 비율은 30%인데 불량 중 기계 1의 몫은 18.6%로 줄었다. 기계 1의 불량률이 더 낮으니 당연하다. 불량이라는 증거가 '기계 1'이라는 가설을 약화시킨 것이고, 그 약화의 크기가 베이즈 정리가 계산해 주는 값이다.

오즈로도 확인해 보자. 사전 오즈는 $0.30 / 0.70 = 3 / 7$ 이고 우도비는 $0.08 / 0.15 = 8 / 15$ 이므로 사후 오즈는 $(3 / 7) (8 / 15) = 24 / 105$ 다. 확률로 되돌리면 $24 / (24 + 105) = 24 / 129 \approx 0.186$ ✓.

예제 11

앞 예제의 부품을 두 번째 검사에 보냈더니 또 불량 판정이 나왔다. 두 검사가 (기계가 정해진 뒤에는) 서로 독립이라고 할 때, 이 부품이 기계 1에서 나왔을 확률을 오즈 형태로 갱신하라.

풀이 보기

오즈 형태의 값어치가 여기서 드러난다. 증거가 하나 더 들어오면 우도비를 한 번 더 곱하기만 하면 된다.

$\frac{P (B_{1} ∣ D_{1} \cap D_{2})}{P (B_{2} ∣ D_{1} \cap D_{2})} = \frac{3}{7} \times \frac{8}{15} \times \frac{8}{15} = \frac{3 \times 64}{7 \times 225} = \frac{192}{1575}$

확률로 되돌린다.

$P (B_{1} ∣ D_{1} \cap D_{2}) = \frac{192}{192 + 1575} = \frac{192}{1767} \approx 0.109$

한 번 불량일 때 $0.186$ 이었던 것이 두 번 불량이 되자 $0.109$ 로 더 떨어졌다. 같은 방향의 증거가 쌓이면 믿음이 그만큼 더 기운다.

여기서 '기계가 정해진 뒤에는 독립'이라는 조건이 결정적이다. 이것을 조건부독립이라 하고 다음 절에서 정확히 정의한다. 이 조건이 없으면 $P (D_{1} \cap D_{2} ∣ B_{1})$ 을 $P (D_{1} ∣ B_{1}) P (D_{2} ∣ B_{1})$ 로 쓸 수 없어 우도비를 그냥 곱할 수 없다.

독립 — 두 사건, 그리고 셋 이상

두 사건의 독립은 이미 안다. $P (A \cap B) = P (A) P (B)$ 이면 독립이라 하고, 이는 $P (A ∣ B) = P (A)$ 와 같은 말이다. 정의를 곱셈 꼴로 쓰는 이유는 대칭적이고 $P (B) = 0$ 일 때도 쓸 수 있기 때문이다.

독립이면 여사건과도 독립이다. $P (A \cap B^{c}) = P (A) - P (A \cap B) = P (A) - P (A) P (B) = P (A) (1 - P (B)) = P (A) P (B^{c})$ 이기 때문이다. 이 사실은 '적어도 하나' 계산에서 계속 쓴다.

문제는 사건이 셋일 때다. 짝마다 독립인 것으로는 부족하다.

<세 사건을 짝지어 보면 모두 곱셈이 성립하는데 셋을 한꺼번에 보면 성립하지 않는다. A 와 B 를 알면 C 가 완전히 정해지기 때문이다>[원본 보기]

그래서 세 사건 $A, B, C$ 의 독립은 다음 네 조건을 모두 요구한다.

$P (A \cap B) = P (A) P (B), P (A \cap C) = P (A) P (C), P (B \cap C) = P (B) P (C), P (A \cap B \cap C) = P (A) P (B) P (C)$

일반적으로 $n$ 개의 사건이 독립이라는 것은 그중 어떤 부분집합을 골라도 곱셈이 성립한다는 뜻이다. 조건의 개수는 $2^{n} - n - 1$ 개다. 짝만 성립하는 경우는 쌍마다 독립(pairwise independent)이라 하여 구별한다.

또 하나 구별해야 할 것이 조건부독립이다. 사건 $C$ 를 알고 난 세계에서 $A$ 와 $B$ 가 독립이면

$P (A \cap B ∣ C) = P (A ∣ C) P (B ∣ C)$

라 적고 ' $C$ 가 주어졌을 때 조건부독립'이라 한다. 독립과 조건부독립 사이에는 아무 함의 관계가 없다. 독립인데 조건부로는 종속일 수 있고, 종속인데 조건부로는 독립일 수 있다. 앞 예제의 두 검사 결과가 뒤쪽 경우다. 기계를 모르면 두 검사 결과는 서로 정보를 준다(첫 검사가 불량이면 나쁜 기계일 가능성이 커지고, 그러면 두 번째도 불량일 가능성이 커진다). 그러나 기계를 알고 나면 서로 무관해진다.

예제 12

동전 두 개를 던진다. $A$ = 첫째가 앞면, $B$ = 둘째가 앞면, $C$ = 두 동전의 면이 같다. 세 사건이 쌍마다 독립이지만 독립은 아님을 보여라.

풀이 보기

표본공간은 ${HH, HT, TH, TT}$ 이고 각각 확률 $1 / 4$ 다. 세 사건을 원소로 적는다.

$A = {HH, HT}, B = {HH, TH}, C = {HH, TT}$

셋 다 원소가 2개이므로 확률은 모두 $1 / 2$ 다. 이제 짝을 확인한다.

$A \cap B = {HH}$ 이므로 $P (A \cap B) = 1 / 4 = (1 / 2) (1 / 2)$ ✓

$A \cap C = {HH}$ 이므로 $P (A \cap C) = 1 / 4$ ✓

$B \cap C = {HH}$ 이므로 $P (B \cap C) = 1 / 4$ ✓

세 짝 모두 곱셈이 성립한다. 그런데 셋을 한꺼번에 보면

$A \cap B \cap C = {HH} ⟹ P (A \cap B \cap C) = \frac{1}{4} \neq \frac{1}{8} = P (A) P (B) P (C)$

어긋난다. 뜻을 읽어 보면 당연하다. $A$ 와 $B$ 를 알면 $C$ 는 완전히 정해진다. 앞면 두 번이면 면이 같고, 앞면 하나면 다르다. 그러니 $C$ 는 앞의 둘에 대해 아무 새 정보가 아니라 아예 딸려 나오는 사건이다.

이 예가 말하는 것은 이것이다. 독립은 짝마다 확인해서는 안 된다. 여러 사건이 '서로 무관하다'고 말하려면 모든 조합에서 곱셈이 성립해야 한다.

예제 13

상자 두 개가 있다. 상자 1에는 앞면이 나올 확률이 $0.5$ 인 정상 동전이, 상자 2에는 앞면이 나올 확률이 $0.9$ 인 치우친 동전이 들어 있다. 상자를 반반의 확률로 고른 뒤 그 동전을 두 번 던진다. 두 번 다 앞면이 나올 확률을 구하고, 두 던지기가 독립인지 판정하라.

풀이 보기

먼저 계산부터 한다. 상자를 고른 뒤에는 두 던지기가 서로 무관하므로 조건부독립이다. 전확률 정리로 묶는다.

$P (H_{1} \cap H_{2}) = 0.5 \times {0.5}^{2} + 0.5 \times {0.9}^{2} = 0.5 (0.25) + 0.5 (0.81) = 0.125 + 0.405 = 0.53$

한 번만 볼 때의 확률도 구한다.

$P (H_{1}) = 0.5 (0.5) + 0.5 (0.9) = 0.7, P (H_{2}) = 0.7$

이제 판정한다.

$P (H_{1}) P (H_{2}) = 0.49 \neq 0.53 = P (H_{1} \cap H_{2})$

독립이 아니다. 뜻을 읽으면 분명하다. 첫 번째가 앞면이면 치우친 동전일 가능성이 커지고, 그러면 두 번째도 앞면일 가능성이 커진다. 실제로

$P (H_{2} ∣ H_{1}) = \frac{0.53}{0.7} \approx 0.757 > 0.7$

첫 결과가 두 번째에 대한 정보를 준 것이다.

그런데 상자를 알고 나면 사정이 달라진다. 상자 1이라면 두 번째 앞면 확률은 첫 결과와 상관없이 $0.5$ 이고, 상자 2라면 $0.9$ 다. 즉 $P (H_{1} \cap H_{2} ∣ B_{i}) = P (H_{1} ∣ B_{i}) P (H_{2} ∣ B_{i})$ 이므로 조건부독립이다.

정리하면 종속인데 조건부로는 독립인 경우다. 두 결과가 서로 정보를 주는 이유는 둘이 직접 영향을 주고받아서가 아니라 공통의 원인(어느 상자인가)을 공유하기 때문이다. 원인을 알고 나면 그 통로가 막힌다.

확률에 대한 흔한 오해

확률은 사람의 직관이 가장 자주 어긋나는 분야다. 대표적인 셋을 정면으로 다룬다.

도박사의 오류 — 동전은 과거를 기억하지 않는다

'앞면이 다섯 번 연속 나왔으니 이제 뒷면이 나올 차례'라는 말이 도박사의 오류다. 동전이 독립이라면 다음 던지기의 확률은 여전히 $1 / 2$ 다. 큰 수의 법칙이 비율을 $0.5$ 로 데려간다는 것은 맞지만, 그 방식이 문제다.

<같은 자료의 두 얼굴이다. 앞면의 비율은 0.5 로 모여드는데 앞면과 뒷면의 개수 차이는 0 으로 돌아가지 않고 오히려 커진다. 비율이 모이는 것은 차이가 메워져서가 아니라 나누는 수가 커져서다>[원본 보기]

오른쪽 그림이 핵심이다. 지금까지 앞면이 다섯 번 더 나왔다면 그 다섯 번의 격차는 메워지지 않는다. 다만 던지는 횟수가 1000번, 10000번으로 늘면 그 다섯이 전체에서 차지하는 비중이 작아져 비율이 $0.5$ 에 가까워질 뿐이다. 수렴은 희석이지 보상이 아니다.

기저율 무시 — 드문 것을 찾을 때는 정확도만으로 판단할 수 없다

기초수학 12장의 검사 예제에서 이미 보았다. 검사가 99% 정확해도 병이 드물면 양성의 대다수가 건강한 사람이다. 여기서는 그 구조를 오즈로 다시 읽어 두자. 사후 오즈는 사전 오즈 곱하기 우도비인데, 사전 오즈가 $1 / 99$ 처럼 작으면 우도비가 20배쯤 되어도 사후 오즈는 여전히 1보다 작다. 증거의 강도가 사전 확률의 작음을 이기지 못하는 것이다.

실전에서 이 오해는 '정확도 99%'라는 말만 듣고 판단할 때 나온다. 반드시 함께 물어야 할 것은 '그것이 원래 얼마나 드문가'이다.

심슨의 역설 — 나눠 보면 이기는데 합치면 진다

<두 환자군 모두에서 앞서던 병원이 합친 성공률에서는 뒤진다. 두 병원이 받은 환자의 구성이 다르기 때문이다. 합친 수만 비교하면 이런 뒤집힘을 놓친다>[원본 보기]

조건부확률을 조건 없이 합칠 때 순서가 뒤집힐 수 있다는 것이 심슨의 역설이다. 수식으로는 이렇게 적힌다. 모든 $i$ 에 대해 $P (A ∣ B \cap C_{i}) > P (A ∣ B^{c} \cap C_{i})$ 이더라도 $P (A ∣ B) > P (A ∣ B^{c})$ 는 성립하지 않을 수 있다.

왜 그런가. 합친 값은 조각별 값의 가중평균이고, 그 가중치가 양쪽에서 다르기 때문이다. 어려운 환자를 많이 받은 쪽은 낮은 성공률에 큰 가중치가 걸린다.

예제 14

앞의 그림에 쓰인 표는 다음과 같다. 병원 가는 경증 환자 100명 중 90명, 중증 환자 100명 중 30명을 살렸다. 병원 나는 경증 환자 20명 중 19명, 중증 환자 180명 중 72명을 살렸다. 각 군의 성공률과 합친 성공률을 구하고 왜 순서가 뒤집히는지 설명하라.

풀이 보기

군별 성공률부터 구한다.

구분	병원 가	병원 나	누가 높은가
경증	90/100 = 0.90	19/20 = 0.95	나
중증	30/100 = 0.30	72/180 = 0.40	나
합계	120/200 = 0.60	91/200 = 0.455	가

두 군 모두에서 병원 나가 높은데 합치면 병원 가가 높다. 계산은 틀리지 않았다.

이유는 가중치에 있다. 합친 성공률은 두 군의 성공률을 환자 수 비율로 가중평균한 값이다.

$0.60 = 0.90 \times \frac{100}{200} + 0.30 \times \frac{100}{200}, 0.455 = 0.95 \times \frac{20}{200} + 0.40 \times \frac{180}{200}$

병원 가는 쉬운 환자에 절반의 가중치를 걸었고 병원 나는 어려운 환자에 90%의 가중치를 걸었다. 가중치의 차이가 성공률의 차이를 압도한 것이다.

그러면 어느 병원이 좋은가. 환자 입장에서 보면 내가 경증이든 중증이든 병원 나가 낫다. 합친 숫자는 병원의 실력이 아니라 환자 구성을 반영한 값이라 비교에 쓸 수 없다. 실전에서 이런 뒤집힘을 막으려면 결과에 영향을 주면서 두 집단에서 비율이 다른 변수를 찾아 나눠 보아야 한다. 여기서는 중증도가 그 변수다.

예제 15

공정한 동전을 열 번 던져 모두 앞면이 나왔다. 열한 번째에 뒷면이 나올 확률은 얼마인가. 그리고 '열한 번 모두 앞면일 확률은 $1 / 2048$ 로 아주 작으니 뒷면이 나올 가능성이 크다'는 주장은 어디가 틀렸는가.

풀이 보기

첫 물음의 답은 $1 / 2$ 다. 던지기가 독립이라는 것이 곧 앞의 결과가 뒤의 확률을 바꾸지 않는다는 뜻이기 때문이다. $P (T_{11} ∣ H_{1} \cap \dots \cap H_{10}) = P (T_{11}) = 1 / 2$ .

두 번째 주장이 틀린 곳은 어느 시점에서 보느냐다. 두 확률을 구별해야 한다.

$P (열한 번 모두 앞면) = {(\frac{1}{2})}^{11} = \frac{1}{2048} (던지기 전에 본 값)$

$P (열한 번째도 앞면 ∣ 앞 열 번이 모두 앞면) = \frac{1}{2048} \div \frac{1}{1024} = \frac{1}{2} (열 번 던진 뒤에 본 값)$

$1 / 2048$ 이 작은 것은 '앞 열 번이 모두 앞면'이라는 부분이 이미 드물기 때문이다. 그 드문 일이 실제로 일어났다면 그 몫은 이미 치러졌다. 남은 것은 마지막 한 번뿐이다.

한 가지 더 정직하게 짚자. 만약 동전이 정말 공정한지 확신할 수 없다면 이야기가 달라진다. 열 번 연속 앞면은 '치우친 동전'이라는 가설을 크게 강화한다. 앞 절의 상자 예제와 같은 구조다. 그때 열한 번째의 확률은 $1 / 2$ 보다 커진다. '공정하다'는 전제가 주어졌을 때에만 $1 / 2$ 이다.

문제를 만났을 때 무엇을 먼저 물을지 정리해 두면 길을 잃지 않는다.

<표본공간을 먼저 적는 것이 절반이다. 결과가 유한하고 균등한가, 정보가 주어졌는가, 여러 사건이 함께 일어나는가 — 이 세 물음이 쓸 도구를 정해 준다>[원본 보기]

3장 정리

기호 · 용어	뜻
표본공간 $S$ · 사건	가능한 결과 전체의 집합과 그 부분집합. 무엇을 한 번의 결과로 볼지는 우리가 정한다
배반	$A \cap B = \emptyset$ . 집합의 관계이며 독립과 다른 층위의 말이다
콜모고로프 공리	$P (A) \geq 0$ , $P (S) = 1$ , 배반인 사건열에 대해 $P (⋃ A_{i}) = \sum P (A_{i})$
단조성	$A \subset B ⟹ P (A) \leq P (B)$
부울 부등식	$P (⋃ A_{i}) \leq \sum P (A_{i})$ . 겹침을 몰라도 상한을 준다
셈측도	유한하고 균등할 때 $P (A) = \| A \| / \| S \|$
기하학적 확률	길이·넓이·부피의 비. ‘균등하게 고른다’의 뜻을 먼저 정해야 한다
조건부확률	$P (A ∣ B) = P (A \cap B) / P (B)$ . 그 자체가 공리를 만족하는 확률이다
사슬 규칙	$P (A_{1} \cap \dots \cap A_{n}) = P (A_{1}) P (A_{2} ∣ A_{1}) \dots$
분할	배반이면서 빈틈없이 $S$ 를 덮는 사건들
전확률 정리	$P (A) = \sum_{i} P (B_{i}) P (A ∣ B_{i})$
베이즈 정리	$P (B_{j} ∣ A) = P (B_{j}) P (A ∣ B_{j}) / \sum_{i} P (B_{i}) P (A ∣ B_{i})$
오즈 형태	사후 오즈 = 사전 오즈 × 우도비. 증거가 여럿이면 우도비를 곱해 나간다
독립	$P (A \cap B) = P (A) P (B)$ . 셋 이상이면 모든 부분집합에서 곱셈이 성립해야 한다
쌍마다 독립	짝마다만 곱셈이 성립하는 약한 성질. 독립을 뜻하지 않는다
조건부독립	$P (A \cap B ∣ C) = P (A ∣ C) P (B ∣ C)$ . 독립과 서로 함의하지 않는다

꼭 챙겨 갈 것은 넷이다.

확률의 정의는 공리다. 세어서 나누는 것도 넓이로 재는 것도 그 공리를 만족시키는 배정 방법일 뿐이다. 결과가 무한할 때는 세는 방법이 아예 통하지 않는다.
조건부확률은 새 개념이 아니라 줄어든 세계의 확률이다. 그래서 확률에 대한 모든 정리가 그대로 통한다. 다만 조건 자리(뒤쪽)를 바꾸는 것은 전혀 다른 이야기다.
독립은 짝만으로 정의되지 않는다. 그리고 독립과 조건부독립은 서로를 함의하지 않는다. 공통 원인이 있으면 종속이던 것이 조건을 붙이는 순간 독립이 되기도 한다.
확률에서 직관이 어긋나는 자리는 정해져 있다. 과거를 기억한다고 착각하는 것, 드묾을 무시하는 것, 조건을 무시하고 합치는 것 — 셋 다 조건을 잘못 다룬 결과다.

다음 장에서는 사건 대신 수를 다룬다. 표본공간의 결과에 실수를 붙이는 함수, 즉 확률변수를 정의하고 그 분포를 적는 언어를 만든다. 이 장의 확률이 그 언어의 바탕이 된다.

확률변수와 분포

3장까지는 사건의 확률을 다뤘다. '앞면이 나온다', '불량이다' 같은 말에 수를 붙이는 일이었다. 그런데 실제로 궁금한 것은 대개 수 그 자체다. 앞면이 몇 번 나왔는가, 부품이 몇 시간 만에 고장 났는가, 시험 점수가 몇 점인가.

이 장에서 답할 질문은 셋이다. 확률변수는 왜 '함수'인가, 연속인 경우에 밀도는 확률과 무엇이 다른가, 그리고 확률변수를 함수에 넣으면 분포는 어떻게 바뀌는가.

앞에서 가져오는 것은 3장의 확률 전부다. 특히 공리와 조건부확률을 계속 쓴다. 기초수학에서는 /posts/fundamental/elementary-mathematics.html > 정적분과 /posts/fundamental/elementary-mathematics.html > 미분법을 쓴다. 확률변수·기댓값·이항분포·정규분포는 기초수학 12장에서 한 번 만났으니 이름은 익숙할 것이다. 여기서는 그것을 정확한 정의로 다시 세운다.

이 장에서 가장 자주 무너지는 곳은 하나다. 밀도를 확률로 읽는 것. 그 절에 그림 하나를 통째로 배정해 두었다.

확률변수는 함수다

확률변수(random variable)란 표본공간 $S$ 의 각 결과에 실수 하나를 대응시키는 함수다.

$X : S \to R$

이름이 오해를 부른다. '변수'라고 하지만 변수가 아니라 함수이고, '확률'이라는 말이 붙었지만 함수 자체에는 우연이 없다. 우연한 것은 입력이다. 시행을 하면 결과 하나가 정해지고, 그 결과를 $X$ 에 넣으면 수 하나가 나온다.

<결과 네 개가 앞면 횟수 0, 1, 2 로 옮겨진다. 값 하나에 결과 여럿이 모이면 그 확률들이 더해진다. ‘X = 1’ 은 수가 아니라 그 값으로 가는 결과들의 집합이다>[원본 보기]

이 그림이 말하는 것을 정확히 적어 두자. 실수 $x$ 하나에 대해

${X = x} := {ω \in S : X (ω) = x}$

즉 ' $X = x$ '는 등식이 아니라 사건이다. 그래서 $P (X = x)$ 라고 쓸 수 있다. 같은 방식으로 ${X \leq x}$ , ${a < X \leq b}$ 도 모두 사건이며, 3장에서 만든 확률이 그대로 값을 매긴다.

이렇게 해서 $S$ 위의 확률이 실수 위의 확률로 옮겨 온다. 옮겨 온 뒤에는 원래의 표본공간을 잊어도 된다. 이것이 확률변수를 쓰는 이유다. 동전이든 주사위든 부품이든, 일단 수로 옮기고 나면 같은 도구로 다룰 수 있다.

표기 관습도 정해 두자. 확률변수는 대문자 $X, Y, Z$ 로, 그것이 가지는 값은 소문자 $x, y, z$ 로 적는다. $P (X = x)$ 에서 왼쪽 $X$ 는 함수이고 오른쪽 $x$ 는 그냥 수다. 이 구별이 흐려지면 뒤에 나오는 식이 전부 뒤엉킨다.

값의 모양에 따라 두 종류로 나눈다. 값이 띄엄띄엄해서 셀 수 있으면 이산확률변수, 값이 구간을 빈틈없이 채우면 연속확률변수다.

예제 16

동전 세 개를 던지고 $X$ 를 앞면의 개수라 하자. $X$ 가 가지는 값과 각 값의 확률을 구하고, ${X \leq 1}$ 을 표본공간의 부분집합으로 적어라.

풀이 보기

표본공간은 3장에서 적은 여덟 개의 나열이고 각각 확률 $1 / 8$ 이다. $X$ 는 그중 $H$ 의 개수를 센다.

값은 $0, 1, 2, 3$ 넷이다. 각 값으로 가는 결과의 개수를 세면

$P (X = 0) = \frac{1}{8}, P (X = 1) = \frac{3}{8}, P (X = 2) = \frac{3}{8}, P (X = 3) = \frac{1}{8}$

$X = 1$ 이 되는 결과가 셋( $HTT, THT, TTH$ )이라 확률이 세 배다. 값 하나에 결과 여럿이 모이면 확률이 더해진다는 것이 그림이 말한 그것이다.

${X \leq 1}$ 은 앞면이 0개이거나 1개인 결과를 모두 모은 것이다.

${X \leq 1} = {TTT, HTT, THT, TTH}$

확률은 $4 / 8 = 1 / 2$ 다. 검산하자. 네 값의 확률을 모두 더하면 $(1 + 3 + 3 + 1) / 8 = 1$ 이다 ✓. 계수 $1, 3, 3, 1$ 은 파스칼 삼각형의 한 줄이고, 이것이 기초수학 12장에서 본 이항분포다.

예제 17

사건 $A$ 에 대해 $I_{A} (ω) = 1$ ( $ω \in A$ 일 때), $I_{A} (ω) = 0$ (아닐 때)으로 정의한 확률변수를 지시확률변수라 한다. 이 확률변수의 분포를 적고, 왜 유용한지 설명하라.

풀이 보기

값은 0과 1 둘뿐이고 확률은 곧바로 나온다.

$P (I_{A} = 1) = P (A), P (I_{A} = 0) = 1 - P (A)$

유용한 이유는 '사건'과 '수' 사이의 다리이기 때문이다. 사건에 대한 문장을 수에 대한 문장으로 옮기면 덧셈과 기댓값 같은 도구를 쓸 수 있다.

예를 들어 사건 $A_{1}, \dots, A_{n}$ 중 몇 개가 일어났는지 세는 확률변수는

$N = I_{A_{1}} + I_{A_{2}} + \dots + I_{A_{n}}$

으로 한 줄에 적힌다. 각각을 따로 세지 않아도 된다. 5장에서 기댓값의 선형성을 배우고 나면 이 표현 하나로 복잡해 보이는 평균 계산이 몇 줄로 끝난다.

덧붙여 두면 $I_{A}^{2} = I_{A}$ 다. 0과 1은 제곱해도 그대로이기 때문이다. 이 사소한 성질도 5장에서 분산을 구할 때 쓴다.

이산확률변수와 확률질량함수

이산확률변수 $X$ 에 대해

$p (x) = P (X = x)$

를 확률질량함수(probability mass function, pmf)라 한다. '질량'이라는 말은 각 값에 확률이 덩어리로 얹혀 있다는 그림에서 왔다.

확률질량함수가 되기 위한 조건은 둘뿐이며, 둘 다 3장의 공리에서 곧바로 나온다.

모든 $x$ 에 대해 $p (x) \geq 0$ (첫째 공리)
$X$ 가 가질 수 있는 값 전체에 대해 $\sum_{x} p (x) = 1$ (둘째·셋째 공리)

거꾸로도 성립한다. 이 둘을 만족하는 함수를 아무렇게나 가져오면 그것을 확률질량함수로 삼는 확률변수가 반드시 있다. 그래서 실제로는 표본공간을 적지 않고 $p (x)$ 만 주고 시작하는 일이 많다.

<막대의 높이가 그대로 확률이다. 높이를 모두 더하면 1 이고, 막대가 없는 자리(예컨대 4.5)의 값은 나오지 않는다>[원본 보기]

예제 18

주사위 두 개를 던져 두 눈의 합을 $X$ 라 하자. 확률질량함수를 적고 $P (X \geq 10)$ 과 $P (X 가 짝수)$ 를 구하라.

풀이 보기

표본공간은 순서쌍 36개이고 각각 확률 $1 / 36$ 이다. 합이 $k$ 가 되는 순서쌍의 개수를 세면 $6 - | k - 7 |$ 개다.

$p (k) = \frac{6 - | k - 7 |}{36} (k = 2, 3, \dots, 12)$

$k = 7$ 에서 6개로 가장 많고 양쪽으로 하나씩 줄어든다.

$P (X \geq 10) = p (10) + p (11) + p (12) = \frac{3 + 2 + 1}{36} = \frac{6}{36} = \frac{1}{6}$

짝수는 $2, 4, 6, 8, 10, 12$ 다.

$P (X 짝수) = \frac{1 + 3 + 5 + 5 + 3 + 1}{36} = \frac{18}{36} = \frac{1}{2}$

검산. 전체 합은 $(1 + 2 + 3 + 4 + 5 + 6 + 5 + 4 + 3 + 2 + 1) / 36 = 36 / 36 = 1$ ✓. 짝수가 정확히 절반인 것은 우연이 아니다. 합이 짝수인 것은 두 눈의 홀짝이 같다는 뜻이고, 그 확률은 $1 / 2$ 다.

예제 19

확률변수 $X$ 가 값 $1, 2, 3, 4$ 를 가지고 $p (x) = c x$ 라 한다. 상수 $c$ 를 정하고 $P (X \leq 2)$ 를 구하라.

풀이 보기

확률질량함수가 되려면 모두 더해서 1이어야 한다. 그 조건이 $c$ 를 정한다.

$\sum_{x = 1}^{4} c x = c (1 + 2 + 3 + 4) = 10 c = 1 ⟹ c = \frac{1}{10}$

$c = 0.1$ 이므로 $p (1) = 0.1, p (2) = 0.2, p (3) = 0.3, p (4) = 0.4$ 다. 모두 음이 아니므로 첫째 조건도 만족한다.

$P (X \leq 2) = 0.1 + 0.2 = 0.3$

여기서 익힐 절차가 이후 계속 쓰인다. 모수가 하나 미정인 채로 주어지면 합(또는 적분)이 1이라는 조건이 그것을 정해 준다. 확률분포에서 상수는 공짜로 정해지는 것이 아니라 이 조건이 정한다.

연속확률변수 — 밀도는 확률이 아니다

값이 구간을 빈틈없이 채우면 사정이 달라진다. $[0, 1]$ 의 실수를 균등하게 고르는 상황을 생각해 보자. 값이 셀 수 없이 많은데 각 값에 양수인 확률을 붙이면, 그중 유한 개만 모아도 합이 1을 넘어 버린다. 그러니 각 값의 확률은 0일 수밖에 없다.

그러면 확률을 어디에 적어야 하는가. 값이 아니라 구간에 적는다. 그리고 구간마다 값을 적는 대신, 함수 하나를 두고 넓이로 읽게 한다. 그 함수가 확률밀도함수(probability density function, pdf)다.

$P (a \leq X \leq b) = \int_{a}^{b} f (x) d x, f (x) \geq 0, \int_{- \infty}^{\infty} f (x) d x = 1$

여기가 이 문서에서 가장 자주 무너지는 곳이다. $f (x)$ 는 확률이 아니다. 그림 하나로 못 박아 두자.

<밀도의 높이는 1 을 넘을 수 있고 재는 단위를 바꾸면 값이 달라진다. 세 칸 모두 변하지 않는 것은 구간 아래의 넓이뿐이다. 높이 하나만 보고는 어떤 확률도 읽을 수 없다>[원본 보기]

그림의 세 칸을 말로 정리한다.

높이가 1을 넘어도 된다. $[0, 0.4]$ 에서 균등하면 밀도는 $2.5$ 다. 확률이라면 있을 수 없는 값이다.
확률은 밀도에 너비를 곱해야 나온다. 좁은 구간에서 $P (x \leq X \leq x + Δ x) \approx f (x) Δ x$ 다. 밀도는 '단위 길이당 확률'이다.
밀도에는 단위가 있다. $x$ 가 미터라면 $f$ 의 단위는 $1 / m$ 다. 같은 분포를 센티미터로 재면 밀도의 수치가 100분의 1이 된다. 확률은 단위가 없으므로 이것만으로도 둘이 다른 양임을 알 수 있다.

세 번째가 특히 결정적이다. 물체의 밀도가 $kg / m^{3}$ 이고 부피를 곱해야 질량이 되듯이, 확률밀도는 길이를 곱해야 확률이 된다. 이름이 '밀도'인 것은 우연이 아니다.

한 점의 확률이 0이라는 사실도 여기서 따라 나온다. $P (X = c) = \int_{c}^{c} f = 0$ 이다. 그래서 연속확률변수에서는 등호가 있든 없든 확률이 같다.

$P (a < X < b) = P (a \leq X \leq b)$

이산에서는 절대 이렇게 쓸 수 없다. 두 경우를 섞어 쓰다가 실수하는 일이 잦으니 지금 구별해 두자.

예제 20

확률변수 $X$ 의 밀도가 $f (x) = c x$ ( $0 \leq x \leq 2$ ), 그 밖에서는 0 이라 한다. $c$ 를 정하고 $P (0.5 \leq X \leq 1.5)$ 와 $P (X = 1)$ 을 구하라.

풀이 보기

앞의 이산 예제와 절차가 같다. 다만 합 대신 적분이 1이어야 한다.

$\int_{0}^{2} c x d x = c {[\frac{x^{2}}{2}]}_{0}^{2} = 2 c = 1 ⟹ c = \frac{1}{2}$

그러므로 $f (x) = x / 2$ 다. $x = 2$ 에서 $f (2) = 1$ 이므로 밀도가 1까지 올라가지만 아무 문제 없다.

구간의 확률은 그 위의 넓이다.

$P (0.5 \leq X \leq 1.5) = \int_{0.5}^{1.5} \frac{x}{2} d x = {[\frac{x^{2}}{4}]}_{0.5}^{1.5} = \frac{2.25 - 0.25}{4} = \frac{2}{4} = 0.5$

한 점의 확률은

$P (X = 1) = \int_{1}^{1} \frac{x}{2} d x = 0$

답이 말이 되는지 본다. 밀도가 오른쪽으로 갈수록 커지므로 큰 값이 더 잘 나온다. 구간 $[0.5, 1.5]$ 는 정의역의 절반인데 확률도 정확히 0.5다. 이것은 우연으로, 왼쪽 절반 $[0, 1]$ 의 확률은 $1 / 4$ 이고 오른쪽 절반은 $3 / 4$ 다. 확인해 두면 감이 잡힌다.

흔한 오해

' $f (1.2) = 0.6$ 이므로 $X$ 가 $1.2$ 근처에 있을 확률이 60%다.' 이 말은 맞는가?

풀이 보기

틀렸다. 두 군데가 틀렸다.

첫째, '근처'의 폭이 정해지지 않았다. 밀도는 확률이 아니라 '단위 길이당 확률'이므로 폭을 곱해야 확률이 된다. 폭이 $0.01$ 이면

$P (1.195 \leq X \leq 1.205) \approx f (1.2) \times 0.01 = 0.006$

이고 0.6%다. 폭이 정해지지 않으면 답도 정해지지 않는다.

둘째, $f$ 의 값 자체를 확률로 읽을 수 없다. 같은 분포를 다른 단위로 재면 $f (1.2)$ 자리의 값이 바뀐다. 확률은 단위를 바꿔도 바뀌지 않으므로 둘은 같은 것일 수 없다.

그러면 밀도의 값은 무엇을 말해 주는가. 비교다. $f (1.2) = 2 f (3.5)$ 라면 '같은 폭의 좁은 구간에서 $1.2$ 근처가 $3.5$ 근처보다 두 배 잘 나온다'는 뜻이다. 절대적인 확률은 넓이를 재야만 나온다.

누적분포함수 — 두 경우를 하나로 다루는 언어

이산에는 확률질량함수, 연속에는 확률밀도함수. 서로 다른 도구를 쓰는 것은 불편하다. 두 경우 모두에서 정의되는 함수가 하나 있다.

$F (x) = P (X \leq x)$

이것을 누적분포함수(cumulative distribution function, cdf)라 한다. ' $x$ 이하가 나올 확률'이므로 어떤 확률변수에서도 뜻이 통한다.

<이산에서는 F 가 확률만큼 뛰어오르고 연속에서는 왼쪽 넓이가 그대로 F 가 된다. 어느 쪽이든 0 에서 시작해 1 로 끝나고 도중에 내려가지 않는다>[원본 보기]

$F$ 는 다음 성질을 반드시 가진다. 셋 다 3장의 공리에서 나온다.

비감소 — $a < b$ 이면 $F (a) \leq F (b)$ . ${X \leq a} \subset {X \leq b}$ 이므로 단조성이다.
양 끝의 값 — $lim_{x \to - \infty} F (x) = 0$ , $lim_{x \to \infty} F (x) = 1$
오른쪽 연속 — $lim_{h \to 0^{+}} F (x + h) = F (x)$ . 정의에 등호가 들어 있어서 생기는 성질이다.

거꾸로 이 셋을 만족하는 함수는 어떤 확률변수의 누적분포함수가 된다. 그래서 $F$ 는 분포를 완전히 결정한다. 실제로 구간의 확률을 $F$ 만으로 적을 수 있다.

$P (a < X \leq b) = F (b) - F (a)$

이산일 때는 등호의 위치를 조심해야 한다. 뛰는 자리에서 $F$ 는 뛴 뒤의 값을 가지므로 $P (X = a) = F (a) - F (a^{-})$ 이고, 여기서 $F (a^{-})$ 는 왼쪽 극한이다. 즉 뛴 높이가 그 값의 확률이다.

연속일 때는 반대 방향이 성립한다. $F (x) = \int_{- \infty}^{x} f (t) d t$ 이므로 미적분학의 기본정리에 의해

$F^{'} (x) = f (x)$

밀도는 누적분포함수의 기울기다. 이 관계가 다음 절과 그다음 절의 도구가 된다.

세상에는 둘 중 어느 쪽도 아닌 확률변수도 있다. 예컨대 '하루 강수량'은 비가 오지 않을 확률이 0보다 큰 덩어리로 있고, 그 위로는 이어져 있다. 이런 혼합형에서는 $F$ 가 계단과 매끈한 부분을 함께 가진다. 확률질량함수도 확률밀도함수도 그대로는 쓸 수 없지만 $F$ 는 아무 문제 없이 적힌다. $F$ 를 기본 언어로 삼는 이유가 이것이다.

예제 22

확률변수 $X$ 의 누적분포함수가 다음과 같다. 확률질량함수를 구하고 $P (1 < X \leq 3)$ 을 구하라.

$F (x) = {\begin{cases} 0 & x < 1 \\ 0.2 & 1 \leq x < 2 \\ 0.5 & 2 \leq x < 3 \\ 0.9 & 3 \leq x < 4 \\ 1 & x \geq 4 \end{cases}$

풀이 보기

계단 모양이므로 이산이다. 뛴 자리가 값이고 뛴 높이가 확률이다.

$p (1) = 0.2 - 0 = 0.2, p (2) = 0.5 - 0.2 = 0.3, p (3) = 0.9 - 0.5 = 0.4, p (4) = 1 - 0.9 = 0.1$

합이 $0.2 + 0.3 + 0.4 + 0.1 = 1$ 이므로 확률질량함수가 맞다 ✓

$P (1 < X \leq 3) = F (3) - F (1) = 0.9 - 0.2 = 0.7$

직접 세도 같다. $p (2) + p (3) = 0.3 + 0.4 = 0.7$ ✓. $X = 1$ 이 빠진 것은 부등호에 등호가 없기 때문이다.

등호를 옮기면 답이 달라진다는 점을 확인해 두자. $P (1 \leq X \leq 3) = F (3) - F (1^{-}) = 0.9 - 0 = 0.9$ 다. 이산에서는 등호 하나가 확률을 바꾼다.

예제 23

어떤 대기 시간 $T$ (단위 $\min$ )의 누적분포함수가 $F (t) = 1 - e^{- t / 5}$ ( $t \geq 0$ )이고 $t < 0$ 에서는 0 이다. 밀도함수를 구하고, 5분 이상 기다릴 확률과 중앙값을 구하라.

풀이 보기

밀도는 누적분포함수의 도함수다. 기초수학 10장의 지수함수 미분을 쓴다.

$f (t) = F^{'} (t) = \frac{d}{d t} (1 - e^{- t / 5}) = \frac{1}{5} e^{- t / 5} (t \geq 0)$

확인하자. $f \geq 0$ 이고 $\int_{0}^{\infty} \frac{1}{5} e^{- t / 5} d t = {[- e^{- t / 5}]}_{0}^{\infty} = 0 - (- 1) = 1$ ✓

5분 이상 기다릴 확률은 여사건으로 구하는 것이 빠르다.

$P (T \geq 5) = 1 - F (5) = e^{- 1} \approx 0.368$

중앙값은 $F (m) = 0.5$ 를 푸는 것이다.

$1 - e^{- m / 5} = 0.5 ⟹ e^{- m / 5} = 0.5 ⟹ m = 5 \ln 2 \approx 3.47 \min$

답이 말이 되는지 본다. 중앙값 $3.47 \min$ 이 '5분 이상 기다릴 확률 0.368'과 어울린다. 절반은 3.47분 안에 끝나고 3분의 1 남짓만 5분을 넘긴다. 그리고 중앙값이 평균(나중에 보겠지만 5분이다)보다 작다. 오른쪽으로 길게 끌리는 분포에서는 중앙값이 평균보다 왼쪽에 있다.

분위수와 중앙값

누적분포함수를 세로로 읽으면 확률이 나오고 가로로 읽으면 값이 나온다. $0 < p < 1$ 에 대해

$Q (p) = min {x : F (x) \geq p}$

를 $p$ 분위수(quantile)라 한다. $F$ 가 연속이고 증가하면 이는 그냥 역함수 $F^{- 1} (p)$ 다. 위처럼 적는 이유는 이산일 때 $F (x) = p$ 를 만족하는 $x$ 가 없거나 여럿일 수 있기 때문이다.

<세로축에서 높이를 정하고 옆으로 그은 뒤 곡선과 만나는 자리를 읽으면 그것이 분위수다. 오른쪽으로 끌리는 분포라 중앙값이 평균보다 왼쪽에 있다>[원본 보기]

자주 쓰는 이름을 붙여 둔다.

이름	값	뜻
중앙값	$Q (0.5)$	절반이 이보다 작다
제1사분위수	$Q (0.25)$	아래에서 4분의 1 되는 자리
제3사분위수	$Q (0.75)$	위에서 4분의 1 되는 자리
사분위범위	$Q (0.75) - Q (0.25)$	가운데 절반이 차지하는 폭

중앙값과 평균의 차이는 극단값에 흔들리는가에 있다. 아주 큰 값 하나가 들어오면 평균은 끌려가지만 중앙값은 거의 움직이지 않는다. 소득이나 대기 시간처럼 오른쪽으로 길게 끌리는 분포에서 중앙값을 함께 보는 이유가 이것이다.

예제 24

앞 예제의 대기 시간 $T$ ( $F (t) = 1 - e^{- t / 5}$ )에 대해 제1사분위수와 제3사분위수, 사분위범위를 구하라.

풀이 보기

$F (t) = p$ 를 $t$ 에 대해 풀면 분위수 공식이 나온다.

$1 - e^{- t / 5} = p ⟹ e^{- t / 5} = 1 - p ⟹ t = - 5 \ln (1 - p)$

값을 넣는다.

$Q (0.25) = - 5 \ln 0.75 \approx 1.44 \min, Q (0.75) = - 5 \ln 0.25 \approx 6.93 \min$

$사분위범위 = 6.93 - 1.44 = 5.49 \min$

읽어 보자. 중앙값이 $3.47$ 인데 제1사분위수는 그보다 $2.03$ 만큼 아래이고 제3사분위수는 $3.46$ 만큼 위다. 가운데를 기준으로 오른쪽이 더 길다. 이 비대칭이 앞에서 말한 '오른쪽으로 끌리는 분포'의 모습이며, 5장에서 왜도라는 수로 재게 된다.

예제 25

확률변수 $X$ 가 $1, 2, 3$ 을 각각 확률 $0.5, 0.2, 0.3$ 으로 가진다. 중앙값을 구하라. ' $F (x) = 0.5$ 인 $x$ '를 찾으면 어떤 문제가 생기는가?

풀이 보기

누적분포함수를 먼저 적는다. $F (1) = 0.5$ , $F (2) = 0.7$ , $F (3) = 1$ 이고 그 사이는 평평하다.

$F (x) = 0.5$ 를 만족하는 $x$ 는 $1 \leq x < 2$ 전부다. 무한히 많다. 그래서 ' $F (x) = 0.5$ 인 $x$ '로는 중앙값이 하나로 정해지지 않는다.

정의를 정확히 쓰면 해결된다.

$Q (0.5) = min {x : F (x) \geq 0.5} = 1$

답은 1이다. $F (x) \geq 0.5$ 가 되는 가장 작은 값이기 때문이다.

왜 이렇게 정하는가. '절반 이상이 이 값 이하'가 되는 가장 왼쪽 자리가 중앙값이라는 말의 뜻에 가장 가깝기 때문이다. 실제로 $P (X \leq 1) = 0.5 \geq 0.5$ 이고 $P (X \geq 1) = 1 \geq 0.5$ 이므로 양쪽 조건을 모두 만족한다.

자료의 중앙값을 구할 때 '짝수 개면 가운데 두 값의 평균'이라고 배웠을 텐데, 그것은 이 정의와 조금 다른 관습이다. 이론에서는 위 정의를 쓰고, 자료를 요약할 때는 평균 내는 관습을 쓴다. 어느 쪽이든 뜻은 '가운데'로 같다.

확률변수의 변환

$X$ 의 분포를 아는데 $Y = g (X)$ 의 분포가 필요한 경우가 많다. 섭씨를 화씨로 바꾸듯 단위를 바꿀 때, 반지름에서 넓이를 구할 때, 표준화할 때 모두 그렇다.

이산은 쉽다. 값을 옮기고 같은 자리로 간 것들의 확률을 더하면 된다.

$p_{Y} (y) = \sum_{x : g (x) = y} p_{X} (x)$

연속은 밀도를 그냥 옮길 수 없다. 밀도가 확률이 아니기 때문이다. 확실한 길은 하나뿐이다. 누적분포함수를 거친다.

$F_{Y} (y) = P (Y \leq y) = P (g (X) \leq y) ⟶ f_{Y} (y) = F_{Y}^{'} (y)$

이 방법은 $g$ 가 단조가 아니어도 통한다. 부등식 $g (X) \leq y$ 를 $X$ 에 대해 풀기만 하면 된다.

$g$ 가 단조이고 미분 가능하면 위 과정을 한 번에 끝낸 공식이 있다.

$f_{Y} (y) = f_{X} (x (y)) | \frac{d x}{d y} |$

여기서 $x (y)$ 는 $y = g (x)$ 의 역함수다. 절댓값이 붙는 이유는 감소함수일 때 $d x / d y$ 가 음수인데 밀도는 음수일 수 없기 때문이다.

<너비가 같던 네 칸이 제곱을 거치면서 0.25 대 1.75 로 벌어진다. 같은 확률이 더 넓은 자리에 퍼지면 밀도는 그만큼 낮아진다. 그 배율이 |dx/dy| 다>[원본 보기]

공식을 외우기보다 그림의 뜻을 붙잡는 편이 낫다. 확률(넓이)은 보존되고 그것이 놓이는 자리만 늘거나 줄어든다. 늘어난 만큼 높이가 낮아지고 줄어든 만큼 높아진다.

예제 26

$X$ 의 밀도가 $f_{X} (x) = x / 2$ ( $0 \leq x \leq 2$ )일 때 $Y = 2 X + 3$ 의 밀도를 구하라.

풀이 보기

$g (x) = 2 x + 3$ 은 증가하는 일차함수이므로 단조변환 공식을 바로 쓸 수 있다.

역함수와 그 도함수를 구한다.

$y = 2 x + 3 ⟹ x = \frac{y - 3}{2}, \frac{d x}{d y} = \frac{1}{2}$

$X$ 의 범위 $0 \leq x \leq 2$ 는 $3 \leq y \leq 7$ 로 옮겨진다. 공식에 넣는다.

$f_{Y} (y) = f_{X} (\frac{y - 3}{2}) \cdot \frac{1}{2} = \frac{(y - 3) / 2}{2} \cdot \frac{1}{2} = \frac{y - 3}{8} (3 \leq y \leq 7)$

검산은 적분으로 한다.

$\int_{3}^{7} \frac{y - 3}{8} d y = \frac{1}{8} {[\frac{(y - 3)^{2}}{2}]}_{3}^{7} = \frac{16}{16} = 1$ ✓

뜻을 읽어 두자. 구간이 길이 2에서 길이 4로 두 배 늘어났으므로 밀도는 절반이 되었다. 실제로 $f_{X}$ 의 최댓값은 1이고 $f_{Y}$ 의 최댓값은 $4 / 8 = 0.5$ 다. 넓이가 보존되려면 그래야 한다.

예제 27

$X$ 가 $[- 1, 1]$ 에서 균등분포를 따른다(밀도 $f_{X} (x) = 1 / 2$ ). $Y = X^{2}$ 의 밀도를 구하라.

풀이 보기

$g (x) = x^{2}$ 은 $[- 1, 1]$ 에서 단조가 아니다. $x$ 와 $- x$ 가 같은 값으로 가므로 단조변환 공식을 그대로 쓸 수 없다. 누적분포함수를 거친다.

$0 \leq y \leq 1$ 에 대해

$F_{Y} (y) = P (X^{2} \leq y) = P (- \sqrt{y} \leq X \leq \sqrt{y}) = \int_{- \sqrt{y}}^{\sqrt{y}} \frac{1}{2} d x = \sqrt{y}$

이제 미분한다.

$f_{Y} (y) = \frac{d}{d y} \sqrt{y} = \frac{1}{2 \sqrt{y}} (0 < y \leq 1)$

검산. $\int_{0}^{1} \frac{1}{2 \sqrt{y}} d y = {[\sqrt{y}]}_{0}^{1} = 1$ ✓

모양을 읽자. $y \to 0^{+}$ 에서 밀도가 무한히 커진다. 그래도 넓이는 유한하다. 이상적분이 수렴하는 경우이며, 기초수학 11장에서 본 상황이다. 이유는 0 근처에 확률이 몰리기 때문이다. $X$ 가 $[- 0.1, 0.1]$ 에 있을 확률이 $0.1$ 인데 그 확률이 $Y$ 쪽에서는 폭 $0.01$ 안에 몰린다. 좁은 자리에 같은 확률이 들어가면 밀도가 커진다.

만약 단조변환 공식을 무심코 썼다면 $x = \sqrt{y}$ 만 보고 $f_{Y} (y) = \frac{1}{2} \cdot \frac{1}{2 \sqrt{y}}$ 라고 적어 절반짜리 답을 얻었을 것이다. 두 갈래가 같은 자리로 오므로 두 몫을 더해야 한다.

예제 28

$X$ 의 밀도가 $f_{X} (x) = e^{- x}$ ( $x \geq 0$ )일 때 $Y = e^{X}$ 의 밀도를 구하라.

풀이 보기

$g (x) = e^{x}$ 은 증가함수이므로 단조변환 공식을 쓸 수 있다.

$y = e^{x} ⟹ x = \ln y, \frac{d x}{d y} = \frac{1}{y}$

$x \geq 0$ 은 $y \geq 1$ 로 옮겨진다.

$f_{Y} (y) = f_{X} (\ln y) \cdot \frac{1}{y} = e^{- \ln y} \cdot \frac{1}{y} = \frac{1}{y} \cdot \frac{1}{y} = \frac{1}{y^{2}} (y \geq 1)$

검산. $\int_{1}^{\infty} y^{- 2} d y = {[- y^{- 1}]}_{1}^{\infty} = 0 + 1 = 1$ ✓

이 분포는 꼬리가 아주 두껍다. $1 / y^{2}$ 은 천천히 줄어들기 때문이다. 실제로 5장에서 보겠지만 이런 분포는 평균이 존재하기도 하고 안 하기도 한다. 여기서는 $\int_{1}^{\infty} y \cdot y^{- 2} d y = \int_{1}^{\infty} y^{- 1} d y$ 가 발산하므로 평균이 존재하지 않는다. 지수함수를 씌우는 것만으로 꼬리가 이렇게 무거워질 수 있다는 것을 기억해 두자.

역변환 표본추출 — 균등난수 하나로 어떤 분포든 만든다

변환의 방향을 거꾸로 쓰면 쓸모 있는 도구가 하나 나온다. 컴퓨터가 만들어 주는 것은 대개 $[0, 1]$ 의 균등난수뿐인데, 이것만으로 원하는 분포의 표본을 얻는 방법이다.

<세로축에 고르게 놓인 점을 누적분포함수를 통해 가로축으로 내리면 F 가 가파른 곳에 점이 촘촘히 놓인다. 그 촘촘한 정도가 바로 밀도다>[원본 보기]

정리. $F$ 가 연속이고 증가하는 누적분포함수이고 $U$ 가 $[0, 1]$ 에서 균등하면, $X = F^{- 1} (U)$ 의 누적분포함수는 $F$ 다.

증명은 한 줄이다. $F^{- 1}$ 이 증가함수이므로 부등식의 방향이 유지된다.

$P (F^{- 1} (U) \leq x) = P (U \leq F (x)) = F (x)$

마지막 등호는 균등분포에서 $P (U \leq u) = u$ 이기 때문이다. ■

그림이 말하는 직관도 함께 붙잡아 두자. 세로축의 같은 폭이 가로축에서는 $F$ 가 가파른 곳일수록 좁은 폭으로 대응된다. 좁은 자리에 같은 확률이 들어가니 그곳의 밀도가 높다. 즉 이 방법은 밀도가 높은 곳에 점을 많이 떨어뜨린다.

예제 29

균등난수 $U$ 로 앞서 본 대기 시간 분포( $F (t) = 1 - e^{- t / 5}$ )의 표본을 만드는 식을 세워라. 그리고 $U = 0.8$ 이 나왔다면 어떤 값이 되는지 구하라.

풀이 보기

역함수를 구하는 것이 전부다. 앞의 분위수 계산과 같은 식이다.

$u = 1 - e^{- t / 5} ⟹ t = - 5 \ln (1 - u)$

따라서 $T = - 5 \ln (1 - U)$ 로 두면 된다.

$U = 0.8$ 을 넣으면

$T = - 5 \ln (0.2) \approx 8.05 \min$

답이 말이 되는지 본다. $U = 0.8$ 은 '아래에서 80% 지점'을 뜻하므로 중앙값 $3.47$ 보다 훨씬 큰 값이 나와야 한다. 실제로 그렇다.

한 가지 덧붙인다. $U$ 가 균등이면 $1 - U$ 도 균등이므로 $T = - 5 \ln U$ 라고 써도 같은 분포가 나온다. 실제 계산에서는 이 형태를 더 자주 쓴다.

보충

이산확률변수에도 같은 방법을 쓸 수 있는가? 값 $1, 2, 3$ 을 확률 $0.5, 0.2, 0.3$ 으로 갖는 확률변수를 균등난수로 만들어 보라.

풀이 보기

쓸 수 있다. 누적분포함수가 계단이라 역함수가 없지만, 분위수의 정의 $Q (p) = min {x : F (x) \geq p}$ 를 그대로 쓰면 된다.

구간을 확률만큼 잘라 놓고 $U$ 가 어느 칸에 떨어지는지 보면 그만이다.

$U$ 의 범위	내보낼 값	길이 = 확률
$0 < U \leq 0.5$	1	0.5
$0.5 < U \leq 0.7$	2	0.2
$0.7 < U \leq 1$	3	0.3

각 칸의 길이가 그 값의 확률과 같으므로, 균등난수가 그 칸에 떨어질 확률도 정확히 그 값이다.

이 방식이 앞의 정리와 같은 것임을 확인해 두자. $U = 0.6$ 이면 $F (x) \geq 0.6$ 이 되는 가장 작은 값은 $F (2) = 0.7$ 이므로 $x = 2$ 다. 표의 둘째 줄과 같다 ✓

값이 많으면 칸을 하나씩 확인하는 대신 누적합을 미리 만들어 두고 이분탐색으로 찾는다. 원리는 같다.

이 장에서 만든 도구들의 관계를 정리해 둔다.

<값이 띄엄띄엄한가 이어져 있는가에 따라 확률질량함수와 확률밀도함수로 갈리지만, 누적분포함수는 어느 쪽에서나 쓰이고 혼합형까지 담는다>[원본 보기]

4장 정리

기호 · 용어	뜻
확률변수 $X$	$S \to R$ 인 함수. ${X = x}$ 와 ${X \leq x}$ 는 사건이다
지시확률변수 $I_{A}$	$A$ 가 일어나면 1, 아니면 0. 사건과 수를 잇는 다리이며 $I_{A}^{2} = I_{A}$
확률질량함수 $p (x)$	$P (X = x)$ . $p \geq 0$ 이고 $\sum p (x) = 1$ . 높이가 그대로 확률이다
확률밀도함수 $f (x)$	$P (a \leq X \leq b) = \int_{a}^{b} f$ . 높이는 확률이 아니라 단위 길이당 확률이다
밀도의 단위	$x$ 의 단위의 역수. 단위를 바꾸면 값이 변한다
한 점의 확률	연속에서는 $P (X = c) = 0$ . 등호가 있든 없든 확률이 같다
누적분포함수 $F (x)$	$P (X \leq x)$ . 비감소, 오른쪽 연속, 양 끝에서 0 과 1
구간의 확률	$P (a < X \leq b) = F (b) - F (a)$
$F$ 와 $f$ 의 관계	연속이면 $F^{'} (x) = f (x)$ , 이산이면 뛴 높이가 $p (x)$
분위수 $Q (p)$	$min {x : F (x) \geq p}$ . $Q (0.5)$ 가 중앙값
사분위범위	$Q (0.75) - Q (0.25)$ . 가운데 절반의 폭
이산 변환	$p_{Y} (y) = \sum_{g (x) = y} p_{X} (x)$ . 같은 자리로 온 것을 더한다
연속 변환	$F_{Y} (y) = P (g (X) \leq y)$ 를 세우고 미분한다. 단조가 아니어도 통한다
단조변환 공식	$f_{Y} (y) = f_{X} (x (y)) \| d x / d y \|$ . 넓이는 보존되고 자리만 늘거나 준다
역변환 표본추출	$U$ 가 균등이면 $F^{- 1} (U)$ 의 분포는 $F$

꼭 챙겨 갈 것은 넷이다.

확률변수는 함수이고, ' $X = x$ '는 사건이다. 이 두 문장이 뒤의 모든 표기를 지탱한다.
밀도는 확률이 아니다. 높이는 1을 넘을 수 있고 단위에 따라 변한다. 확률이 되려면 반드시 폭을 곱해야(적분해야) 한다.
누적분포함수는 이산과 연속을 하나로 다룬다. 뛴 높이가 확률질량이고 기울기가 확률밀도다.
변환에서는 확률이 보존되고 자리만 바뀐다. 자리가 늘면 밀도가 낮아지고 줄면 높아진다. 단조가 아니면 여러 갈래의 몫을 더해야 한다.

다음 장에서는 분포 전체를 몇 개의 수로 요약한다. 기댓값과 분산부터 시작해 적률까지 가고, 마지막에 적률생성함수라는 도구를 만든다. 그 도구는 7장 이후 계속 쓰인다.

기댓값, 분산, 적률

4장에서 분포를 완전히 적는 법을 배웠다. 확률질량함수든 확률밀도함수든 누적분포함수든, 그것을 알면 확률변수에 대해 알 수 있는 모든 것을 안다. 그런데 완전한 정보는 다루기가 무겁다. 두 분포를 비교하려면 곡선 두 개를 나란히 놓고 눈으로 보아야 한다.

그래서 몇 개의 수로 요약한다. 이 장에서 답할 질문은 넷이다. 기댓값은 정확히 무엇의 평균인가, 흩어진 정도를 어떻게 하나의 수로 재는가, 분포의 모양을 모른 채로도 말할 수 있는 것이 있는가, 그리고 분포 전체를 함수 하나로 압축할 수 있는가.

마지막 물음의 답이 적률생성함수이며, 이 장에서 가장 중요한 도구다. 7장 이후의 분포들과 9장의 중심극한정리가 모두 이것을 쓴다.

앞에서 가져오는 것은 4장의 확률변수·확률질량함수·확률밀도함수·누적분포함수와 변환 공식이다. 기초수학에서는 /posts/fundamental/elementary-mathematics.html > 미분법과 /posts/fundamental/elementary-mathematics.html > 정적분, 특히 이상적분의 수렴·발산 판정을 쓴다. 기댓값과 분산의 이름은 기초수학 12장에서 이미 만났다.

기댓값 — 긴 안목의 평균

확률변수 $X$ 의 기댓값(expected value)은 값에 확률을 곱해 모두 더한 것이다.

$μ = E [X] = {\begin{cases} \sum_{x} x p (x) & 이산 \\ \int_{- \infty}^{\infty} x f (x) d x & 연속 \end{cases}$

두 식은 같은 말이다. 이산에서 각 값에 얹힌 확률 덩어리가 연속에서 밀도로 퍼졌을 뿐이다.

<확률을 무게로 보면 기댓값은 막대가 균형을 이루는 자리다. 다른 곳을 받치면 기운다. 평균에서의 편차에 확률을 곱해 더하면 정확히 0 이 된다>[원본 보기]

그림이 주는 성질을 식으로 적어 두면 다음과 같다.

$E [X - μ] = E [X] - μ = 0$

평균은 편차를 지우는 자리다. 이것이 '중심'이라는 말의 정확한 뜻이다.

기댓값이 무엇의 평균인지도 분명히 해 두자. 한 번 관측했을 때 나올 값이 아니다. 주사위 눈의 기댓값은 $3.5$ 인데 3.5는 나오지 않는다. 기댓값은 같은 시행을 아주 여러 번 반복했을 때의 평균값이다. 왜 그런지는 9장의 큰 수의 법칙이 증명하는데, 그 증명에 이 장의 체비쇼프 부등식이 쓰인다.

한 가지 주의가 필요하다. 기댓값은 존재하지 않을 수도 있다. 위의 합이나 적분이 발산할 수 있기 때문이다. 정확히 말하면 $E [| X |] < \infty$ 일 때에만 기댓값이 존재한다고 한다. 절댓값을 요구하는 이유는, 그렇지 않으면 더하는 순서에 따라 값이 달라지는 일이 생기기 때문이다. 4장 마지막 예제에서 만든 $f (y) = 1 / y^{2}$ ( $y \geq 1$ )이 실제로 그런 경우다. $\int_{1}^{\infty} y \cdot y^{- 2} d y = \int_{1}^{\infty} y^{- 1} d y$ 가 발산하므로 이 분포에는 평균이 없다.

예제 31

어떤 게임에서 참가비가 500원이고, 주사위 한 번을 던져 6이 나오면 3000원을, 4나 5가 나오면 600원을, 나머지는 0원을 받는다. 한 판의 손익의 기댓값을 구하고 이 게임을 계속할 만한지 판정하라.

풀이 보기

구하려는 것은 손익의 기댓값이고 단위는 원이다. 먼저 손익을 확률변수로 적는다.

$Y = (받는 돈) - 500$

각 경우의 확률과 값을 표로 정리한다.

주사위 눈	확률	받는 돈(원)	손익 $y$ (원)
6	1/6	3000	2500
4 또는 5	2/6	600	100
1, 2, 3	3/6	0	−500

정의대로 계산한다.

$E [Y] = 2500 \cdot \frac{1}{6} + 100 \cdot \frac{2}{6} + (- 500) \cdot \frac{3}{6} = \frac{2500 + 200 - 1500}{6} = \frac{1200}{6} = 200$

한 판당 평균 200원 이득이다.

답이 말이 되는지 본다. 확률의 합이 1이고, 가장 큰 값과 가장 작은 값 사이에 답이 들어 있다. 기댓값은 반드시 최솟값과 최댓값 사이에 있어야 한다.

다만 판단은 조심해야 한다. 이길 확률은 $1 / 2$ 뿐이고 절반은 500원을 잃는다. 기댓값이 양수라는 것은 오래 반복했을 때의 이야기다. 한 판만 한다면 손해 볼 확률이 더 크다. 이 '오래 반복'과 '한 번'의 간격을 재는 것이 다음 절의 분산이다.

예제 32

밀도가 $f (x) = 3 x^{2}$ ( $0 \leq x \leq 1$ )인 확률변수의 기댓값을 구하라. 그리고 그 값이 중앙값보다 큰지 작은지 확인하라.

풀이 보기

먼저 확률밀도함수인지 확인한다. $\int_{0}^{1} 3 x^{2} d x = [x^{3}]_{0}^{1} = 1$ ✓

기댓값은 정의대로 적분한다.

$E [X] = \int_{0}^{1} x \cdot 3 x^{2} d x = \int_{0}^{1} 3 x^{3} d x = {[\frac{3 x^{4}}{4}]}_{0}^{1} = 0.75$

중앙값은 $F (m) = 0.5$ 를 푼다. $F (x) = \int_{0}^{x} 3 t^{2} d t = x^{3}$ 이므로

$m^{3} = 0.5 ⟹ m = {0.5}^{1 / 3} \approx 0.794$

평균 $0.75$ 가 중앙값 $0.794$ 보다 작다. 이 분포는 오른쪽 끝에 밀도가 몰려 있고 왼쪽으로 꼬리가 끌린다. 그래서 평균이 왼쪽으로 당겨진 것이다.

방향을 기억해 두면 편하다. 꼬리가 있는 쪽으로 평균이 끌려간다. 앞 장의 대기 시간 분포에서는 오른쪽 꼬리 때문에 평균이 중앙값보다 컸고, 여기서는 반대다.

E[g(X)] — 무의식적 통계학자의 법칙

$Y = g (X)$ 의 기댓값이 필요할 때, 4장의 방법으로 $Y$ 의 분포를 먼저 구한 다음 정의를 적용할 수 있다. 그런데 그럴 필요가 없다.

$E [g (X)] = \sum_{x} g (x) p (x) 또는 E [g (X)] = \int_{- \infty}^{\infty} g (x) f (x) d x$

$g$ 를 값에만 씌우고 확률은 그대로 쓴다. 이것을 무의식적 통계학자의 법칙이라 부른다. 아무 생각 없이 그렇게 써도 맞기 때문에 붙은 이름이다.

<g 를 씌우면 값이 옮겨 가고 두 값이 한자리에서 겹치기도 하지만, 각 값에 얹힌 확률은 그대로 따라간다. 그래서 옮기기 전의 분포로 곧장 계산해도 답이 같다>[원본 보기]

왜 성립하는지는 이산의 경우 한 줄이다. $Y$ 의 확률질량함수는 4장에서 본 대로 $p_{Y} (y) = \sum_{x : g (x) = y} p_{X} (x)$ 이므로

$E [Y] = \sum_{y} y p_{Y} (y) = \sum_{y} y \sum_{x : g (x) = y} p_{X} (x) = \sum_{y} \sum_{x : g (x) = y} g (x) p_{X} (x) = \sum_{x} g (x) p_{X} (x)$

중간에서 $y$ 를 $g (x)$ 로 바꿔 쓸 수 있는 것이 요점이다. 안쪽 합에서는 $g (x) = y$ 이기 때문이다. 마지막에서 이중합이 $x$ 전체에 대한 합으로 합쳐진다. 값이 겹치더라도 확률을 빠뜨리거나 두 번 세지 않는다는 것이 이 계산의 내용이다.

이 법칙에서 선형성이 곧바로 나온다.

$E [a X + b] = a E [X] + b, E [g (X) + h (X)] = E [g (X)] + E [h (X)]$

첫 식은 $g (x) = a x + b$ 를 넣고 합을 쪼개면 나온다. 상수의 기댓값이 그 상수 자신( $E [b] = b$ )이라는 것도 같은 방식이다.

그런데 일차함수가 아니면 이런 성질이 없다.

$E [g (X)] \neq g (E [X]) (일반적으로)$

<아래로 볼록한 함수에서는 두 점을 잇는 현이 곡선 위에 있다. 그래서 함수를 씌운 뒤 평균한 값이 평균을 씌운 값보다 크다. 직선일 때만 두 값이 같아진다>[원본 보기]

그림의 사실을 일반화한 것이 옌센 부등식이다. $g$ 가 아래로 볼록(convex)하면 $E [g (X)] \geq g (E [X])$ 이고, 위로 볼록하면 부등호가 뒤집힌다. 등호는 $g$ 가 직선이거나 $X$ 가 상수일 때만 성립한다.

특히 $g (x) = x^{2}$ 은 아래로 볼록하므로 항상 $E [X^{2}] \geq (E [X])^{2}$ 이다. 이 사실이 다음 절에서 분산이 음수가 될 수 없다는 것을 보증한다.

예제 33

주사위 한 개의 눈을 $X$ 라 할 때 $E [X]$ , $E [X^{2}]$ , $E [1 / X]$ 를 구하라.

풀이 보기

여섯 값이 모두 확률 $1 / 6$ 이므로 법칙을 그대로 쓴다. $X$ 의 분포만 알면 되고 $X^{2}$ 이나 $1 / X$ 의 분포를 따로 구할 필요가 없다.

$E [X] = \frac{1 + 2 + 3 + 4 + 5 + 6}{6} = \frac{21}{6} = 3.5$

$E [X^{2}] = \frac{1 + 4 + 9 + 16 + 25 + 36}{6} = \frac{91}{6} \approx 15.17$

$E [1 / X] = \frac{1}{6} (1 + \frac{1}{2} + \frac{1}{3} + \frac{1}{4} + \frac{1}{5} + \frac{1}{6}) = \frac{1}{6} \cdot \frac{49}{20} = \frac{49}{120} \approx 0.408$

세 값의 관계를 확인해 두자. $(E [X])^{2} = 12.25$ 인데 $E [X^{2}] = 15.17$ 이다. 옌센 부등식대로 후자가 크다.

그리고 $1 / E [X] = 1 / 3.5 \approx 0.286$ 인데 $E [1 / X] \approx 0.408$ 이다. $1 / x$ 도 양수 구간에서 아래로 볼록하므로 역시 $E [g (X)] > g (E [X])$ 다. 평균을 먼저 내는 것과 함수를 먼저 씌우는 것이 다르다는 사실을 두 번 확인한 셈이다.

흔한 오해

자동차가 갈 때는 시속 $40 km / h$ , 올 때는 시속 $60 km / h$ 로 같은 길을 왕복했다. 평균 속력은 $50 km / h$ 인가?

풀이 보기

아니다. $48 km / h$ 다. 편도 거리를 $d$ 라 하면

$평균 속력 = \frac{2 d}{\frac{d}{40} + \frac{d}{60}} = \frac{2}{\frac{1}{40} + \frac{1}{60}} = \frac{2}{\frac{5}{120}} = 48 km / h$

왜 틀렸는가. 평균을 내야 하는 대상이 속력이 아니라 시간이기 때문이다. 느린 구간에서 시간을 더 오래 쓰므로 느린 쪽에 가중치가 더 걸린다.

이 상황이 앞 예제의 $E [1 / X] \neq 1 / E [X]$ 와 같은 구조다. 속력의 역수(단위 거리당 시간)를 평균한 뒤 다시 역수를 취한 것이 실제 평균 속력이고, 그것은 산술평균이 아니라 조화평균이다.

일반화하면 이렇다. 어떤 양을 평균할 때는 '무엇에 대해 평균하는가'를 먼저 정해야 한다. 같은 자료라도 시간에 대해 평균하는지 거리에 대해 평균하는지에 따라 답이 달라진다. 옌센 부등식은 그 차이가 어느 방향으로 나는지까지 알려 준다.

예제 35

서로 다른 편지 5통을 무작위로 5개의 봉투에 하나씩 넣었다. 제 봉투에 들어간 편지 개수의 기댓값을 구하라.

풀이 보기

개수의 분포를 직접 구하려면 순열을 경우별로 세야 해서 번거롭다. 지시확률변수로 쪼개면 한 줄이다.

$I_{i}$ 를 ' $i$ 번째 편지가 제 봉투에 들어감'의 지시확률변수라 하면 제 자리에 간 개수는

$N = I_{1} + I_{2} + \dots + I_{5}$

기댓값은 선형성으로 하나씩 나눠 계산한다.

$E [N] = E [I_{1}] + \dots + E [I_{5}]$

각 편지가 제 봉투에 들어갈 확률은 $1 / 5$ 다(대칭이므로 어느 편지든 같다). 지시확률변수의 기댓값은 그 사건의 확률이므로 $E [I_{i}] = 1 / 5$ 이고

$E [N] = 5 \times \frac{1}{5} = 1$

답이 말이 되는지 본다. 편지가 $n$ 통이면 같은 계산으로 $E [N] = n \cdot (1 / n) = 1$ 이다. 통 수에 상관없이 평균 한 통이 제자리에 간다. 놀랍지만 사실이다.

여기서 배울 것은 방법이다. $I_{i}$ 들은 서로 독립이 아니다(하나가 제자리에 가면 다른 것들의 확률이 바뀐다). 그런데도 계산이 통했다. 기댓값의 선형성은 독립을 요구하지 않는다. 6장에서 보겠지만 분산은 사정이 다르다.

분산과 표준편차

기댓값만으로는 부족하다. 한 판에 항상 200원을 받는 게임과 절반은 2500원을 받고 절반은 2100원을 잃는 게임은 기댓값이 같지만 전혀 다른 게임이다. 흩어진 정도를 재야 한다.

평균에서 떨어진 거리의 평균을 재는데, 그냥 편차를 평균하면 앞에서 본 대로 0이 된다. 부호가 서로 지워지기 때문이다. 그래서 제곱한 뒤 평균한다.

$σ^{2} = V (X) = E [(X - μ)^{2}]$

이것을 분산(variance)이라 한다. 실제 계산에서는 다음 공식이 훨씬 편하다.

$V (X) = E [X^{2}] - μ^{2}$

증명은 전개하고 선형성을 쓰는 것뿐이다.

$E [(X - μ)^{2}] = E [X^{2} - 2 μ X + μ^{2}] = E [X^{2}] - 2 μ E [X] + μ^{2} = E [X^{2}] - 2 μ^{2} + μ^{2} = E [X^{2}] - μ^{2}$

$μ$ 가 상수라는 점이 중간에서 쓰였다. 그리고 옌센 부등식에서 본 $E [X^{2}] \geq μ^{2}$ 덕분에 분산은 절대 음수가 되지 않는다.

선형변환에 대한 성질도 정의에서 나온다.

$V (a X + b) = a^{2} V (X)$

증명. $Y = a X + b$ 의 평균은 $a μ + b$ 이므로 $Y - E [Y] = a (X - μ)$ 다. 양변을 제곱해 기댓값을 취하면 $E [a^{2} (X - μ)^{2}] = a^{2} V (X)$ 다. ■

$b$ 가 사라진 것에 주목하자. 전체를 평행이동해도 흩어진 정도는 변하지 않는다. 그리고 $a$ 는 제곱으로 들어온다. 크기를 두 배로 늘리면 분산은 네 배가 된다.

분산의 단위는 원래 단위의 제곱이다. 키를 $cm$ 로 재면 분산의 단위는 ${cm}^{2}$ 이라 해석하기 어렵다. 그래서 제곱근을 취해 원래 단위로 되돌린다.

$σ = \sqrt{V (X)}$

이것이 표준편차(standard deviation)다. 분포 그림에서 '폭'으로 보이는 것이 이 값이다.

<평균이 같아도 표준편차가 다르면 곡선의 폭이 다르다. σ 가 커지면 낮고 넓어지지만 넓이는 셋 다 1 이다>[원본 보기]

평균을 빼고 표준편차로 나누면 표준화된 확률변수가 된다.

$Z = \frac{X - μ}{σ} ⟹ E [Z] = 0, V (Z) = 1$

확인은 위의 두 성질로 한다. $E [Z] = (μ - μ) / σ = 0$ 이고 $V (Z) = V (X) / σ^{2} = 1$ 이다. 표준화하면 단위가 사라지므로 서로 다른 척도를 비교할 수 있다. 기초수학 12장에서 정규분포에 대해 쓴 그 표준화가 실은 어떤 확률변수에나 쓸 수 있는 작업이다.

예제 36

앞의 주사위 게임(손익 $Y$ : 확률 $1 / 6$ 로 2500원, $2 / 6$ 로 100원, $3 / 6$ 로 −500원)의 분산과 표준편차를 구하라.

풀이 보기

계산 공식 $V (Y) = E [Y^{2}] - μ^{2}$ 를 쓴다. 앞에서 $μ = 200$ 을 구해 두었다.

$E [Y^{2}] = 2500^{2} \cdot \frac{1}{6} + 100^{2} \cdot \frac{2}{6} + (- 500)^{2} \cdot \frac{3}{6}$

$= \frac{6 250 000 + 20 000 + 750 000}{6} = \frac{7 020 000}{6} = 1 170 000$

$V (Y) = 1 170 000 - 200^{2} = 1 170 000 - 40 000 = 1 130 000$

$σ = \sqrt{1 130 000} \approx 1063 원$

답을 읽어 보자. 평균 이득은 200원인데 표준편차가 1063원이다. 흔들림이 평균보다 다섯 배 크다. 한 판만 하면 결과를 거의 예측할 수 없다는 뜻이다. 기댓값만 보고 '이득이니 하자'고 결정하면 안 되는 이유가 이 수에 있다.

정의로도 검산해 두자. $E [(Y - 200)^{2}] = 2300^{2} / 6 + (- 100)^{2} \cdot 2 / 6 + (- 700)^{2} \cdot 3 / 6 = (5 290 000 + 20 000 + 1 470 000) / 6 = 1 130 000$ ✓ 두 방법이 같은 값을 준다. 다만 계산 공식 쪽이 뺄셈을 한 번만 하므로 손이 덜 간다.

예제 37

어떤 시험의 점수가 평균 68점, 표준편차 12점이다. 점수에 $1.2$ 를 곱한 뒤 5점을 더해 새 점수를 만들었다. 새 점수의 평균과 표준편차를 구하라. 그리고 원래 92점이던 학생의 표준화 값이 변환 뒤에도 같은지 확인하라.

풀이 보기

선형변환이므로 두 공식을 그대로 쓴다.

$E [1.2 X + 5] = 1.2 \times 68 + 5 = 81.6 + 5 = 86.6 점$

$V (1.2 X + 5) = {1.2}^{2} V (X) = 1.44 \times 144 = 207.36 ⟹ σ_{new} = \sqrt{207.36} = 14.4 점$

표준편차가 $1.2$ 배가 되었다. 평행이동한 5점은 표준편차에 영향을 주지 않는다.

이제 표준화 값을 비교한다. 변환 전에는

$z = \frac{92 - 68}{12} = 2$

변환 뒤 그 학생의 점수는 $1.2 \times 92 + 5 = 115.4$ 이므로

$z^{'} = \frac{115.4 - 86.6}{14.4} = \frac{28.8}{14.4} = 2$

같다. 우연이 아니다. 일반적으로 $a > 0$ 인 선형변환은 표준화 값을 바꾸지 않는다.

$\frac{(a X + b) - (a μ + b)}{a σ} = \frac{a (X - μ)}{a σ} = \frac{X - μ}{σ}$

표준화 값은 척도를 바꿔도 변하지 않는 양이다. 그래서 서로 다른 시험의 성적을 비교할 때 쓸 수 있다.

마르코프와 체비쇼프 — 모양을 몰라도 말할 수 있는 것

평균과 분산만 알고 분포의 모양은 모른다고 하자. 그래도 '평균에서 크게 벗어날 확률'에 대해 무언가 말할 수 있다. 출발점은 놀랄 만큼 단순한 부등식이다.

마르코프 부등식. $X \geq 0$ 이고 $a > 0$ 이면

$P (X \geq a) \leq \frac{E [X]}{a}$

증명은 두 줄이다. $X \geq 0$ 이므로

$E [X] = \int_{0}^{\infty} x f (x) d x \geq \int_{a}^{\infty} x f (x) d x \geq \int_{a}^{\infty} a f (x) d x = a P (X \geq a)$

첫 부등호는 적분 구간을 줄인 것이고, 두 번째는 그 구간에서 $x \geq a$ 인 것을 썼다. 양변을 $a$ 로 나누면 끝이다. ■

이 부등식을 $(X - μ)^{2}$ 에 적용하면 체비쇼프 부등식이 나온다. $(X - μ)^{2}$ 은 음이 아니고 그 기댓값이 $σ^{2}$ 이므로 $a = k^{2} σ^{2}$ 로 두면

$P ((X - μ)^{2} \geq k^{2} σ^{2}) \leq \frac{σ^{2}}{k^{2} σ^{2}} = \frac{1}{k^{2}}$

왼쪽의 사건은 $| X - μ | \geq k σ$ 와 같으므로

$P (| X - μ | \geq k σ) \leq \frac{1}{k^{2}}$

말로 옮기면 평균에서 표준편차의 $k$ 배보다 멀리 떨어질 확률은 $1 / k^{2}$ 을 넘지 않는다. 분포의 모양을 하나도 가정하지 않았다는 점이 이 결과의 값어치다.

<어떤 분포에서도 참인 대가로 상한이 실제 꼬리 확률보다 훨씬 크다. k = 2 에서 상한은 0.25 인데 정규분포의 실제 값은 0.046 이다>[원본 보기]

그림이 보여 주는 대로 이 상한은 대개 크게 헐겁다. 모양을 모른 채 모든 분포를 한꺼번에 감당해야 하므로 가장 나쁜 경우에 맞춰진 값이기 때문이다. 그리고 $k \leq 1$ 이면 상한이 1 이상이 되어 아무 정보도 주지 않는다.

그렇다면 왜 쓰는가. 세 가지 자리에서 쓴다. 첫째, 분포를 모를 때 최소한의 보장을 준다. 둘째, 어떤 분포에서든 성립하는 정리를 증명할 때 쓴다. 9장의 큰 수의 법칙 증명이 그 예다. 셋째, 표준편차가 '흩어짐'의 척도로 쓸 만하다는 것을 뒷받침한다. $k σ$ 안에 들어오는 비율이 $σ$ 만으로 아래에서 보증되기 때문이다.

예제 38

어떤 웹페이지의 하루 방문자 수의 평균이 500명이다. 하루에 2000명 이상 방문할 확률의 상한을 구하라. 분포에 대해서는 아무것도 모른다.

풀이 보기

방문자 수는 음이 아니고 평균만 알고 있다. 그렇다면 마르코프 부등식이 쓸 수 있는 유일한 도구다.

$P (X \geq 2000) \leq \frac{E [X]}{2000} = \frac{500}{2000} = 0.25$

많아야 25%다.

이 상한이 얼마나 헐거운지 감을 잡아 두자. 만약 방문자 수의 표준편차가 $50$ 명이라고 추가로 알려진다면 체비쇼프를 쓸 수 있다. $2000$ 은 평균에서 $1500$ 명, 즉 $k = 30$ 표준편차 떨어져 있으므로

$P (| X - 500 | \geq 1500) \leq \frac{1}{900} \approx 0.0011$

상한이 250배 좋아졌다. 정보가 하나 늘면 말할 수 있는 것이 크게 늘어난다. 분산을 알면 마르코프보다 체비쇼프를 쓰고, 분포까지 알면 정확한 값을 계산한다.

예제 39

어떤 부품의 수명이 평균 1000시간, 표준편차 100시간이다. 수명이 800시간과 1200시간 사이일 확률의 하한을 체비쇼프 부등식으로 구하라. 만약 수명이 정규분포를 따른다면 실제 값은 얼마인가?

풀이 보기

구간을 표준편차 단위로 읽는 것이 첫 단계다. $800$ 과 $1200$ 은 평균에서 각각 $200$ 시간, 즉 $k = 2$ 표준편차 떨어져 있다.

체비쇼프는 '벗어날 확률'의 상한을 주므로 여사건을 취해 하한으로 바꾼다.

$P (| X - 1000 | < 200) = 1 - P (| X - 1000 | \geq 200) \geq 1 - \frac{1}{2^{2}} = 0.75$

적어도 75%다.

정규분포라면 기초수학 12장의 68·95·99.7 규칙으로 $2 σ$ 안에 약 95%가 들어간다. 즉 실제 값은 약 $0.95$ 다.

두 값을 나란히 두면 체비쇼프의 성격이 보인다. $0.75$ 는 틀린 값이 아니라 보장이다. 어떤 분포든 최소 75%는 들어온다. 정규분포는 그 보장보다 훨씬 좋은 95%를 준다. 꼬리가 두꺼운 분포라면 95%보다 나쁘지만 75%보다는 좋다.

실전에서는 이렇게 쓴다. 분포를 정규라고 가정할 근거가 있으면 95%를 쓰고, 근거가 없으면 75%로 보수적으로 판단한다.

보충

체비쇼프 부등식의 등호가 실제로 달성될 수 있는가? $k = 2$ 에서 $P (| X - μ | \geq 2 σ) = 1 / 4$ 인 분포를 만들어 보라.

풀이 보기

만들 수 있다. 상한이 헐거운 이유가 '가장 나쁜 경우에 맞춰졌기 때문'이라면, 그 가장 나쁜 경우를 직접 구성하면 된다.

확률이 세 자리에만 몰려 있게 한다. $X$ 가 $- 1, 0, 1$ 을 각각 확률 $1 / 8, 6 / 8, 1 / 8$ 로 갖는다고 하자.

$μ = 0$ 이고

$σ^{2} = E [X^{2}] = 1 \cdot \frac{1}{8} + 0 + 1 \cdot \frac{1}{8} = \frac{1}{4} ⟹ σ = \frac{1}{2}$

그러면 $2 σ = 1$ 이므로

$P (| X | \geq 1) = \frac{1}{8} + \frac{1}{8} = \frac{1}{4} = \frac{1}{2^{2}}$

정확히 등호다 ✓

왜 이 분포가 '가장 나쁜' 경우인가. 분산을 만드는 데 쓰인 확률이 모두 정확히 $2 σ$ 자리에 있고 나머지는 전부 중심에 있다. 체비쇼프 증명에서 쓴 두 부등호가 모두 등호가 되는 상황이 이것이다.

이 예가 말하는 것은 이렇다. 체비쇼프 부등식은 개선할 수 없다. 모양을 가정하지 않는 한 $1 / k^{2}$ 보다 좋은 상한은 존재하지 않는다. 헐거워 보이는 것은 부등식이 게을러서가 아니라 우리가 정보를 덜 준 탓이다.

적률 — 분포의 모양을 수로 재기

평균은 $E [X]$ , 분산은 $E [(X - μ)^{2}]$ 이다. 둘 다 '거듭제곱의 기댓값'이라는 같은 틀에 들어간다. 그 틀에 이름을 붙인다.

$k$ 차 적률(moment): $m_{k} = E [X^{k}]$
$k$ 차 중심적률(central moment): $μ_{k} = E [(X - μ)^{k}]$

$m_{1} = μ$ 이고 $μ_{2} = σ^{2}$ 이다. 그리고 $μ_{1} = 0$ 은 앞에서 본 '편차의 합은 0'이다.

3차와 4차 중심적률은 모양에 대한 정보를 준다. 다만 단위를 없애야 비교할 수 있으므로 표준편차로 나눈다.

$왜도 = \frac{μ_{3}}{σ^{3}}, 첨도 = \frac{μ_{4}}{σ^{4}}$

<왜도는 어느 쪽으로 꼬리가 끌리는지를, 첨도는 꼬리가 얼마나 두꺼운지를 잰다. 평균과 분산이 같아도 이 두 수가 다르면 모양이 다르다>[원본 보기]

읽는 법은 이렇다.

값	뜻	예
왜도 = 0	좌우 대칭	정규분포, 균등분포
왜도 > 0	오른쪽으로 꼬리가 길다. 평균이 중앙값보다 크다	대기 시간, 소득
왜도 < 0	왼쪽으로 꼬리가 길다. 평균이 중앙값보다 작다	만점에 몰린 시험 점수
첨도 = 3	정규분포와 같은 꼬리 두께	정규분포
첨도 > 3	꼬리가 두껍다. 극단값이 더 자주 나온다	금융 자산의 수익률

첨도의 기준이 3인 것은 정규분포의 값이 3이기 때문이다. 그래서 $μ_{4} / σ^{4} - 3$ 을 쓰고 초과첨도라 부르기도 한다. 이 문서에서는 3을 기준으로 삼는 쪽을 쓴다.

예제 41

확률변수 $X$ 가 $0, 1, 4$ 를 각각 확률 $0.5, 0.3, 0.2$ 로 갖는다. 평균, 분산, 왜도를 구하고 모양을 말로 설명하라.

풀이 보기

차례로 계산한다. 먼저 평균.

$μ = 0 (0.5) + 1 (0.3) + 4 (0.2) = 0.3 + 0.8 = 1.1$

분산은 계산 공식으로.

$E [X^{2}] = 0 + 1 (0.3) + 16 (0.2) = 0.3 + 3.2 = 3.5 ⟹ σ^{2} = 3.5 - 1.21 = 2.29$

$σ = \sqrt{2.29} \approx 1.513$

3차 중심적률은 정의대로 편차의 세제곱을 평균한다.

$μ_{3} = (0 - 1.1)^{3} (0.5) + (1 - 1.1)^{3} (0.3) + (4 - 1.1)^{3} (0.2)$

$= (- 1.331) (0.5) + (- 0.001) (0.3) + (24.389) (0.2) = - 0.6655 - 0.0003 + 4.8778 = 4.212$

$왜도 = \frac{4.212}{{1.513}^{3}} = \frac{4.212}{3.464} \approx 1.216$

왜도가 양수이므로 오른쪽으로 꼬리가 길다. 그림으로 보면 확률의 대부분(80%)이 0과 1에 몰려 있고 멀리 떨어진 4에 20%가 있다. 그 4가 꼬리 역할을 한다.

검산 삼아 평균과 중앙값을 비교해 보자. 중앙값은 $F (0) = 0.5 \geq 0.5$ 이므로 0이다. 평균 $1.1$ 이 중앙값 0보다 크다. 오른쪽 꼬리가 평균을 끌어당겼다는 앞의 규칙과 일치한다 ✓

계산에서 3차 중심적률의 큰 값이 어디서 왔는지 보아 두자. $(4 - 1.1)^{3} = 24.4$ 하나가 거의 전부다. 세제곱은 멀리 있는 값을 크게 부풀린다. 그래서 왜도와 첨도는 극단값 몇 개에 크게 흔들린다.

예제 42

확률변수 $X$ 가 $- 1, 0, 1$ 을 각각 확률 $\frac{1}{4}, \frac{1}{2}, \frac{1}{4}$ 로 갖는다. 왜도와 첨도를 구하고, 값이 $\pm 1$ 둘뿐이고 확률이 각각 $\frac{1}{2}$ 인 확률변수 $Y$ 와 견주어라.

풀이 보기

구하는 것은 $μ_{3} / σ^{3}$ 와 $μ_{4} / σ^{4}$ 다. 먼저 평균과 분산이 있어야 한다.

$μ = - 1 (\frac{1}{4}) + 0 (\frac{1}{2}) + 1 (\frac{1}{4}) = 0$

평균이 0이므로 중심적률이 곧 적률이다. $(X - μ)^{k} = X^{k}$ 라 계산이 한결 가볍다.

$σ^{2} = E [X^{2}] = 1 (\frac{1}{4}) + 0 + 1 (\frac{1}{4}) = \frac{1}{2}, σ = \frac{1}{\sqrt{2}} \approx 0.7071$

$μ_{3} = E [X^{3}] = (- 1) (\frac{1}{4}) + 0 + (1) (\frac{1}{4}) = 0, μ_{4} = E [X^{4}] = 1 (\frac{1}{4}) + 0 + 1 (\frac{1}{4}) = \frac{1}{2}$

$왜도 = \frac{0}{σ^{3}} = 0, 첨도 = \frac{1 / 2}{(1 / 2)^{2}} = 2$

왜도 0은 계산하기 전에 알 수 있었다. 분포가 0을 중심으로 좌우 대칭이라 홀수 차 중심적률이 서로 지워지기 때문이다 ✓

첨도 2는 정규분포의 3보다 작다. 꼬리가 정규분포보다 얇다는 뜻인데, 이 분포는 애초에 $| x | > 1$ 인 값을 갖지 않으니 당연하다.

$Y$ 와 견주면. $E (Y) = 0$ , $σ^{2} = E [Y^{2}] = 1$ , $μ_{4} = E [Y^{4}] = 1$ 이므로 첨도가 $1 / 1 = 1$ 로 더 작다.

여기가 바닥이다. 표준화한 $Z = (X - μ) / σ$ 에 대해 첨도는 $E (Z^{4})$ 인데, $Z^{2}$ 의 분산이 0 이상이라는 것에서

$V (Z^{2}) = E (Z^{4}) - (E (Z^{2}))^{2} = E (Z^{4}) - 1 \geq 0$

이므로 첨도는 1보다 작을 수 없다. 등호는 $V (Z^{2}) = 0$ , 곧 $Z^{2}$ 이 상수일 때이고 그것은 값이 둘뿐인 분포다. $Y$ 가 정확히 그 경우다 ✓

정리하면 첨도 1이 가장 얇은 꼬리, 3이 정규분포, 그보다 크면 두꺼운 꼬리다. 세 분포를 이 축 위에 나란히 놓아 보면 첨도가 무엇을 재는 수인지 감이 잡힌다.

적률생성함수 — 분포를 함수 하나로 압축한다

적률을 하나씩 계산하는 것은 번거롭다. 그런데 모든 적률을 한꺼번에 담은 함수가 있다.

$M_{X} (t) = E [e^{t X}]$

이것을 적률생성함수(moment generating function, mgf)라 한다. 이산이면 $\sum_{x} e^{t x} p (x)$ , 연속이면 $\int e^{t x} f (x) d x$ 로 계산한다.

다음 계산에는 지수함수를 무한급수로 적은 꼴이 필요하다. 기초수학에는 급수를 다루는 장이 없으므로 여기서 필요한 만큼만 도입한다. 급수 이론 전체를 가르치려는 것이 아니라 이 문서가 쓰는 사실 하나만 세워 두는 것이다.

$e^{u} = 1 + u + \frac{u^{2}}{2!} + \frac{u^{3}}{3!} + \dots = \sum_{k = 0}^{\infty} \frac{u^{k}}{k!}$

이 등식이 그럴듯한 이유는 오른쪽을 한 항씩 미분해 보면 보인다. $u^{k} / k!$ 를 미분하면 $u^{k - 1} / (k - 1)!$ 이므로 전체가 자기 자신으로 되돌아오고, $u = 0$ 을 넣으면 값이 1이다. 기초수학의 /posts/fundamental/elementary-mathematics.html > 자연상수 e 와 자연로그 절이 $e^{u}$ 를 "미분해도 자기 자신이고 $u = 0$ 에서 1인 함수"로 특징지었으므로 오른쪽이 바로 그 함수다. 그런 함수가 하나뿐이라는 것과 항별로 미분해도 된다는 것은 미적분학의 급수 이론이 보증한다. 이 문서는 그 결과만 쓴다.

실제로 쓸 때 기대는 성질은 셋뿐이다. (가) 어떤 실수 $u$ 를 넣어도 급수가 수렴한다. (나) $u$ 가 작으면 앞의 몇 항이 값을 거의 다 차지한다. (다) 기댓값과 무한합의 순서를 바꿔도 된다. 마지막 것은 아무 때나 되는 조작이 아니지만, 이 문서가 다루는 분포에서는 성립한다고 받아 두고 쓴다.

(나)를 수로 확인해 두자. $u = 0.1$ 이면 앞의 네 항이 $1 + 0.1 + 0.005 + 0.000167 = 1.105167$ 이고 참값 $e^{0.1} = 1.105171$ 과 소수 다섯째 자리까지 같다. 이 성질을 9장의 중심극한정리에서 그대로 쓴다. 거기서는 $u$ 자리에 $t / \sqrt{n}$ 이 들어가 $n$ 이 커질수록 뒤쪽 항이 눌린다.

이제 본론이다. 왜 적률생성함수가 적률을 담고 있는가. 위 급수에 $u = t X$ 를 넣어 보면 보인다.

$M_{X} (t) = E [1 + t X + \frac{t^{2} X^{2}}{2!} + \frac{t^{3} X^{3}}{3!} + \dots] = 1 + m_{1} t + m_{2} \frac{t^{2}}{2!} + m_{3} \frac{t^{3}}{3!} + \dots$

$t^{k}$ 의 계수 자리에 $k$ 차 적률이 하나씩 얹혀 있다. 그러니 $t = 0$ 에서 $k$ 번 미분하면 그 적률만 남는다.

$m_{k} = E [X^{k}] = {\frac{d^{k} M_{X} (t)}{d t^{k}} |}_{t = 0}$

특히 $M_{X} (0) = 1$ 이고 $M_{X}^{'} (0) = μ$ , $M_{X}^{″} (0) = E [X^{2}]$ 이므로 분산도 곧바로 나온다.

$V (X) = M_{X}^{″} (0) - (M_{X}^{'} (0))^{2}$

<M(t) 는 t = 0 에서 언제나 1 을 지나고, 그 자리에서의 기울기가 평균이다. 한 번 더 미분한 값이 2차 적률이므로 분산도 여기서 나온다>[원본 보기]

성질 셋을 정리해 둔다. 앞의 두 개는 정의에서 곧바로 나온다.

성질	내용	왜
선형변환	$M_{a X + b} (t) = e^{b t} M_{X} (a t)$	$E [e^{t (a X + b)}] = e^{b t} E [e^{(a t) X}]$
독립인 합	독립이면 $M_{X + Y} (t) = M_{X} (t) M_{Y} (t)$	독립이면 기댓값이 곱으로 쪼개진다 (6장에서 증명)
유일성	$M_{X} = M_{Y}$ 이면 두 분포가 같다	증명은 이 문서의 범위를 넘는다

세 번째가 이 도구의 가장 강한 성질이다. 적률생성함수를 알아내면 분포를 알아낸 것이므로, 어떤 확률변수의 분포를 밝히려면 그 적률생성함수를 계산해 이미 아는 것과 맞춰 보면 된다. 7·8·9장에서 이 전략을 계속 쓴다. 특히 9장의 중심극한정리는 '합의 적률생성함수가 정규분포의 것으로 다가간다'는 형태로 설명된다.

존재성에 대해서는 한 문단만 적어 둔다. $M_{X} (t)$ 는 0을 품는 어떤 구간에서 유한할 때에만 쓸 수 있다. 꼬리가 두꺼운 분포에서는 $e^{t X}$ 가 너무 빨리 커져서 어떤 양수 $t$ 에서도 발산한다. 그런 분포에서는 적률생성함수 대신 $e^{i t X}$ 의 기댓값인 특성함수를 쓴다. 지수의 크기가 항상 1이라 언제나 존재한다는 것이 장점이다. 이 문서에서는 적률생성함수가 존재하는 분포만 다룬다.

예제 43

확률변수 $X$ 가 1과 3을 각각 확률 $1 / 2$ 로 갖는다. 적률생성함수를 구하고 그것으로 평균과 분산을 구하라.

풀이 보기

정의대로 계산한다. 값이 둘뿐이라 합이 두 항이다.

$M_{X} (t) = \frac{1}{2} e^{t} + \frac{1}{2} e^{3 t}$

$t = 0$ 을 넣으면 $M_{X} (0) = 1 / 2 + 1 / 2 = 1$ ✓ (언제나 1이어야 한다)

미분한다.

$M_{X}^{'} (t) = \frac{1}{2} e^{t} + \frac{3}{2} e^{3 t} ⟹ M_{X}^{'} (0) = \frac{1}{2} + \frac{3}{2} = 2$

$M_{X}^{″} (t) = \frac{1}{2} e^{t} + \frac{9}{2} e^{3 t} ⟹ M_{X}^{″} (0) = \frac{1}{2} + \frac{9}{2} = 5$

그러므로

$μ = 2, V (X) = 5 - 2^{2} = 1, σ = 1$

직접 계산으로 검산한다. $E [X] = (1 + 3) / 2 = 2$ ✓, $E [X^{2}] = (1 + 9) / 2 = 5$ ✓, $V (X) = 5 - 4 = 1$ ✓

값이 두 개뿐이니 직접 계산이 더 쉬웠다. 적률생성함수의 값어치는 값이 무한히 많거나 적률이 여러 개 필요할 때 드러난다. 다음 예제가 그런 경우다.

예제 44

밀도가 $f (x) = \frac{1}{5} e^{- x / 5}$ ( $x \geq 0$ )인 확률변수의 적률생성함수를 구하고, 평균·분산·3차 적률을 구하라.

풀이 보기

정의대로 적분한다. 지수를 하나로 모으는 것이 요령이다.

$M_{X} (t) = \int_{0}^{\infty} e^{t x} \cdot \frac{1}{5} e^{- x / 5} d x = \frac{1}{5} \int_{0}^{\infty} e^{- x (1 / 5 - t)} d x$

이 이상적분이 수렴하려면 지수가 음수여야 하므로 $1 / 5 - t > 0$ , 즉 $t < 1 / 5$ 여야 한다. 그 조건에서

$M_{X} (t) = \frac{1}{5} \cdot \frac{1}{1 / 5 - t} = \frac{1}{1 - 5 t} (t < \frac{1}{5})$

이제 미분만 하면 적률이 줄줄이 나온다. $(1 - 5 t)^{- 1}$ 의 도함수를 차례로 구한다.

$M^{'} = 5 (1 - 5 t)^{- 2}, M^{″} = 50 (1 - 5 t)^{- 3}, M^{‴} = 750 (1 - 5 t)^{- 4}$

$t = 0$ 을 넣는다.

$μ = M^{'} (0) = 5, E [X^{2}] = M^{″} (0) = 50, E [X^{3}] = M^{‴} (0) = 750$

$V (X) = 50 - 25 = 25 ⟹ σ = 5$

평균과 표준편차가 같다는 점이 눈에 띈다. 이 분포의 특징이며 8장에서 지수분포라는 이름으로 다시 만난다.

3차 적률까지 필요했다면 직접 적분을 세 번 해야 했을 것이다. 적률생성함수를 한 번 구해 두면 미분만으로 몇 차든 뽑을 수 있다. 이것이 이 도구의 값어치다.

예제 45

위 예제의 $X$ ( $M_{X} (t) = 1 / (1 - 5 t)$ )에 대해 $Y = 2 X + 1$ 의 적률생성함수를 구하고, 그것으로 $E [Y]$ 와 $V (Y)$ 를 구하라. 선형변환 공식으로 얻은 값과 맞는지 확인하라.

풀이 보기

성질을 쓴다. $a = 2$ , $b = 1$ 이므로

$M_{Y} (t) = e^{t} M_{X} (2 t) = \frac{e^{t}}{1 - 10 t} (t < \frac{1}{10})$

미분한다. 곱의 미분법을 쓴다.

$M_{Y}^{'} (t) = \frac{e^{t}}{1 - 10 t} + e^{t} \cdot \frac{10}{(1 - 10 t)^{2}}$

$M_{Y}^{'} (0) = 1 + 10 = 11$

한 번 더 미분하는 대신 값만 필요하니 $t = 0$ 근처의 급수로 읽어도 된다. 여기서는 그대로 미분한다.

$M_{Y}^{″} (t) = \frac{e^{t}}{1 - 10 t} + \frac{10 e^{t}}{(1 - 10 t)^{2}} + \frac{10 e^{t}}{(1 - 10 t)^{2}} + e^{t} \cdot \frac{200}{(1 - 10 t)^{3}}$

$M_{Y}^{″} (0) = 1 + 10 + 10 + 200 = 221$

$E [Y] = 11, V (Y) = 221 - 121 = 100$

앞 절의 선형변환 공식으로 검산한다.

$E [2 X + 1] = 2 (5) + 1 = 11$ ✓

$V (2 X + 1) = 2^{2} \times 25 = 100$ ✓

두 길이 같은 답을 준다. 이 예제의 요점은 적률생성함수가 선형변환을 얼마나 쉽게 처리하는가다. $a$ 는 안쪽 $t$ 를 늘리고 $b$ 는 앞에 $e^{b t}$ 를 붙인다. 분포를 다시 구할 필요가 없다.

보충

4장에서 만든 밀도 $f (y) = 1 / y^{2}$ ( $y \geq 1$ )에 적률생성함수가 존재하지 않음을 보여라.

풀이 보기

정의대로 적어 본다. $t > 0$ 인 경우를 보자.

$M (t) = \int_{1}^{\infty} e^{t y} \cdot \frac{1}{y^{2}} d y$

$y$ 가 커질 때 분자 $e^{t y}$ 는 지수적으로 커지고 분모 $y^{2}$ 은 다항으로만 커진다. 기초수학 10장의 로피탈 정리나 지수함수의 성장 비교로 $e^{t y} / y^{2} \to \infty$ 임을 알 수 있다. 피적분함수가 0으로 가지도 않으므로 적분은 발산한다.

어떤 양수 $t$ 를 골라도 마찬가지다. 그러므로 0을 품는 구간에서 유한할 수 없고, 적률생성함수가 존재하지 않는다.

이 분포에는 평균조차 없었다는 것을 기억하자(4장). 적률이 없으면 적률을 담을 함수도 있을 수 없다.

그래도 이 확률변수의 분포는 멀쩡히 존재한다. 누적분포함수 $F (y) = 1 - 1 / y$ 로 완전히 적힌다. 적률생성함수가 없다는 것은 도구를 못 쓴다는 뜻이지 분포가 이상하다는 뜻이 아니다. 이런 경우에 쓰는 것이 특성함수다.

이 장에서 만든 도구가 서로 어떻게 이어지는지 정리해 둔다.

<분포에서 적률생성함수로 한 번 올라간 뒤 미분으로 적률을 뽑아 내려온다. 선형변환과 독립인 합이 곱셈으로 처리되는 것이 이 길의 값어치다>[원본 보기]

5장 정리

기호 · 용어	뜻
기댓값 $E [X] = μ$	$\sum x p (x)$ 또는 $\int x f (x) d x$ . 확률을 무게로 본 균형점
존재 조건	$E [\| X \|] < \infty$ . 발산하면 평균이 없다
무의식적 통계학자의 법칙	$E [g (X)] = \sum g (x) p (x)$ . g 를 값에만 씌운다
선형성	$E [a X + b] = a E [X] + b$ , $E [g + h] = E [g] + E [h]$ . 독립을 요구하지 않는다
옌센 부등식	g 가 아래로 볼록이면 $E [g (X)] \geq g (E [X])$ . 직선일 때만 등호
분산 $V (X) = σ^{2}$	$E [(X - μ)^{2}] = E [X^{2}] - μ^{2}$ . 절대 음수가 아니다
선형변환	$V (a X + b) = a^{2} V (X)$ . 평행이동은 흩어짐을 바꾸지 않는다
표준편차 $σ$	$\sqrt{V (X)}$ . 원래 단위로 되돌린 값이며 그림의 폭이다
표준화 $Z$	$(X - μ) / σ$ . 평균 0, 분산 1. 척도를 바꿔도 변하지 않는다
마르코프 부등식	$X \geq 0$ 이면 $P (X \geq a) \leq E [X] / a$
체비쇼프 부등식	$P (\| X - μ \| \geq k σ) \leq 1 / k^{2}$ . 모양을 가정하지 않으며 개선할 수 없다
적률 $m_{k}$	$E [X^{k}]$ . 중심적률은 $μ_{k} = E [(X - μ)^{k}]$
왜도	$μ_{3} / σ^{3}$ . 양수면 오른쪽 꼬리, 음수면 왼쪽 꼬리
첨도	$μ_{4} / σ^{4}$ . 정규분포가 3 이고 그보다 크면 꼬리가 두껍다
적률생성함수 $M_{X} (t)$	$E [e^{t X}]$ . $M^{(k)} (0) = E [X^{k}]$
$M$ 의 성질	$M_{a X + b} (t) = e^{b t} M_{X} (a t)$ , 독립이면 곱, 같으면 분포도 같다

꼭 챙겨 갈 것은 넷이다.

기댓값은 무게중심이고, 함수를 씌워도 확률은 그대로 쓴다. 선형성은 독립 없이도 성립하지만, 일차함수가 아니면 $E [g (X)]$ 와 $g (E [X])$ 가 다르다.
분산은 제곱의 평균에서 평균의 제곱을 뺀 것이고, 그 단위가 제곱이라 표준편차를 함께 쓴다. 평행이동은 분산을 바꾸지 않는다.
체비쇼프 부등식은 모양을 모를 때의 최소한의 보장이다. 헐거워 보이지만 더 좋게 만들 수 없다. 정보를 더 주면(분포를 알면) 훨씬 좋은 답이 나온다.
적률생성함수는 분포를 함수 하나로 압축한 것이다. 미분하면 적률이 나오고, 두 확률변수의 적률생성함수가 같으면 분포도 같다. 이 성질 때문에 뒤의 여러 장이 이 도구에 의지한다.

다음 장에서는 확률변수를 둘 다룬다. 두 변수를 함께 적는 결합분포를 정의하고, 그 과정에서 이중적분을 그 자리에서 도입한다. 그리고 두 변수가 서로 얼마나 얽혀 있는지 재는 공분산과 상관계수를 만든다.

결합분포와 독립

지금까지 확률변수는 하나뿐이었다. 그런데 실제로 궁금한 것은 대개 둘 사이의 관계다. 키와 몸무게, 공부 시간과 점수, 광고비와 매출. 각각의 분포를 따로 아는 것만으로는 이런 물음에 답할 수 없다.

이 장에서 답할 질문은 넷이다. 두 변수를 함께 어떻게 적는가, 한쪽 값을 알았을 때 다른 쪽의 분포는 어떻게 바뀌는가, 두 변수가 서로 무관하다는 말의 정확한 뜻은 무엇인가, 그리고 얽힌 정도를 수 하나로 재려면 어떻게 해야 하는가.

앞에서 가져오는 것은 4장의 확률질량함수·확률밀도함수·누적분포함수와 5장의 기댓값·분산·적률생성함수다. 3장의 조건부확률과 독립도 계속 쓴다. 새 수학 도구가 하나 필요한데 기초수학에 없다. 이중적분이다. 두 번째 절에서 그 자리에서 도입한다. 도구 전체를 배우는 것이 아니라 이 장에서 쓸 만큼만 배운다.

마지막 절에서 이 문서의 두 번째 큰 오해를 정면으로 다룬다. 상관계수는 직선 관계만 잡는다.

두 변수를 함께 적는다

두 확률변수 $X, Y$ 를 함께 다루려면 ' $X$ 가 이 값이고 동시에 $Y$ 가 저 값'일 확률을 알아야 한다. 이산이면

$f (x, y) = P (X = x, Y = y)$

를 결합확률질량함수라 한다. 쉼표는 '그리고'이고, 사건으로 쓰면 ${X = x} \cap {Y = y}$ 다. 조건은 4장과 같은 꼴이다. $f (x, y) \geq 0$ 이고 모든 값에 대한 합이 1이다.

값이 몇 개뿐이면 표로 적는 것이 가장 편하다.

<표 안쪽 아홉 칸이 결합확률이고 행과 열의 합이 각 변수의 주변분포다. 안쪽을 보아야 두 변수의 관계가 보이고, 가장자리만 보아서는 알 수 없다>[원본 보기]

연속이면 4장에서 밀도를 도입한 것과 같은 방식으로 결합확률밀도함수 $f (x, y)$ 를 둔다. 확률은 이제 넓이가 아니라 부피로 읽는다.

$P ((X, Y) \in A) = \iint_{A} f (x, y) d x d y, f \geq 0, \iint_{R^{2}} f (x, y) d x d y = 1$

적분 기호가 둘이다. 그것을 계산하는 법이 다음 절이다. 그림을 먼저 잡아 두자. 한 변수일 때 $f (x)$ 는 곡선이고 확률은 그 아래 넓이였다. 두 변수일 때 $f (x, y)$ 는 곡면이고 확률은 그 아래 부피다. '단위 길이당 확률'이 '단위 넓이당 확률'로 바뀐 것뿐이다.

예제 47

위 그림의 표는 다음과 같다. $P (X = 1, Y = 2)$ , $P (X \leq 1, Y \leq 1)$ , $P (X = Y)$ 를 구하라.

	$x = 0$	$x = 1$	$x = 2$
$y = 0$	0.10	0.05	0.05
$y = 1$	0.08	0.20	0.12
$y = 2$	0.02	0.15	0.23

풀이 보기

첫째는 칸 하나를 읽는 것이다.

$P (X = 1, Y = 2) = 0.15$

둘째는 조건을 만족하는 칸을 모두 더한다. $x \leq 1$ 이고 $y \leq 1$ 인 칸은 왼쪽 위 $2 \times 2$ 부분이다.

$P (X \leq 1, Y \leq 1) = 0.10 + 0.05 + 0.08 + 0.20 = 0.43$

셋째는 대각선 칸이다.

$P (X = Y) = 0.10 + 0.20 + 0.23 = 0.53$

검산은 전체 합으로 한다. 아홉 칸을 모두 더하면 1.00 이다 ✓ 표를 읽으며 감을 잡아 두자. 대각선 칸의 값이 큰 쪽으로 몰려 있다. $X$ 와 $Y$ 가 함께 커지는 경향이 있다는 뜻이고, 이 경향을 수로 재는 것이 이 장 뒤쪽의 공분산이다.

예제 48

위 표에서 $P (X + Y \leq 2)$ 를 구하라. 그리고 $X$ 와 $Y$ 가 각각 '주문한 음료 수'와 '주문한 디저트 수'라고 할 때 이 값이 무엇을 뜻하는지 말하라.

풀이 보기

조건 $x + y \leq 2$ 를 만족하는 칸을 찾는다. 표의 각 칸에서 두 좌표의 합을 계산하면

$(x, y)$	합	조건 만족	확률
(0,0) (1,0) (0,1)	0, 1, 1	만족	0.10, 0.05, 0.08
(2,0) (1,1) (0,2)	2, 2, 2	만족	0.05, 0.20, 0.02
(2,1) (1,2) (2,2)	3, 3, 4	불만족	—

만족하는 여섯 칸을 더한다.

$P (X + Y \leq 2) = 0.10 + 0.05 + 0.08 + 0.05 + 0.20 + 0.02 = 0.50$

정확히 절반이다. 뜻은 '한 손님이 음료와 디저트를 합쳐 두 개 이하 주문할 확률이 0.5'다. 여기서 짚어 둘 것이 있다. $X + Y$ 라는 새 확률변수의 분포가 결합분포로부터 결정된다. 두 변수의 주변분포만 알아서는 이 값을 계산할 수 없다. 합이 되는 조합의 확률이 표 안쪽에 있기 때문이다.

실제로 $X + Y$ 의 확률질량함수를 전부 적으면 $P (0) = 0.10$ , $P (1) = 0.13$ , $P (2) = 0.27$ , $P (3) = 0.27$ , $P (4) = 0.23$ 이고 합이 1이다 ✓

이중적분 — 안쪽부터 차례로 한다

연속인 두 변수를 다루려면 이중적분이 필요하다. 겁먹을 것 없다. 새로운 기술이 아니라 보통 적분을 두 번 하는 것이며, 한 번은 다른 문자를 상수로 두고 한다. 직사각형 영역 $a \leq x \leq b$ , $c \leq y \leq d$ 에서는 이렇게 계산한다.

$\iint_{R} f (x, y) d x d y = \int_{c}^{d} [\int_{a}^{b} f (x, y) d x] d y$

대괄호 안쪽을 먼저 계산한다. 그때 $y$ 는 그냥 상수다. 안쪽 적분이 끝나면 $y$ 만 남은 함수가 되고, 그것을 다시 적분한다.

<한 y 를 고정해 자른 단면의 넓이를 먼저 구하는 것이 안쪽 적분이고, 그 넓이를 y 방향으로 쌓는 것이 바깥 적분이다. 결과는 곡면 아래의 부피다>[원본 보기]

말로 옮기면 이렇다. 먼저 $y$ 를 하나 고정하면 $f (x, y)$ 가 $x$ 만의 함수가 되므로 그 아래 넓이 $A (y)$ 를 구할 수 있다. 그다음 $A (y)$ 를 $y$ 로 적분한다. 단면을 쌓아 부피를 만드는 것이다. 직사각형 영역에서는 순서를 바꿔도 답이 같다.

<세로 띠로 잘라 세로 방향부터 적분하든 가로 띠로 잘라 가로 방향부터 적분하든 같은 부피가 나온다. 적분 범위가 상수일 때만 이렇게 자유롭다>[원본 보기]

영역이 직사각형이 아니면 사정이 조금 다르다. 안쪽 적분의 범위에 바깥 변수가 들어온다. 예를 들어 $0 \leq x \leq 1$ 이고 $0 \leq y \leq 1 - x$ 인 삼각형에서 $f (x, y) = x + y$ 를 적분하면

$\int_{0}^{1} [\int_{0}^{1 - x} (x + y) d y] d x = \int_{0}^{1} {[x y + \frac{y^{2}}{2}]}_{y = 0}^{y = 1 - x} d x = \int_{0}^{1} [x (1 - x) + \frac{(1 - x)^{2}}{2}] d x$

$= \int_{0}^{1} x d x - \int_{0}^{1} x^{2} d x + \frac{1}{2} \int_{0}^{1} (1 - x)^{2} d x = \frac{1}{2} - \frac{1}{3} + \frac{1}{6} = \frac{1}{3}$

요령은 하나다. 영역을 그려 놓고 ' $x$ 를 고정했을 때 $y$ 가 어디부터 어디까지인가'를 읽어 안쪽 범위를 적는다. 이 장에서 다루는 영역은 직사각형과 삼각형뿐이다.

예제 49

결합밀도가 $f (x, y) = c (x + y)$ ( $0 \leq x \leq 1$ , $0 \leq y \leq 1$ )이고 그 밖에서는 0 이다. 상수 $c$ 를 정하고 $P (X \leq \frac{1}{2}, Y \leq \frac{1}{2})$ 를 구하라.

풀이 보기

4장에서 배운 절차와 같다. 전체 적분이 1이라는 조건이 상수를 정해 준다. 다만 이제 적분이 두 번이다.

안쪽부터 한다. $x$ 를 상수로 두고 $y$ 로 적분한다.

$\int_{0}^{1} c (x + y) d y = c {[x y + \frac{y^{2}}{2}]}_{0}^{1} = c (x + \frac{1}{2})$

이제 $x$ 로 적분한다.

$\int_{0}^{1} c (x + \frac{1}{2}) d x = c {[\frac{x^{2}}{2} + \frac{x}{2}]}_{0}^{1} = c (\frac{1}{2} + \frac{1}{2}) = c$

이것이 1이어야 하므로 $c = 1$ , 즉 $f (x, y) = x + y$ 다. 이제 확률을 구한다. 범위만 바뀌고 절차는 같다.

$P (X \leq \frac{1}{2}, Y \leq \frac{1}{2}) = \int_{0}^{1 / 2} [\int_{0}^{1 / 2} (x + y) d y] d x$

안쪽 적분은

$\int_{0}^{1 / 2} (x + y) d y = {[x y + \frac{y^{2}}{2}]}_{0}^{1 / 2} = \frac{x}{2} + \frac{1}{8}$

바깥 적분은

$\int_{0}^{1 / 2} (\frac{x}{2} + \frac{1}{8}) d x = {[\frac{x^{2}}{4} + \frac{x}{8}]}_{0}^{1 / 2} = \frac{1}{16} + \frac{1}{16} = \frac{1}{8} = 0.125$

답이 말이 되는지 본다. 정사각형의 왼쪽 아래 4분의 1 영역인데 확률은 $1 / 8$ 로 4분의 1보다 작다. 밀도 $x + y$ 가 오른쪽 위로 갈수록 커지니 왼쪽 아래에 확률이 덜 실린 것이 맞다. 순서를 바꿔 $x$ 를 먼저 적분해도 대칭이라 같은 값이 나온다.

예제 50

위 결합밀도 $f (x, y) = x + y$ (단위정사각형)에 대해 $P (X + Y \leq 1)$ 을 구하라.

풀이 보기

영역이 직사각형이 아니다. $x + y \leq 1$ 은 정사각형을 대각선으로 자른 아래쪽 삼각형이다. 그러니 안쪽 적분의 범위에 $x$ 가 들어온다.

$x$ 를 하나 고정하면 $y$ 는 0부터 $1 - x$ 까지 갈 수 있다.

$P (X + Y \leq 1) = \int_{0}^{1} [\int_{0}^{1 - x} (x + y) d y] d x$

이 적분은 앞에서 이미 계산했고 값은 $1 / 3$ 이다. 답이 말이 되는지 본다. 영역의 넓이는 정사각형의 절반이지만 확률은 $1 / 3$ 로 절반보다 작다. 잘라 낸 쪽(오른쪽 위)이 밀도가 높은 쪽이므로 당연하다.

여기서 자주 나오는 실수를 하나 짚는다. 안쪽 범위를 $0$ 부터 $1$ 까지로 두면 정사각형 전체를 적분한 것이 되어 답이 1이 나온다. 영역을 먼저 그리고 범위를 읽는 습관을 들이는 것이 이 계산의 전부다.

주변분포와 조건부분포

결합분포를 알면 각 변수의 분포를 되찾을 수 있다. 관심 없는 변수를 더해서 지운다.

$g (x) = \sum_{y} f (x, y) 또는 g (x) = \int_{- \infty}^{\infty} f (x, y) d y$

이것을 $X$ 의 주변분포(marginal distribution)라 한다. 표의 가장자리에 적기 때문에 붙은 이름이다. $Y$ 의 주변분포 $h (y)$ 도 같은 방식으로 정의한다.

반대 방향은 되지 않는다. 주변분포 둘을 알아도 결합분포를 복원할 수 없다. 표의 가장자리가 같은데 안쪽이 다른 표를 여러 개 만들 수 있기 때문이다. 이 비대칭이 이 절의 요점이다.

이제 한쪽을 알았을 때의 분포를 정의한다. 3장의 조건부확률을 그대로 옮기면

$f (y ∣ x) = \frac{f (x, y)}{g (x)} (g (x) > 0)$

이것이 조건부분포다. 분모가 하는 일을 그림으로 보아 두자.

<결합밀도를 한 x 에서 자른 단면은 넓이가 1 이 아니므로 아직 확률분포가 아니다. 주변밀도로 나누어 넓이를 1 로 맞춘 것이 조건부밀도다>[원본 보기]

3장에서 본 그것과 같다. 분모는 줄어든 세계의 확률을 다시 1로 맞춘다. 그래서 $f (y ∣ x)$ 는 $y$ 에 대한 어엿한 확률분포다. 실제로

$\int f (y ∣ x) d y = \frac{\int f (x, y) d y}{g (x)} = \frac{g (x)}{g (x)} = 1$

예제 51

앞의 표에서 $X$ 와 $Y$ 의 주변분포를 구하고, $X = 1$ 일 때 $Y$ 의 조건부분포를 구하라.

풀이 보기

주변분포는 행과 열을 더하는 것이다. 열을 더하면 $X$ 의 주변이 나온다.

$g (0) = 0.10 + 0.08 + 0.02 = 0.20, g (1) = 0.05 + 0.20 + 0.15 = 0.40, g (2) = 0.05 + 0.12 + 0.23 = 0.40$

행을 더하면 $Y$ 의 주변이 나온다.

$h (0) = 0.20, h (1) = 0.40, h (2) = 0.40$

두 주변분포가 우연히 같다. 조건부분포는 $X = 1$ 인 열을 $g (1) = 0.40$ 으로 나눈 것이다.

$f (0 ∣ 1) = \frac{0.05}{0.40} = 0.125, f (1 ∣ 1) = \frac{0.20}{0.40} = 0.5, f (2 ∣ 1) = \frac{0.15}{0.40} = 0.375$

합이 $0.125 + 0.5 + 0.375 = 1$ ✓ 확률분포가 맞다.

두 분포를 비교해 보자. 조건 없이는 $P (Y = 0) = 0.20$ 인데 $X = 1$ 을 알고 나면 $0.125$ 로 줄었다. $X$ 를 알면 $Y$ 에 대한 예측이 달라진다. 즉 두 변수는 독립이 아니다. 이것을 정확히 판정하는 것이 뒤의 독립 절이다.

예제 52

결합밀도 $f (x, y) = x + y$ (단위정사각형)에 대해 $X$ 의 주변밀도와 $X = 0.7$ 일 때 $Y$ 의 조건부밀도를 구하라. 그리고 $P (Y \leq 0.5 ∣ X = 0.7)$ 을 구하라.

풀이 보기

주변밀도는 앞의 예제에서 이미 계산해 둔 안쪽 적분이다.

$g (x) = \int_{0}^{1} (x + y) d y = x + \frac{1}{2} (0 \leq x \leq 1)$

검산. $\int_{0}^{1} (x + 0.5) d x = 0.5 + 0.5 = 1$ ✓

$g (0.7) = 1.2$ 이므로 조건부밀도와 그 확인은 다음과 같다.

$f (y ∣ 0.7) = \frac{0.7 + y}{1.2} (0 \leq y \leq 1)$

$\int_{0}^{1} \frac{0.7 + y}{1.2} d y = \frac{0.7 + 0.5}{1.2} = 1$ ✓ 확률은 이 밀도를 적분한다.

$P (Y \leq 0.5 ∣ X = 0.7) = \int_{0}^{0.5} \frac{0.7 + y}{1.2} d y = \frac{1}{1.2} {[0.7 y + \frac{y^{2}}{2}]}_{0}^{0.5} = \frac{0.35 + 0.125}{1.2} = \frac{0.475}{1.2} \approx 0.396$

답이 말이 되는지 본다. 절반이 되지 않는다. 조건부밀도가 $y$ 에 대해 증가하므로 위쪽 절반에 확률이 더 실린다. 그래서 아래쪽 절반의 확률이 0.5보다 작아야 한다.

조건이 없을 때와 비교해 두면 좋다. $h (y) = y + 0.5$ 이므로 $P (Y \leq 0.5) = \int_{0}^{0.5} (y + 0.5) d y = 0.375$ 다. 조건을 알고 나서 값이 $0.375$ 에서 $0.396$ 으로 조금 올라갔을 뿐이니 두 변수의 얽힘이 약하다. 실제로 이 분포는 $E [X] = 7 / 12$ , $E [X Y] = 1 / 3$ 이라 $Cov = 1 / 3 - (7 / 12)^{2} = - 1 / 144$ 이고 $V (X) = V (Y) = 11 / 144$ 이므로 상관계수가 $- 1 / 11 \approx - 0.09$ 다. 부호가 음수인 것도 눈여겨볼 만하다. 밀도가 $x + y$ 라 오른쪽 위가 높은데도 그렇다.

조건부 기댓값과 전체기댓값 법칙

조건부분포도 분포이므로 기댓값을 낼 수 있다.

$E [Y ∣ X = x] = \sum_{y} y f (y ∣ x) 또는 \int y f (y ∣ x) d y$

이것을 조건부 기댓값이라 한다. 여기서 매우 중요한 구별을 해 두어야 한다.

$E [Y ∣ X = x]$ 는 수다. $x$ 를 정하면 값이 하나 정해진다.
$E [Y ∣ X]$ 는 확률변수다. $X$ 가 어떤 값이 되느냐에 따라 값이 달라지므로 $X$ 의 함수이며, 따라서 그 자체가 확률변수다.

두 번째가 처음에는 낯설지만 이 관점이 있어야 다음 정리를 적을 수 있다.

$E [E [Y ∣ X]] = E [Y]$

이것을 전체기댓값 법칙(law of total expectation)이라 한다. 이산의 경우 증명은 두 줄이다.

$E [E [Y ∣ X]] = \sum_{x} E [Y ∣ X = x] g (x) = \sum_{x} (\sum_{y} y \frac{f (x, y)}{g (x)}) g (x) = \sum_{y} y \sum_{x} f (x, y) = \sum_{y} y h (y) = E [Y]$

$g (x)$ 가 약분되는 것이 핵심이고, 그다음은 합의 순서를 바꿔 주변분포를 만든 것이다. ■

구조를 보면 3장의 전확률 정리와 같다. 경우를 나눠 각각의 평균을 구한 뒤 그 평균들을 다시 확률로 가중평균한다. 어려운 문제를 조건을 걸어 쉬운 조각으로 쪼갤 때 이 정리를 쓴다.

예제 53

앞의 표에서 $E [Y ∣ X = x]$ 를 $x = 0, 1, 2$ 각각에 대해 구하고, 전체기댓값 법칙이 성립함을 확인하라.

풀이 보기

각 열을 그 열의 합으로 나눈 뒤 기댓값을 계산한다.

$x = 0$ : 조건부확률이 $0.10 / 0.20 = 0.5$ , $0.08 / 0.20 = 0.4$ , $0.02 / 0.20 = 0.1$ 이므로

$E [Y ∣ X = 0] = 0 (0.5) + 1 (0.4) + 2 (0.1) = 0.6$

$x = 1$ : 앞 예제에서 구한 $0.125, 0.5, 0.375$ 이므로

$E [Y ∣ X = 1] = 0 + 0.5 + 0.75 = 1.25$

$x = 2$ : $0.05 / 0.40 = 0.125$ , $0.12 / 0.40 = 0.3$ , $0.23 / 0.40 = 0.575$ 이므로

$E [Y ∣ X = 2] = 0 + 0.3 + 1.15 = 1.45$

이 세 값이 확률변수 $E [Y ∣ X]$ 의 값이고 각각의 확률이 $g (x) = 0.20, 0.40, 0.40$ 이다. 그 기댓값은

$E [E [Y ∣ X]] = 0.6 (0.20) + 1.25 (0.40) + 1.45 (0.40) = 0.12 + 0.50 + 0.58 = 1.20$

직접 구한 $E [Y]$ 와 비교한다. $E [Y] = 0 (0.20) + 1 (0.40) + 2 (0.40) = 1.20$ ✓ 성립한다.

읽어 두자. 조건부 기댓값이 $0.6 \to 1.25 \to 1.45$ 로 증가한다. $X$ 가 커지면 $Y$ 도 평균적으로 커진다. 앞에서 표를 보고 짐작한 것이 수로 확인되었다.

예제 54

어느 가게에 하루에 오는 손님 수 $N$ 의 평균이 20명이고, 손님 한 사람이 쓰는 금액 $X$ 의 평균이 8000원이다. 손님 수와 각자의 지출은 서로 무관하다고 본다. 하루 매출의 기댓값을 구하라.

풀이 보기

하루 매출은 $S = X_{1} + X_{2} + \dots + X_{N}$ 인데, 더하는 항의 개수 자체가 확률변수다. 이런 것을 직접 계산하기는 어렵다. 손님 수로 조건을 걸면 쉬워진다.

$N = n$ 이 주어지면 항이 정확히 $n$ 개이므로 5장의 선형성을 쓸 수 있다.

$E [S ∣ N = n] = E [X_{1} + \dots + X_{n}] = n E [X] = 8000 n$

즉 확률변수로서 $E [S ∣ N] = 8000 N$ 이다. 이제 전체기댓값 법칙을 쓴다.

$E [S] = E [E [S ∣ N]] = E [8000 N] = 8000 E [N] = 8000 \times 20 = 160 000 원$

답이 말이 되는지 본다. '평균 손님 수 × 평균 지출'이라는 상식적인 답이 나왔다. 상식이 맞다는 것을 확인한 셈인데, 그 확인이 필요한 이유가 있다. 두 확률변수의 곱의 기댓값이 기댓값의 곱이 되는 것은 일반적으로 성립하지 않는다. 여기서 성립한 것은 손님 수와 지출액이 무관하다는 조건 때문이다.

조건을 바꿔 보면 차이가 드러난다. 손님이 많은 날에 1인당 지출이 줄어든다면(붐벼서 오래 못 머문다면) 매출은 16만 원보다 작아진다. 그때는 $E [S ∣ N = n] = n \cdot m (n)$ 처럼 조건부 평균이 $n$ 에 따라 달라지고, 전체기댓값 법칙을 쓸 때 그 함수를 그대로 넣어야 한다.

확률변수의 독립

3장에서 사건의 독립을 정의했다. 확률변수의 독립은 '가능한 모든 사건에 대해' 그것을 요구한다.

$X ⟂ Y ⟺ f (x, y) = g (x) h (y) 모든 (x, y) 에 대해$

같은 말을 조건부분포로 적으면 $f (y ∣ x) = h (y)$ 다. $X$ 를 알아도 $Y$ 의 분포가 바뀌지 않는다는 뜻이다.

'모든 $(x, y)$ '라는 조건이 결정적이다. 한 칸이라도 어긋나면 독립이 아니다. 그리고 이 조건에는 눈에 잘 안 보이는 함정이 하나 있다.

$f$ 가 0이 아닌 영역(지지집합)이 직사각형이 아니면 독립일 수 없다. 왜 그런가. $f (x_{0}, y_{0}) = 0$ 인데 $g (x_{0}) > 0$ 이고 $h (y_{0}) > 0$ 인 자리가 하나라도 있으면 곱셈이 깨지기 때문이다. 삼각형이나 원 모양의 영역에서는 반드시 그런 자리가 있다.

식이 쪼개지는지만 보고 영역을 보지 않으면 틀린다. 바로 다음 예제가 그 함정이다.

예제 55

앞의 표에서 $X$ 와 $Y$ 가 독립인지 판정하라.

풀이 보기

주변분포는 이미 구했다. $g = (0.20, 0.40, 0.40)$ , $h = (0.20, 0.40, 0.40)$ 이다. 독립이라면 각 칸이 두 주변확률의 곱이어야 한다. 곱을 표로 만들어 원래 표와 비교한다.

칸	실제 $f (x, y)$	곱 $g (x) h (y)$	같은가
(0, 0)	0.10	0.20 × 0.20 = 0.04	아니다
(1, 1)	0.20	0.40 × 0.40 = 0.16	아니다
(2, 2)	0.23	0.40 × 0.40 = 0.16	아니다

첫 칸에서 이미 어긋나므로 독립이 아니다. 하나만 확인해도 판정은 끝난다. 어긋난 방향도 읽어 두자. 대각선 칸에서 실제 확률이 곱보다 크다. 즉 두 변수가 함께 크거나 함께 작은 경우가 독립일 때보다 더 자주 일어난다. 조건부 기댓값이 증가했던 것과 같은 이야기다.

참고로 독립인 표를 만들려면 가장자리를 그대로 두고 안쪽을 곱으로 채우면 된다. 그러면 주변분포는 같은데 안쪽이 전혀 다른 표가 된다. 주변분포만으로는 결합분포를 알 수 없다는 앞의 말이 이렇게 확인된다.

흔한 오해

결합밀도가 $f (x, y) = 2$ ( $0 < x < y < 1$ )이고 그 밖에서는 0 이다. ' $f$ 가 상수이므로 $x$ 만의 함수와 $y$ 만의 함수의 곱( $2 = 2 \times 1$ )으로 쪼개진다. 따라서 독립이다.' 이 판정은 맞는가?

풀이 보기

틀렸다. 영역이 직사각형이 아니기 때문이다.

주변밀도를 실제로 구해 보면 분명해진다. $x$ 를 고정하면 $y$ 는 $x$ 부터 1까지 갈 수 있다.

$g (x) = \int_{x}^{1} 2 d y = 2 (1 - x) (0 < x < 1)$

$y$ 를 고정하면 $x$ 는 0부터 $y$ 까지다.

$h (y) = \int_{0}^{y} 2 d x = 2 y (0 < y < 1)$

곱을 만들어 비교한다.

$g (x) h (y) = 4 y (1 - x)$

상수 2와 같을 수 없다. 예컨대 $x = 0.1, y = 0.2$ 에서 $g h = 4 (0.2) (0.9) = 0.72 \neq 2$ 다. 더 결정적인 자리를 짚어 보자. $(x, y) = (0.8, 0.2)$ 는 $x > y$ 이므로 $f = 0$ 이다. 그런데 $g (0.8) = 0.4 > 0$ 이고 $h (0.2) = 0.4 > 0$ 이므로 곱은 양수다. 한쪽은 0이고 한쪽은 양수이니 같을 수가 없다.

뜻으로 보면 당연하다. $X < Y$ 라는 제약 자체가 정보다. $X = 0.9$ 라는 것을 알면 $Y$ 는 $0.9$ 보다 커야 하므로 $Y$ 의 분포가 크게 달라진다. 한 변수가 다른 변수의 가능한 범위를 제한하면 절대 독립이 아니다.

실전 규칙으로 삼아 두자. 독립을 판정할 때는 식이 쪼개지는가와 영역이 직사각형인가를 둘 다 본다.

공분산과 상관계수

독립인지 아닌지는 판정할 수 있게 되었다. 그러나 '얼마나' 얽혀 있는지는 아직 수로 재지 못했다. 그것을 재는 것이 공분산이다.

$Cov (X, Y) = σ_{X Y} = E [(X - μ_{X}) (Y - μ_{Y})] = E [X Y] - μ_{X} μ_{Y}$

두 번째 형태의 증명은 5장의 분산 공식과 똑같이 전개하면 나온다. $Cov (X, X) = V (X)$ 이므로 분산은 공분산의 특별한 경우다.

<두 편차의 곱이 양수인 칸에 점이 몰리면 공분산이 양수이고 음수인 칸에 몰리면 음수다. 네 칸이 서로 지우면 0 이 된다>[원본 보기]

부호를 읽는 법이 그림에 있다. 두 변수가 함께 평균보다 크거나 함께 작으면 곱이 양수이고 어긋나면 음수이므로, 공분산의 부호는 '같이 움직이는가'를 말한다.

문제는 크기다. 공분산의 단위는 두 변수의 단위의 곱이라 값만으로는 크고 작음을 판단할 수 없다. 키를 cm 에서 m 로 바꾸면 공분산이 100분의 1이 된다. 그래서 각자의 표준편차로 나눠 단위를 없앤다.

$ρ = ρ_{X Y} = \frac{Cov (X, Y)}{σ_{X} σ_{Y}}$

이것이 상관계수다. 그리고 이 값은 항상 다음 범위에 있다.

$- 1 \leq ρ \leq 1$

이유는 5장에서 본 도구로 설명된다. 임의의 실수 $t$ 에 대해 분산은 음수가 될 수 없으므로

$0 \leq V ((X - μ_{X}) + t (Y - μ_{Y})) = σ_{X}^{2} + 2 t σ_{X Y} + t^{2} σ_{Y}^{2}$

이 $t$ 에 대한 이차식이 모든 $t$ 에서 0 이상이려면 판별식이 0 이하여야 한다. 즉 $σ_{X Y}^{2} \leq σ_{X}^{2} σ_{Y}^{2}$ 이고, 양변을 나누면 $ρ^{2} \leq 1$ 이다. ■ 등호는 이차식이 어떤 $t$ 에서 정확히 0이 될 때인데, 그것은 $Y$ 가 $X$ 의 일차함수일 때다.

그러므로 $ρ = \pm 1$ 은 '두 변수가 직선 위에 정확히 놓인다'는 뜻이다. 그리고 여기서 이 문서에서 두 번째로 큰 오해가 시작된다.

<포물선 위의 점들과 원 위의 점들은 관계가 뚜렷한데도 상관계수가 0 이다. ρ = 0 은 직선으로 요약되는 부분이 없다는 뜻일 뿐이다>[원본 보기]

그림의 가운데와 오른쪽에서 $X$ 를 알면 $Y$ 에 대해 아주 많은 것을 알 수 있다. 원 위의 점이라면 $X = 2.2$ 일 때 $Y$ 는 거의 정해진다. 그런데도 $ρ = 0$ 이다.

정리하면 이렇다.

독립이면 $Cov = 0$ 이다. 이것은 참이다. 증명은 아래 예제에 둔다.
$Cov = 0$ 이면 독립이다 — 이것은 거짓이다. 그림의 두 예가 반례다.

상관계수는 '관계의 세기'가 아니라 '직선 관계의 세기'를 잰다. 관계가 곡선이면 보지 못한다. 그래서 상관계수를 계산할 때는 반드시 산점도를 함께 보아야 한다. 12장에서 이 이야기를 '상관은 인과가 아니다'로 한 번 더 다룬다.

예제 57

앞의 표에서 $Cov (X, Y)$ 와 $ρ$ 를 구하라.

풀이 보기

필요한 것은 $E [X Y]$ 와 두 평균·표준편차다. 주변분포가 같으므로 평균과 분산 계산은 한 번만 한다.

$μ_{X} = 0 (0.2) + 1 (0.4) + 2 (0.4) = 1.2, E [X^{2}] = 0 + 1 (0.4) + 4 (0.4) = 2.0$

$σ_{X}^{2} = 2.0 - 1.44 = 0.56 ⟹ σ_{X} = \sqrt{0.56} \approx 0.7483$

$μ_{Y} = 1.2$ , $σ_{Y} \approx 0.7483$ 로 같다. $E [X Y]$ 는 무의식적 통계학자의 법칙을 두 변수로 확장한 것으로, $x y$ 에 결합확률을 곱해 더한다. $x = 0$ 이나 $y = 0$ 인 칸은 0이므로 네 칸만 계산한다.

$E [X Y] = 1 \cdot 1 \cdot 0.20 + 1 \cdot 2 \cdot 0.15 + 2 \cdot 1 \cdot 0.12 + 2 \cdot 2 \cdot 0.23$

$= 0.20 + 0.30 + 0.24 + 0.92 = 1.66$

공분산은

$Cov (X, Y) = 1.66 - (1.2) (1.2) = 1.66 - 1.44 = 0.22$

상관계수는 표준편차로 나눈다.

$ρ = \frac{0.22}{0.7483 \times 0.7483} = \frac{0.22}{0.56} \approx 0.393$

답이 말이 되는지 본다. 양수이므로 함께 커지는 관계이고, 앞에서 조건부 기댓값이 증가한 것과 일치한다 ✓ 크기는 $0.393$ 으로 중간 정도다. $ρ$ 가 1에 가깝지 않은 이유는 표 안쪽에 반대 방향의 칸(예컨대 $(0, 0)$ 의 0.10)도 꽤 있기 때문이다.

예제 58

$X$ 가 $- 1, 0, 1$ 을 각각 확률 $1 / 3$ 로 갖고 $Y = X^{2}$ 이라 한다. $Cov (X, Y) = 0$ 임을 보이고, 두 변수가 독립인지 판정하라.

풀이 보기

$Y$ 는 $X$ 로 완전히 결정되는데도 공분산이 0이 되는 예다.

먼저 평균들을 구한다.

$μ_{X} = \frac{- 1 + 0 + 1}{3} = 0, μ_{Y} = E [X^{2}] = \frac{1 + 0 + 1}{3} = \frac{2}{3}$

공분산에 필요한 $E [X Y]$ 를 계산한다. $X Y = X \cdot X^{2} = X^{3}$ 이므로

$E [X Y] = E [X^{3}] = \frac{(- 1)^{3} + 0 + 1^{3}}{3} = 0$

따라서

$Cov (X, Y) = 0 - 0 \cdot \frac{2}{3} = 0, ρ = 0$

그런데 독립인가. 아니다. $X$ 를 알면 $Y$ 가 완전히 정해진다.

$P (X = 0, Y = 1) = 0$ 인데 $P (X = 0) P (Y = 1) = \frac{1}{3} \cdot \frac{2}{3} = \frac{2}{9} \neq 0$

곱셈이 깨진다. 따라서 독립이 아니다.

왜 공분산이 0이 되었는가. $X$ 가 양수일 때와 음수일 때 $Y$ 가 똑같이 커지므로 양쪽 기여가 정확히 지워진다. 공분산은 '한쪽으로 기울어진 정도'만 재기 때문에 이런 대칭적인 관계를 통째로 놓친다.

여기서 새길 것은 이것이다. $ρ = 0$ 은 '무관하다'가 아니라 '직선 성분이 없다'는 뜻이다. 이 예에서 두 변수는 결정론적으로 묶여 있는데도 상관계수는 0이다.

선형결합의 기댓값과 분산

두 확률변수를 더하거나 상수배 한 것의 평균과 분산이 자주 필요하다. 평균은 쉽다.

$E [a X + b Y] = a E [X] + b E [Y]$

이것은 독립이든 아니든 항상 성립한다. 5장에서 본 선형성이 두 변수로 확장된 것이고, 증명은 이중합(또는 이중적분)을 쪼개면 나온다.

분산은 사정이 다르다. 정의에서 전개하면

$V (a X + b Y) = a^{2} V (X) + b^{2} V (Y) + 2 a b Cov (X, Y)$

마지막 항이 붙는다. $U = a X + b Y$ 로 놓고 $U - E [U] = a (X - μ_{X}) + b (Y - μ_{Y})$ 를 제곱해 기댓값을 취하면 세 항이 나오는데, 그중 교차항이 $2 a b Cov (X, Y)$ 다. 독립이면(더 정확히는 공분산이 0이면) 이 항이 사라진다.

$V (X + Y) = V (X) + V (Y), V (X - Y) = V (X) + V (Y)$

<표준편차 1 인 둘을 더하면 분산이 2 가 되고 표준편차는 √2 배가 된다. 두 배가 아니다. 빼도 마찬가지로 커진다>[원본 보기]

두 번째 식에 주의하자. 빼도 분산은 커진다. 부호는 제곱에서 사라지기 때문이다. 두 측정값의 차이를 볼 때 그 차이가 각각보다 더 흔들린다는 뜻이다.

그리고 5장에서 미뤄 둔 성질을 이제 증명할 수 있다. 독립이면 적률생성함수가 곱이 된다.

$M_{X + Y} (t) = E [e^{t (X + Y)}] = E [e^{t X} e^{t Y}] = E [e^{t X}] E [e^{t Y}] = M_{X} (t) M_{Y} (t)$

가운데 등호가 독립을 쓴 자리다. 독립이면 $E [u (X) v (Y)] = E [u (X)] E [v (Y)]$ 인데, 이유는 결합밀도가 곱으로 쪼개지므로 이중적분이 두 개의 단일 적분의 곱으로 갈라지기 때문이다.

$\iint u (x) v (y) g (x) h (y) d x d y = (\int u (x) g (x) d x) (\int v (y) h (y) d y)$

이 성질에 $u (x) = x$ , $v (y) = y$ 를 넣으면 $E [X Y] = E [X] E [Y]$ 이고, 따라서 독립이면 공분산이 0이라는 앞 절의 주장이 증명된다.

예제 59

두 측정기로 같은 물체를 재는데, 각 측정값의 표준편차가 $3 g$ 이고 두 측정은 독립이다. 두 측정값의 합과 차의 표준편차를 각각 구하라. 만약 두 측정이 상관계수 $0.5$ 로 함께 흔들린다면 차의 표준편차는 어떻게 되는가?

풀이 보기

독립일 때는 교차항이 없다.

$V (X + Y) = 9 + 9 = 18 ⟹ σ = \sqrt{18} \approx 4.24 g$

$V (X - Y) = 9 + 9 = 18 ⟹ σ \approx 4.24 g$

합과 차의 흔들림이 같고, 각각의 $3 g$ 의 $\sqrt{2}$ 배다. 상관이 있는 경우에는 공분산을 먼저 구한다.

$Cov (X, Y) = ρ σ_{X} σ_{Y} = 0.5 \times 3 \times 3 = 4.5$

차의 분산에서는 $a = 1, b = - 1$ 이므로 교차항이 $2 (1) (- 1) (4.5) = - 9$ 다.

$V (X - Y) = 9 + 9 - 9 = 9 ⟹ σ = 3 g$

흔들림이 줄었다. 뜻을 읽어 두자. 두 측정기가 함께 흔들리는 성분은 차를 구할 때 지워진다. 온도 변화 같은 공통 원인 때문에 두 측정이 같은 방향으로 틀린다면, 차이를 보는 것이 그 영향을 없애는 방법이 된다.

반대로 합을 구하면 $V (X + Y) = 9 + 9 + 9 = 27$ 로 커진다. 공통으로 흔들리는 성분이 합에서는 더해지기 때문이다. 실험 설계에서 '무엇을 재야 하는가'를 정할 때 이 계산이 쓰인다.

예제 60

어떤 시험의 국어 점수 $X$ 와 수학 점수 $Y$ 가 각각 평균 60점, 표준편차 10점이고 상관계수가 $0.6$ 이다. 총점 $T = X + Y$ 의 평균과 표준편차를 구하라. 그리고 두 과목이 독립이었다면 어떻게 달라지는지 비교하라.

풀이 보기

평균은 상관과 무관하게 더해지므로 $E [T] = 60 + 60 = 120$ 점이다.

분산에는 교차항이 들어온다. 먼저 공분산을 구한다.

$Cov (X, Y) = 0.6 \times 10 \times 10 = 60$

$V (T) = 100 + 100 + 2 (60) = 320 ⟹ σ_{T} = \sqrt{320} \approx 17.9 점$

독립이었다면

$V (T) = 100 + 100 = 200 ⟹ σ_{T} = \sqrt{200} \approx 14.1 점$

비교해 보자. 상관이 양수이면 총점의 흔들림이 커진다. 잘하는 학생은 두 과목 다 잘하고 못하는 학생은 두 과목 다 못하므로 총점의 격차가 벌어지는 것이다. 상관이 0이면 한 과목의 부진이 다른 과목으로 어느 정도 상쇄되어 총점이 가운데로 모인다.

이 계산은 실전에서 자주 쓰인다. 여러 항목을 합해 하나의 점수를 만들 때, 항목들 사이의 상관이 높으면 합산 점수의 변별력(흩어짐)이 커지고 상관이 낮으면 작아진다. 무엇을 원하느냐에 따라 항목을 고르는 방향이 달라진다.

변수가 셋 이상이면 — 다항분포와 이변량정규분포

두 변수의 언어는 그대로 여러 변수로 확장된다. 결합분포가 $f (x_{1}, \dots, x_{n})$ 이 되고 주변분포는 나머지를 모두 지운 것이다. 뒤의 장에서 만날 두 가지만 이름과 모양으로 소개한다.

다항분포(multinomial distribution)는 이항분포를 결과가 셋 이상인 경우로 넓힌 것이다. 매번 $k$ 개의 결과 중 하나가 나오고 각 결과의 확률이 $p_{1}, \dots, p_{k}$ 로 일정할 때, $n$ 번 시행에서 각 결과가 나온 횟수 $(X_{1}, \dots, X_{k})$ 의 결합분포다.

$f (x_{1}, \dots, x_{k}) = \frac{n!}{x_{1}! \dots x_{k}!} p_{1}^{x_{1}} \dots p_{k}^{x_{k}} (\sum x_{i} = n)$

앞의 계수는 기초수학 12장에서 본 분할의 수다. 각 $X_{i}$ 의 주변분포는 이항분포이고, 서로 다른 두 성분의 공분산은 $- n p_{i} p_{j}$ 로 항상 음수다. 합이 $n$ 으로 고정되어 하나가 커지면 다른 것이 작아져야 하기 때문이다. 11장의 적합도 검정이 이 분포 위에서 이루어진다.

이변량정규분포(bivariate normal distribution)는 정규분포를 두 변수로 넓힌 것으로, $μ_{X}, μ_{Y}, σ_{X}, σ_{Y}, ρ$ 다섯 개가 모양을 완전히 정한다.

<등고선이 타원이고 ρ 가 그 기울기와 납작한 정도를 정한다. ρ = 0 이면 원이 되고 ρ 가 커지면 대각선 방향으로 길쭉해진다>[원본 보기]

이 분포에는 두 가지 특별한 성질이 있다.

조건부분포도 정규분포다. $X = x$ 를 알면 $Y$ 는 평균이 $μ_{Y} + ρ \frac{σ_{Y}}{σ_{X}} (x - μ_{X})$ 인 정규분포를 따른다. 이 평균이 $x$ 의 일차함수라는 점을 눈여겨보자. 12장의 회귀직선이 여기서 나온다.
$ρ = 0$ 이면 독립이다. 앞 절에서 '일반적으로는 성립하지 않는다'고 한 그 함의가 이 분포에서는 성립한다. 밀도의 식에서 $ρ = 0$ 을 넣으면 곱으로 정확히 쪼개지기 때문이다. 특별한 성질이므로 다른 분포로 옮겨 쓰지 않도록 조심해야 한다.

이 두 분포는 8장과 12장에서 다시 만난다. 이 장에서 만든 것들의 관계를 정리해 둔다.

<화살표는 한 방향으로만 간다. 결합분포에서 주변·조건부·공분산이 모두 나오지만, 주변분포 둘로는 결합분포를 되돌릴 수 없다. 독립이라는 조건이 붙어야만 곱해서 복원할 수 있다>[원본 보기]

6장 정리

기호 · 용어	뜻
결합분포 $f (x, y)$	$P (X = x, Y = y)$ 또는 넓이 대신 부피로 확률을 주는 밀도
이중적분	$\int_{c}^{d} [\int_{a}^{b} f d x] d y$ . 안쪽부터 하고 그동안 바깥 변수는 상수다
적분 순서	직사각형이면 자유롭게 바꾼다. 아니면 안쪽 범위에 바깥 변수가 들어온다
주변분포 $g (x), h (y)$	관심 없는 변수를 더하거나 적분해 지운 것. 되돌릴 수는 없다
조건부분포 $f (y ∣ x)$	$f (x, y) / g (x)$ . 자른 단면을 넓이 1 로 다시 맞춘 것
조건부 기댓값	$E [Y ∣ X = x]$ 는 수, $E [Y ∣ X]$ 는 확률변수
전체기댓값 법칙	$E [E [Y ∣ X]] = E [Y]$ . 전확률 정리의 기댓값 판
독립	$f (x, y) = g (x) h (y)$ 가 모든 점에서 성립. 지지집합이 직사각형이 아니면 불가능
독립의 결과	$E [u (X) v (Y)] = E [u (X)] E [v (Y)]$ , $M_{X + Y} = M_{X} M_{Y}$
공분산 $σ_{X Y}$	$E [(X - μ_{X}) (Y - μ_{Y})] = E [X Y] - μ_{X} μ_{Y}$ . $Cov (X, X) = V (X)$
상관계수 $ρ$	$σ_{X Y} / (σ_{X} σ_{Y})$ . $- 1 \leq ρ \leq 1$ 이고 단위가 없다
$ρ = \pm 1$	두 변수가 정확히 일차 관계일 때. 그때만 등호가 된다
$ρ = 0$	직선 성분이 없다는 뜻. 독립이라는 뜻이 아니다
선형결합의 평균	$E [a X + b Y] = a E [X] + b E [Y]$ . 독립이 필요 없다
선형결합의 분산	$V (a X + b Y) = a^{2} V (X) + b^{2} V (Y) + 2 a b σ_{X Y}$
독립일 때	$V (X \pm Y) = V (X) + V (Y)$ . 빼도 커진다
다항분포	결과가 셋 이상인 이항분포. 성분 사이 공분산이 음수다
이변량정규분포	등고선이 타원. 조건부평균이 일차함수이고 $ρ = 0$ 이면 독립이다

꼭 챙겨 갈 것은 넷이다.

이중적분은 두 번의 보통 적분이다. 안쪽을 먼저 하고 그동안 바깥 변수는 상수로 둔다. 영역이 직사각형이 아니면 안쪽 범위를 영역에서 읽어 와야 한다.
결합분포에서 주변과 조건부가 나오지만 거꾸로는 안 된다. 주변분포 둘을 알아도 두 변수의 관계는 알 수 없다.
독립은 '식이 쪼개지는가'와 '영역이 직사각형인가'를 함께 본다. 한쪽 변수가 다른 쪽의 가능한 범위를 제한하면 독립이 아니다.
상관계수는 직선 관계만 잡는다. $ρ = 0$ 이어도 뚜렷한 관계가 있을 수 있다. 계산한 값을 믿기 전에 산점도를 본다.

여기까지가 확률의 언어다. 다음 장부터는 구체적인 분포들로 들어간다. 어떤 상황이 어떤 분포를 낳는지 익히고, 각 분포의 평균·분산·적률생성함수를 정리한다. 이 장에서 만든 독립과 선형결합, 그리고 5장의 적률생성함수가 그 작업의 주된 도구다.

주요 이산분포

앞의 네 장에서 확률변수라는 도구를 만들었다. 확률질량함수와 확률밀도함수가 있고, 기댓값과 분산이 있고, 적률생성함수가 있다. 그런데 그 도구는 아직 비어 있다. 실제 문제를 만나면 확률질량함수를 무엇으로 놓아야 하는지를 스스로 정해야 한다.

다행히 현실에서 되풀이해 나타나는 상황은 몇 가지뿐이고, 그 상황마다 확률질량함수가 이미 정해져 있다. 이 장은 그 목록이다. 그러나 이 장은 분포를 외우는 장이 아니라 고르는 장이다. 식을 다 외워도 어느 식을 꺼내야 할지 모르면 아무 쓸모가 없고, 반대로 상황을 옳게 읽어 냈다면 식은 책에서 찾아도 된다.

이 장에서 답할 질문은 셋이다. 어떤 상황이 어떤 분포를 낳는가, 각 분포의 평균과 분산은 어디서 오는가, 그리고 서로 다른 분포가 언제 사실상 같아지는가.

앞 장에서 가져오는 것은 이렇다. 4장의 확률질량함수 $p (x)$ 와 누적분포함수 $F (x)$ , 5장의 기댓값 $E (X)$ ·분산 $V (X)$ ·적률생성함수 $M_{X} (t) = E (e^{t X})$ , 6장의 독립과 선형결합의 평균·분산이다. 기초수학에서는 조합 $(\binom{n}{r})$ 와 이항정리, 그리고 $e$ 의 정의를 계속 쓴다. 이항분포는 기초수학 12장에서 한 번 만났지만 여기서 다시 세운다.

어떤 상황이 어떤 분포를 낳는가

먼저 지도를 펴 놓고 시작하자. 이산분포를 고르는 일은 아래 질문에 차례로 답하는 일이다.

<무엇을 세는지, 시행 수가 미리 정해져 있는지, 뽑은 것을 도로 넣는지 — 이 세 물음의 답이 정해지면 분포가 저절로 정해진다>[원본 보기]

그림의 갈림길을 말로 옮기면 이렇다.

무엇을 세는가. 값 자체인가, 성공한 횟수인가, 성공이 나올 때까지의 시행 횟수인가, 일정한 구간 안에서 일어난 사건 수인가.
시행 수가 미리 정해져 있는가. 정해져 있으면 성공 수가 확률변수이고, 정해져 있지 않으면 시행 수가 확률변수다. 이 하나가 이항분포와 음이항분포를 가른다.
뽑은 것을 도로 넣는가. 넣으면 매번 확률이 같고, 넣지 않으면 뽑을 때마다 남은 비율이 달라진다. 이 하나가 이항분포와 초기하분포를 가른다.

여기서 성공이라는 말은 좋은 일이라는 뜻이 아니다. 두 결과 중 우리가 세기로 한 쪽을 부르는 이름일 뿐이다. 불량품 개수를 세는 문제에서는 불량이 성공이다.

예제 61

다음 다섯 상황에서 세고 있는 양이 어떤 분포를 따르는지 말하라.

(가) 1번부터 100번까지 적힌 공 100개에서 하나를 꺼냈을 때 적힌 번호
(나) 주사위를 20번 던졌을 때 6이 나온 횟수
(다) 6이 처음 나올 때까지 던진 횟수
(라) 잘 섞은 카드 52장에서 5장을 뽑았을 때 나온 스페이드 수
(마) 어떤 창구에 한 시간 동안 온 손님 수

풀이 보기

그림의 세 물음을 차례로 던지면 된다.

(가) 세는 것이 값 자체이고 100가지 값이 모두 똑같이 그럴듯하다. 이산균등분포다.

(나) 세는 것은 성공 횟수이고, 시행 수 20이 미리 정해져 있으며, 주사위는 던질 때마다 조건이 같다. 곧 도로 넣는 것과 같다. 이항분포다.

(다) 세는 것이 성공 횟수가 아니라 기다린 시행 횟수다. 그리고 첫 성공을 기다린다. 기하분포다.

(라) 성공(스페이드) 횟수를 세고 시행 수 5도 정해져 있지만, 뽑은 카드를 도로 넣지 않는다. 첫 장이 스페이드면 남은 51장 중 스페이드는 12장뿐이다. 초기하분포다.

(마) 시행이라는 것 자체가 없다. 손님은 언제든 올 수 있고 우리는 한 시간이라는 구간을 정해 그 안의 사건 수를 셀 뿐이다. 푸아송 분포다.

(나)와 (라)의 차이가 이 장에서 가장 자주 틀리는 곳이다. 둘 다 "5번 중 몇 번" 꼴이지만 복원인지 아닌지가 다르다.

예제 62

부품 100개가 든 상자가 있고 그중 8개가 불량이다. 다음 셋은 각각 어떤 분포인가. 상황은 하나인데 세는 것만 다르다.

(가) 상자에서 10개를 꺼내 검사했을 때 나온 불량 개수
(나) 같은 공정에서 계속 찍어 내는 부품을 10개 검사했을 때 나온 불량 개수(불량률은 언제나 0.08 로 일정하다)
(다) 상자에서 하나씩 꺼내 검사하며 불량 3개를 찾을 때까지 검사한 개수

풀이 보기

(가) 상자라는 유한한 모집단에서 도로 넣지 않고 뽑는다. 초기하분포이고 $N = 100$ , $K = 8$ , $n = 10$ 이다.

(나) 모집단이 사실상 무한하고 매번 확률이 0.08 로 같다. 이항분포 $b (x; 10, 0.08)$ 다.

(다) 이번에는 검사 개수가 확률변수다. 세 번째 성공을 기다리므로 음이항분포다.

세 답이 다른 이유는 상황이 달라서가 아니라 질문이 달라서다. 문제를 읽을 때 "무엇이 고정이고 무엇이 흔들리는가"를 먼저 적어 두면 분포는 따라 나온다.

이산균등분포와 베르누이 시행

가장 단순한 두 분포부터 본다. 뒤에 나오는 분포는 전부 이 둘을 되풀이해 만든 것이다.

<왼쪽은 값 여섯 개가 모두 같은 확률을 갖는 분포, 오른쪽은 값이 둘뿐인 분포다. 둘 다 막대 높이의 합은 1 이다>[원본 보기]

이산균등분포

값 $x_{1}, \dots, x_{n}$ 이 모두 같은 확률을 가지면 이산균등분포(discrete uniform distribution)라 한다.

$p (x_{i}) = \frac{1}{n} (i = 1, \dots, n)$

값이 $1, 2, \dots, n$ 인 흔한 경우에는 평균과 분산이 깔끔하게 나온다. 기댓값의 정의에 넣고 시그마 공식을 쓰면 된다.

$μ = \frac{1}{n} \sum_{k = 1}^{n} k = \frac{1}{n} \cdot \frac{n (n + 1)}{2} = \frac{n + 1}{2}$

분산은 $V (X) = E (X^{2}) - μ^{2}$ 로 계산한다. 여기서 $\sum k^{2} = \frac{n (n + 1) (2 n + 1)}{6}$ 를 쓴다(귀납법으로 증명되는 공식이다).

$E (X^{2}) = \frac{1}{n} \cdot \frac{n (n + 1) (2 n + 1)}{6} = \frac{(n + 1) (2 n + 1)}{6}$

$σ^{2} = \frac{(n + 1) (2 n + 1)}{6} - \frac{(n + 1)^{2}}{4} = \frac{(n + 1) (n - 1)}{12} = \frac{n^{2} - 1}{12}$

베르누이 시행

결과가 둘뿐인 시행을 베르누이 시행(Bernoulli trial)이라 한다. 조건은 셋이다.

한 번의 시행에서 나올 수 있는 결과가 두 가지뿐이다(성공과 실패).
성공 확률 $p$ 가 시행마다 일정하다.
시행끼리 서로 독립이다.

성공에 1, 실패에 0을 대응시킨 확률변수 $X$ 를 베르누이 확률변수라 하고, 실패 확률을 $q = 1 - p$ 로 적는다.

$p (1) = p, p (0) = q = 1 - p$

평균과 분산은 정의에서 바로 나온다. 값이 0 과 1 뿐이라 $X^{2} = X$ 인 것이 계산을 짧게 만든다.

$μ = 1 \cdot p + 0 \cdot q = p, E (X^{2}) = E (X) = p, σ^{2} = p - p^{2} = p q$

적률생성함수도 두 항짜리 합이다.

$M_{X} (t) = e^{t \cdot 0} q + e^{t \cdot 1} p = q + p e^{t}$

분산 $p q$ 는 $p = 0.5$ 에서 가장 크고 $p$ 가 0 이나 1 에 가까울수록 작다. 거의 확실한 일은 흔들리지 않는다는 상식이 식으로 나온 것이다.

예제 63

1번부터 10번까지 적힌 번호표에서 하나를 뽑는다. 평균과 분산을 공식으로 구하고, 정의대로 직접 계산해 확인하라.

풀이 보기

구하려는 것은 $μ$ 와 $σ^{2}$ 다. 값 10개가 모두 확률 $1 / 10$ 이므로 이산균등분포이고 $n = 10$ 이다.

공식에 넣으면

$μ = \frac{10 + 1}{2} = 5.5, σ^{2} = \frac{10^{2} - 1}{12} = \frac{99}{12} = 8.25$

정의대로 확인한다. $1 + 2 + \dots + 10 = 55$ 이므로 $μ = 5.5$ 이고, 제곱의 합이 $1 + 4 + \dots + 100 = 385$ 이므로 $E (X^{2}) = 38.5$ 다.

$σ^{2} = 38.5 - {5.5}^{2} = 38.5 - 30.25 = 8.25$

두 방법이 같다. 표준편차는 $\sqrt{8.25} \approx 2.87$ 인데, 1부터 10까지 흩어진 값들의 흔들림치고 그럴듯한 크기다.

흔한 오해

주사위 두 개를 던져 나온 눈의 합도 값이 2부터 12까지 열한 가지다. 그러면 이것도 이산균등분포인가?

풀이 보기

아니다. 이산균등분포는 값의 개수가 유한하다는 조건이 아니라 모든 값의 확률이 같다는 조건으로 정의된다.

합이 2가 되는 경우는 $(1, 1)$ 하나뿐이지만 합이 7이 되는 경우는 $(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)$ 여섯 가지다. 36가지 결과가 모두 확률 $1 / 36$ 이므로

$P (X = 2) = \frac{1}{36}, P (X = 7) = \frac{6}{36} = \frac{1}{6}$

여섯 배 차이다. 균등한 것은 주사위 두 개의 눈 짝이지 그 합이 아니다.

이 구별은 계속 따라다닌다. 균등한 것이 무엇인지 확인할 때는 언제나 표본공간의 원소를 보아야 하고, 확률변수의 값을 보면 안 된다.

이항분포

베르누이 시행을 독립으로 $n$ 번 되풀이할 때 성공한 횟수를 $X$ 라 하자. $X$ 의 분포를 이항분포(binomial distribution)라 하고 $X \sim b (x; n, p)$ 로 적는다.

식이 왜 그 모양인지는 셈으로 알 수 있다. 성공이 정확히 $x$ 번 일어나는 특정한 순서 하나, 예를 들어 "성공-성공-실패-…-실패"가 나올 확률은 독립이므로 곱해서 $p^{x} q^{n - x}$ 다. 어느 순서든 성공이 $x$ 번이면 확률이 같고, 그런 순서가 $(\binom{n}{x})$ 가지 있다.

$b (x; n, p) = (\binom{n}{x}) p^{x} q^{n - x} (x = 0, 1, \dots, n)$

확률을 모두 더하면 1 이 되는지도 확인해 두자. 이항정리를 거꾸로 읽으면 된다.

$\sum_{x = 0}^{n} (\binom{n}{x}) p^{x} q^{n - x} = (p + q)^{n} = 1^{n} = 1$

이름이 '이항'인 이유가 여기에 있다. 이 분포의 확률들은 $(p + q)^{n}$ 를 전개했을 때의 항들이다.

<p 가 0.5 보다 작으면 오른쪽 꼬리가 길고 0.5 면 좌우 대칭이다. p 를 그대로 두고 n 만 키우면 치우침이 옅어지면서 종 모양에 가까워진다>[원본 보기]

적률생성함수로 평균과 분산을 얻는다

정의에 넣고 이항정리를 한 번 더 쓰면 적률생성함수가 바로 나온다.

$M_{X} (t) = E (e^{t X}) = \sum_{x = 0}^{n} e^{t x} (\binom{n}{x}) p^{x} q^{n - x} = \sum_{x = 0}^{n} (\binom{n}{x}) (p e^{t})^{x} q^{n - x} = (q + p e^{t})^{n}$

베르누이 시행의 적률생성함수 $q + p e^{t}$ 를 $n$ 제곱한 꼴이다. 5장에서 본 "독립인 것들의 합은 적률생성함수의 곱"이 그대로 보인다. 이항분포는 베르누이 확률변수 $n$ 개의 합이기 때문이다.

미분해서 $t = 0$ 을 넣으면 적률이 나온다.

$M_{X}^{'} (t) = n (q + p e^{t})^{n - 1} p e^{t} \Rightarrow μ = M_{X}^{'} (0) = n p$

$M_{X}^{″} (t) = n (n - 1) (q + p e^{t})^{n - 2} (p e^{t})^{2} + n (q + p e^{t})^{n - 1} p e^{t} \Rightarrow E (X^{2}) = n (n - 1) p^{2} + n p$

$σ^{2} = n (n - 1) p^{2} + n p - (n p)^{2} = n p - n p^{2} = n p q$

두 결과를 기억해 두자. $μ = n p$ , $σ^{2} = n p q$ 다. 평균은 "시행 수 곱하기 확률"이라는 상식과 맞고, 분산은 베르누이 하나의 분산 $p q$ 를 $n$ 배 한 것이다.

예제 65

어떤 기계가 만드는 부품의 불량률이 $0.05$ 로 일정하다. 20개를 검사했을 때 불량이 2개 이하일 확률을 구하라.

풀이 보기

검사마다 결과가 불량·정상 둘이고 확률이 일정하며 서로 독립이므로 베르누이 시행이다. 검사 수 20이 고정이고 세는 것이 불량 개수이므로 이항분포다. $n = 20$ , $p = 0.05$ 다.

"2개 이하"는 0개, 1개, 2개의 세 경우이고 서로 배반이므로 더하면 된다.

$P (X = 0) = (\binom{20}{0}) (0.05)^{0} (0.95)^{20} = {0.95}^{20} \approx 0.3585$

$P (X = 1) = (\binom{20}{1}) (0.05) (0.95)^{19} = 20 \times 0.05 \times 0.3774 \approx 0.3774$

$P (X = 2) = (\binom{20}{2}) (0.05)^{2} (0.95)^{18} = 190 \times 0.0025 \times 0.3972 \approx 0.1887$

$P (X \leq 2) \approx 0.3585 + 0.3774 + 0.1887 = 0.9245$

답이 말이 되는지 보자. 평균은 $n p = 1$ 개이고 표준편차는 $\sqrt{20 \times 0.05 \times 0.95} \approx 0.97$ 이다. 2개 이하라면 평균에서 표준편차 한 개 남짓 위까지를 모두 포함하므로 확률이 90%를 넘는 것이 자연스럽다.

흔한 실수는 ${0.95}^{18}$ 대신 ${0.95}^{20}$ 을 쓰는 것이다. 지수는 언제나 실패한 횟수 $n - x$ 다.

예제 66

이항분포의 평균과 분산을 적률생성함수를 쓰지 않고 구해 보라. 5장과 6장의 도구만 쓴다.

풀이 보기

이항확률변수 $X$ 를 쪼개는 것이 핵심이다. $i$ 번째 시행이 성공이면 1, 실패면 0 인 베르누이 확률변수를 $X_{i}$ 라 하면

$X = X_{1} + X_{2} + \dots + X_{n}$

이다. 성공 횟수를 센다는 것은 1을 몇 번 더했는지를 센다는 말과 같기 때문이다.

기댓값은 5장의 선형성으로 끝난다. 선형성은 독립을 요구하지 않는다.

$E (X) = \sum_{i = 1}^{n} E (X_{i}) = n p$

분산은 6장의 결과를 쓴다. 독립일 때는 분산이 더해진다. 시행이 서로 독립이라는 것이 베르누이 시행의 세 번째 조건이었다.

$V (X) = \sum_{i = 1}^{n} V (X_{i}) = n p q$

적률생성함수로 얻은 답과 같다. 이쪽이 훨씬 짧지만, 적률생성함수 쪽은 3차 이상의 적률까지 같은 방법으로 뽑을 수 있다는 장점이 있다.

여기서 독립 조건이 어디에 쓰였는지 확인해 두자. 평균에는 쓰이지 않았고 분산에만 쓰였다. 시행이 서로 얽혀 있으면 평균은 그대로여도 분산은 달라진다. 다음 절의 초기하분포가 정확히 그 경우다.

흔한 오해

동전을 다섯 번 던져 앞면이 세 번 나왔다. "앞면이 절반보다 많으니 이 동전은 앞면 쪽으로 치우친 것 같다"고 말할 수 있는가?

풀이 보기

판단하려면 공정한 동전이라도 이런 일이 얼마나 흔한가를 먼저 계산해야 한다. $p = 0.5$ , $n = 5$ 로 두고 앞면이 3번 이상 나올 확률을 구한다.

$P (X = 3) = (\binom{5}{3}) {(\frac{1}{2})}^{5} = \frac{10}{32}, P (X = 4) = \frac{5}{32}, P (X = 5) = \frac{1}{32}$

$P (X \geq 3) = \frac{10 + 5 + 1}{32} = \frac{16}{32} = 0.5$

공정한 동전으로도 두 번에 한 번은 이런 일이 일어난다. 아무 증거도 되지 못한다.

이 계산이 11장 가설검정의 뼈대다. 관측한 결과가 이상한지를 판단하려면 "아무 일 없을 때 이만큼 치우친 결과가 나올 확률"을 계산해야 한다.

초기하분포 — 도로 넣지 않을 때

크기 $N$ 인 모집단에 성공에 해당하는 것이 $K$ 개 있다고 하자. 여기서 $n$ 개를 도로 넣지 않고 뽑았을 때 나온 성공의 개수 $X$ 의 분포를 초기하분포(hypergeometric distribution)라 한다.

확률은 세는 문제로 바로 나온다. 전체 경우는 $N$ 개에서 $n$ 개를 고르는 $(\binom{N}{n})$ 가지이고, 그중 성공을 $x$ 개 포함하는 경우는 성공 무리에서 $x$ 개, 실패 무리에서 $n - x$ 개를 고르는 것이므로 곱의 법칙으로 $(\binom{K}{x}) (\binom{N - K}{n - x})$ 가지다.

$h (x; N, n, K) = \frac{(\binom{K}{x}) (\binom{N - K}{n - x})}{(\binom{N}{n})}$

$x$ 가 움직일 수 있는 범위는 성공 무리와 실패 무리의 크기에 걸린다. $max (0, n - (N - K)) \leq x \leq min (n, K)$ 다. 조합 기호는 뽑을 수 없는 개수에서는 0 이 되므로 식을 그대로 써도 자동으로 처리된다.

평균은 이항분포와 같은 꼴이다. 성공 비율을 $p = K / N$ 로 두면

$μ = n \frac{K}{N} = n p$

그런데 분산은 다르다. 이항분포의 $n p q$ 에 인자 하나가 더 붙는다.

$σ^{2} = n p (1 - p) \cdot \frac{N - n}{N - 1}$

이 $\frac{N - n}{N - 1}$ 를 유한모집단 수정계수(finite population correction)라 한다. 값이 항상 1 이하이므로 비복원 추출은 복원 추출보다 덜 흔들린다. 극단을 보면 뜻이 분명해진다. $n = N$ 이면, 즉 모집단을 통째로 뽑으면 수정계수가 0 이고 분산도 0 이다. 전수조사에는 흔들림이 없다. 이 계수는 9장에서 표본평균을 다룰 때 다시 나온다.

<불량 비율이 20%로 같아도 모집단이 작으면 두 분포가 눈에 띄게 다르다. 모집단이 커질수록 한 개 뽑은 것이 남은 비율을 거의 바꾸지 못해 두 분포가 겹친다>[원본 보기]

예제 68

상자에 부품 20개가 들어 있고 그중 5개가 불량이다. 4개를 도로 넣지 않고 뽑았을 때 불량이 정확히 1개일 확률과, 뽑힌 불량 개수의 평균·분산을 구하라.

풀이 보기

유한한 상자에서 비복원으로 뽑으므로 초기하분포다. $N = 20$ , $K = 5$ , $n = 4$ 이고 구하는 것은 $P (X = 1)$ 이다.

$P (X = 1) = \frac{(\binom{5}{1}) (\binom{15}{3})}{(\binom{20}{4})} = \frac{5 \times 455}{4845} = \frac{2275}{4845} \approx 0.470$

평균은 성공 비율 $p = 5 / 20 = 0.25$ 를 써서

$μ = n p = 4 \times 0.25 = 1$

분산은 수정계수를 잊지 않는다.

$σ^{2} = 4 \times 0.25 \times 0.75 \times \frac{20 - 4}{20 - 1} = 0.75 \times \frac{16}{19} \approx 0.632$

평균이 1개인데 정확히 1개가 나올 확률이 47%다. 값이 0,1,2,3,4 다섯 가지뿐이고 평균 근처가 가장 흔하니 그럴듯하다.

복원이었다면 분산이 $0.75$ 였을 것이다. 수정계수 $16 / 19 \approx 0.84$ 만큼 줄어든 것이 비복원의 효과다.

예제 69

앞 문제에서 뽑은 것을 도로 넣었다면 답이 어떻게 달라지는가. 그리고 상자가 20개가 아니라 2000개(불량 500개)였다면 어떻게 되는가.

풀이 보기

복원이면 매번 불량을 뽑을 확률이 $0.25$ 로 일정하므로 이항분포 $b (x; 4, 0.25)$ 다.

$P (X = 1) = (\binom{4}{1}) (0.25) (0.75)^{3} = 4 \times 0.25 \times 0.4219 \approx 0.422$

초기하로 얻은 $0.470$ 과 $0.048$ 차이가 난다. 무시할 수 없는 크기다. 표본이 모집단의 $n / N = 4 / 20 = 0.2$ , 즉 20%나 되기 때문이다.

이제 상자를 2000개(불량 500개)로 키운다. 성공 비율은 $0.25$ 그대로다. 초기하 확률을 계산하면

$P (X = 1) = \frac{(\binom{500}{1}) (\binom{1500}{3})}{(\binom{2000}{4})} \approx 0.4223$

이항분포의 $0.4219$ 와 소수 넷째 자리에서야 갈린다. 이번에는 $n / N = 0.002$ 다.

실무 기준은 $n / N \leq 0.05$ 이면 초기하분포를 이항분포 $b (x; n, K / N)$ 로 근사해도 된다는 것이다. 이유는 수정계수를 보면 안다. $n / N$ 이 작으면 $\frac{N - n}{N - 1} \approx 1$ 이라 분산까지 거의 같아진다.

이 근사가 고마운 이유는 계산 때문만이 아니다. 여론조사에서 5천만 명 중 1000명을 뽑는 일을 우리는 복원인 것처럼 다뤄도 된다는 허락이기 때문이다.

기하분포와 음이항분포 — 기다리는 쪽을 센다

지금까지는 시행 수를 정해 놓고 성공 수를 셌다. 이제 고정과 변동을 뒤집는다. 성공 수를 정해 놓고 시행 수를 센다.

기하분포

성공 확률이 $p$ 인 베르누이 시행을 되풀이할 때, 첫 성공이 나온 시행 번호를 $X$ 라 하자. $X$ 의 분포를 기하분포(geometric distribution)라 한다.

$X = x$ 라는 것은 앞의 $x - 1$ 번이 모두 실패하고 $x$ 번째가 성공이라는 뜻이다. 독립이므로 확률을 곱한다.

$g (x; p) = q^{x - 1} p (x = 1, 2, 3, \dots)$

확률의 합이 1 인지 확인하자. 등비급수다. $| q | < 1$ 이므로

$\sum_{x = 1}^{\infty} q^{x - 1} p = p lim_{m \to \infty} \frac{1 - q^{m}}{1 - q} = \frac{p}{1 - q} = \frac{p}{p} = 1$

이 분포에서 가장 자주 걸리는 곳은 가장 흔한 값이 언제나 1이라는 사실이다. $q^{x - 1}$ 는 $x$ 가 커질수록 줄어들기만 하기 때문이다. 성공 확률이 아무리 작아도 "첫 번째에 성공"이 다른 어떤 하나보다 흔하다. 평균은 그렇지 않다.

$μ = \frac{1}{p}, σ^{2} = \frac{1 - p}{p^{2}}$

평균이 $1 / p$ 라는 것은 상식과 맞는다. 확률 $1 / 6$ 짜리를 기다리면 평균 6번이다. 적률생성함수도 등비급수로 얻는다. $q e^{t} < 1$ 인 범위에서

$M_{X} (t) = \sum_{x = 1}^{\infty} e^{t x} q^{x - 1} p = p e^{t} \sum_{k = 0}^{\infty} (q e^{t})^{k} = \frac{p e^{t}}{1 - q e^{t}}$

누적확률도 깔끔하다. $X > k$ 라는 것은 처음 $k$ 번이 모두 실패했다는 말이므로

$P (X > k) = q^{k}$

<가장 흔한 값이 1 이고 오른쪽으로 지수적으로 줄어든다. 이미 다섯 번 실패한 뒤에 남은 기다림의 분포는 처음 분포와 글자 하나 다르지 않다>[원본 보기]

무기억성

위의 식 하나에서 이 분포의 가장 중요한 성질이 나온다. 이미 $s$ 번 실패했다는 것을 알 때, 앞으로 $k$ 번을 더 실패할 조건부확률은

$P (X > s + k ∣ X > s) = \frac{P (X > s + k)}{P (X > s)} = \frac{q^{s + k}}{q^{s}} = q^{k} = P (X > k)$

조건이 사라졌다. 이것을 무기억성(memorylessness)이라 한다. 지금까지 몇 번 실패했든 남은 기다림의 분포는 처음과 똑같다.

이 성질은 "이만큼 안 나왔으니 이제 나올 때가 됐다"는 생각이 왜 틀렸는지를 정확히 말해 준다. 동전이나 주사위는 앞의 결과를 기억하지 못한다. 3장에서 다룬 도박사의 오류를 식으로 적은 것이 위의 등식이다.

기하분포는 무기억성을 갖는 유일한 이산분포다. 8장에서 보게 될 지수분포가 연속 쪽의 유일한 짝이다.

음이항분포

첫 성공이 아니라 $r$ 번째 성공을 기다리면 어떻게 될까. 그때까지의 시행 횟수 $X$ 의 분포를 음이항분포(negative binomial distribution)라 한다.

$X = x$ 이려면 두 가지가 동시에 일어나야 한다. 마지막 $x$ 번째 시행이 성공이어야 하고, 앞의 $x - 1$ 번 중에 성공이 정확히 $r - 1$ 번 들어 있어야 한다. 앞부분은 이항분포와 같은 셈이다.

$b^{*} (x; r, p) = (\binom{x - 1}{r - 1}) p^{r} q^{x - r} (x = r, r + 1, \dots)$

$r = 1$ 을 넣으면 $(\binom{x - 1}{0}) p q^{x - 1} = p q^{x - 1}$ 로 기하분포가 된다. 기하분포는 음이항분포의 특별한 경우다.

거꾸로 보면 음이항분포는 기하분포를 $r$ 개 이어 붙인 것이다. 첫 성공까지 기다리고, 거기서 다시 시작해 다음 성공까지 기다리고, …를 $r$ 번 되풀이한다. 무기억성 덕분에 매번 "다시 시작"해도 되고, 각 구간의 길이는 서로 독립인 기하분포다. 그래서 평균과 분산은 기하분포의 $r$ 배다.

$μ = \frac{r}{p}, σ^{2} = \frac{r (1 - p)}{p^{2}}, M_{X} (t) = {(\frac{p e^{t}}{1 - q e^{t}})}^{r}$

<r 이 커지면 봉우리가 오른쪽으로 밀리고 낮아지며 퍼진다. r = 1 인 곡선이 기하분포이고 이때만 1 에서 가장 높다>[원본 보기]

예제 70

성공 확률이 $0.2$ 인 시행을 되풀이한다. 첫 성공이 네 번째 시행에서 나올 확률, 평균 시행 횟수, 그리고 다섯 번 안에 한 번도 성공하지 못할 확률을 구하라.

풀이 보기

첫 성공까지의 시행 횟수이므로 기하분포이고 $p = 0.2$ , $q = 0.8$ 이다.

$P (X = 4) = q^{3} p = {0.8}^{3} \times 0.2 = 0.512 \times 0.2 = 0.1024$

$μ = \frac{1}{0.2} = 5, P (X > 5) = q^{5} = {0.8}^{5} = 0.32768$

세 답을 함께 읽으면 이 분포의 성격이 보인다. 평균은 5번인데 5번 안에 성공하지 못할 확률이 33%나 된다. 분포가 오른쪽으로 길게 늘어져 있어 평균이 가운데가 아니기 때문이다.

실제로 중앙값은 3번이다. $P (X \leq 3) = 1 - {0.8}^{3} = 0.488$ , $P (X \leq 4) = 1 - {0.8}^{4} = 0.590$ 이므로 절반을 넘기는 것이 4번째다. 평균 5보다 작다. 치우친 분포에서는 평균과 중앙값이 어긋난다.

흔한 오해

위 시행에서 이미 다섯 번 연달아 실패했다. "확률이 0.2 니까 이제 슬슬 나올 때가 됐다"는 말은 맞는가? 그리고 처음부터 "여덟 번 안에 한 번도 성공하지 못할" 확률과 무엇이 다른가?

풀이 보기

앞으로 세 번을 더 실패할 조건부확률을 계산해 보자.

$P (X > 8 ∣ X > 5) = \frac{{0.8}^{8}}{{0.8}^{5}} = {0.8}^{3} = 0.512$

처음부터 세 번 연달아 실패할 확률 $P (X > 3) = {0.8}^{3} = 0.512$ 와 똑같다. 다섯 번의 실패는 앞날에 대해 아무 정보도 주지 않는다. "나올 때가 됐다"는 말은 틀렸다.

그런데 처음 시점에서 물었다면 답이 다르다.

$P (X > 8) = {0.8}^{8} \approx 0.168$

$0.512$ 와 $0.168$ 은 왜 다른가. 두 확률은 서로 다른 질문에 대한 답이기 때문이다. 앞의 것은 "다섯 번 실패한 뒤"라는 조건이 붙었고, 뒤의 것은 아무 조건 없이 여덟 번 전부를 본다. 여덟 번 연속 실패가 드문 것은 사실이지만, 그 드묾의 절반 이상은 이미 일어난 다섯 번에 쓰여 버렸다.

이것이 도박사의 오류가 그럴듯하게 들리는 이유다. "여덟 번 연속 실패는 드물다"는 참인 문장을, 이미 다섯 번을 본 뒤에 잘못 가져다 쓰는 것이다.

예제 72

성공 확률이 $0.3$ 인 시행에서 세 번째 성공이 정확히 일곱 번째 시행에서 나올 확률과, 세 번째 성공까지 걸리는 평균 시행 횟수를 구하라.

풀이 보기

성공 수 $r = 3$ 이 고정이고 시행 수가 확률변수이므로 음이항분포다. 구하는 것은 $P (X = 7)$ 이다.

일곱 번째가 성공이어야 하고, 앞의 여섯 번 중에 성공이 두 번 있어야 한다.

$P (X = 7) = (\binom{6}{2}) (0.3)^{3} (0.7)^{4} = 15 \times 0.027 \times 0.2401 \approx 0.0972, μ = \frac{r}{p} = 10$

여기서 조합이 $(\binom{7}{3})$ 이 아니라 $(\binom{6}{2})$ 인 것이 요점이다. 마지막 자리는 성공으로 못 박혀 있어 고를 자유가 없다. 만약 $(\binom{7}{3}) (0.3)^{3} (0.7)^{4}$ 로 계산했다면 그것은 "일곱 번 중 성공이 세 번"이라는 다른 문제, 곧 이항분포의 답이다.

두 값을 비교해 보면 차이가 분명하다. 이항 쪽은 $35 \times 0.027 \times 0.2401 \approx 0.227$ 로 두 배가 넘는다. 세 번째 성공이 일곱 번째에 나오는 경우만 세는지, 일곱 번 안 어디에서든 세 번 성공하는 경우를 다 세는지의 차이다.

푸아송 분포

지금까지는 셀 수 있는 시행이 있었다. 그런데 "한 시간 동안 걸려 온 전화"나 "책 한 쪽에 있는 오타"에는 시행이라고 부를 것이 없다. 전화는 아무 때나 올 수 있다.

이런 상황을 다루려면 시행 대신 구간을 잡는다. 시간·길이·넓이·부피 어느 것이든 좋다. 다음 세 가정을 만족하는 흩어짐을 푸아송 과정(Poisson process)이라 한다.

독립 증분 — 겹치지 않는 두 구간에서 일어난 사건 수는 서로 독립이다.
일정한 발생률 — 아주 짧은 구간에서 사건이 한 번 일어날 확률이 그 구간의 크기에 비례한다. 비례상수 $λ$ 를 발생률이라 한다.
동시 발생 없음 — 아주 짧은 구간에서 두 번 이상 일어날 확률은 무시할 만큼 작다.

이때 크기 $t$ 인 구간 안에서 일어난 사건 수 $X$ 는 푸아송 분포(Poisson distribution)를 따른다. 평균은 $λ t$ 인데, 관례상 이 값을 통째로 $λ$ 로 적는 일이 많다. 이 문서에서는 $λ$ 를 그 구간에서의 평균 발생 수로 쓴다.

$p (x; λ) = \frac{e^{- λ} λ^{x}}{x!} (x = 0, 1, 2, \dots)$

합이 1 인지 확인하려면 5장에서 도입한 지수함수의 급수 전개 $e^{λ} = \sum_{x \geq 0} λ^{x} / x!$ 를 쓴다. $u$ 자리에 $λ$ 를 넣은 것이다.

$\sum_{x = 0}^{\infty} \frac{e^{- λ} λ^{x}}{x!} = e^{- λ} e^{λ} = 1$

적률생성함수도 같은 급수로 얻는다. 이번에는 $u$ 자리에 $λ e^{t}$ 가 들어간다.

$M_{X} (t) = \sum_{x = 0}^{\infty} e^{t x} \frac{e^{- λ} λ^{x}}{x!} = e^{- λ} \sum_{x = 0}^{\infty} \frac{(λ e^{t})^{x}}{x!} = e^{- λ} e^{λ e^{t}} = e^{λ (e^{t} - 1)}$

미분하면 $M_{X}^{'} (t) = λ e^{t} M_{X} (t)$ 이므로 $μ = M_{X}^{'} (0) = λ$ 다. 한 번 더 미분해 $t = 0$ 을 넣으면 $E (X^{2}) = λ + λ^{2}$ 이고 따라서

$μ = λ, σ^{2} = λ$

평균과 분산이 같다. 이것이 푸아송 분포의 지문 같은 성질이다. 자료의 평균과 분산이 크게 다르면 푸아송 모형이 맞지 않는다는 신호로 쓸 수 있다.

<λ 가 작으면 0 이 가장 흔하고 오른쪽으로 길게 늘어진다. λ 가 커지면 봉우리가 생기며 좌우 대칭에 가까워진다. 모수 하나가 모양을 다 정한다>[원본 보기]

구간을 바꾸면 $λ$ 도 함께 바뀐다. 발생률이 일정하다는 두 번째 가정 때문이다. 한 시간에 평균 3건이면 20분에는 평균 1건, 두 시간에는 평균 6건이다. 구간을 $k$ 배로 늘리면 $λ$ 도 $k$ 배가 된다.

예제 73

어떤 상담 창구에 문의가 한 시간 평균 3건 들어온다. 문의가 서로 독립이고 발생률이 일정하다고 볼 때, 한 시간 동안 (가) 문의가 하나도 없을 확률과 (나) 5건 이상일 확률을 구하라.

풀이 보기

시행이 아니라 구간 안의 사건 수를 세므로 푸아송 분포이고 $λ = 3$ 이다.

(가) $P (X = 0) = \frac{e^{- 3} 3^{0}}{0!} = e^{- 3} \approx 0.0498$

(나) "5건 이상"은 무한히 많은 항의 합이므로 여사건으로 간다. 4건 이하를 더한다.

$P (X \leq 4) = e^{- 3} (1 + 3 + \frac{9}{2} + \frac{27}{6} + \frac{81}{24}) = e^{- 3} (1 + 3 + 4.5 + 4.5 + 3.375)$

$= 0.0498 \times 16.375 \approx 0.8153$

$P (X \geq 5) = 1 - 0.8153 \approx 0.185$

답을 점검하자. 평균이 3건이고 표준편차가 $\sqrt{3} \approx 1.73$ 이다. 5건은 평균에서 표준편차 약 1.2배 위이므로 그 위쪽이 20% 남짓인 것은 자연스럽다.

$3^{3} / 3! = 4.5$ 와 $3^{2} / 2! = 4.5$ 가 같은 것에 주목하자. $λ$ 가 정수일 때는 $x = λ - 1$ 과 $x = λ$ 의 확률이 언제나 같다. 그림에서 λ = 3 인 그래프의 봉우리가 평평한 이유다.

예제 74

같은 창구에서 20분 동안 문의가 2건 이상 들어올 확률을 구하라.

풀이 보기

구간이 바뀌었으므로 $λ$ 를 다시 계산해야 한다. 발생률이 일정하므로 20분은 한 시간의 $1 / 3$ 이고

$λ = 3 \times \frac{1}{3} = 1$

"2건 이상"은 0건과 1건을 빼면 된다.

$P (X = 0) = e^{- 1} \approx 0.3679, P (X = 1) = e^{- 1} \cdot 1 \approx 0.3679$

$P (X \geq 2) = 1 - 0.3679 - 0.3679 \approx 0.264$

여기서 흔한 실수 둘을 짚어 둔다. 첫째, $λ$ 를 3 그대로 두는 것이다. 그러면 20분 안에 평균 3건이 온다는 말이 되어 버린다. 둘째, 한 시간 확률을 3으로 나누는 것이다. 확률은 그렇게 나뉘지 않는다. 비례하는 것은 확률이 아니라 평균 발생 수다.

분포 사이의 관계

일곱 개의 분포를 따로 외우면 일곱 개를 잊게 된다. 이들은 하나의 그물로 이어져 있다.

<화살표는 ‘같다’ 가 아니라 ‘모수를 극단으로 밀면 가까워진다’ 는 뜻이다. 근사를 쓰기 전에 화살표에 적힌 조건을 반드시 확인해야 한다>[원본 보기]

이 장에서 본 관계를 정리하면 이렇다.

베르누이 → 이항 — 독립으로 $n$ 번 더한 것. 거꾸로 $n = 1$ 이 베르누이다.
기하 → 음이항 — 독립인 기하분포 $r$ 개를 이어 붙인 것. 거꾸로 $r = 1$ 이 기하분포다.
초기하 → 이항 — $n / N \leq 0.05$ 이면 비복원을 복원처럼 다뤄도 된다.
이항 → 푸아송 — $n$ 이 크고 $p$ 가 작으며 $n p = λ$ 가 적당한 크기이면.
이항 → 정규, 푸아송 → 정규 — 8장과 9장에서 다룬다.

마지막에서 두 번째 관계는 식으로 확인해 둘 만하다. $p = λ / n$ 로 놓고 $n \to \infty$ 로 보내면

$(\binom{n}{x}) p^{x} (1 - p)^{n - x} = \underset{\to 1}{\underset{⏟}{\frac{n (n - 1) \dots (n - x + 1)}{n^{x}}}} \cdot \frac{λ^{x}}{x!} \cdot \underset{\to e^{- λ}}{\underset{⏟}{{(1 - \frac{λ}{n})}^{n}}} \cdot \underset{\to 1}{\underset{⏟}{{(1 - \frac{λ}{n})}^{- x}}}$

이 되어 $\frac{e^{- λ} λ^{x}}{x!}$ 가 남는다. 가운데 극한은 기초수학에서 $e$ 를 정의할 때 쓴 그 극한이다. 첫 번째 인자는 분자와 분모 모두 $x$ 개의 인수를 갖는데 각 인수의 비가 1 로 가므로 1 이 된다.

<평균 np 를 2 로 고정한 채 n 만 키우면 이항분포의 막대가 푸아송 분포의 선에 정확히 겹쳐 간다. n 이 400 이면 차이가 소수 셋째 자리에서야 보인다>[원본 보기]

예제 75

어떤 공정에서 부품이 각각 독립적으로 $0.2 %$ 의 확률로 불량이 된다. 1000개를 만들었을 때 불량이 3개 이하일 확률을 푸아송 근사로 구하고, 정확한 이항 확률과 비교하라.

풀이 보기

정확히 말하면 이항분포 $b (x; 1000, 0.002)$ 다. 그러나 $(\binom{1000}{3}) (0.002)^{3} (0.998)^{997}$ 같은 수를 손으로 다루기는 어렵다. $n$ 이 크고 $p$ 가 작으므로 푸아송 근사를 쓴다.

$λ = n p = 1000 \times 0.002 = 2$

$P (X \leq 3) \approx e^{- 2} (1 + 2 + \frac{4}{2} + \frac{8}{6}) = e^{- 2} \times \frac{19}{3} = 0.1353 \times 6.3333 \approx 0.8571$

정확한 이항 확률을 계산해 보면 $0.8573$ 이다. 차이가 $0.0002$ , 곧 소수 넷째 자리다.

근사가 이렇게 잘 듣는 이유는 위의 극한식에서 버린 항들이 모두 $1 / n$ 규모이기 때문이다. $n = 1000$ 이면 그 오차가 천분의 일 수준이다.

실무에서 쓰는 기준은 $n \geq 20$ 이고 $p \leq 0.05$ , 안전하게는 $n \geq 100$ 이고 $n p \leq 10$ 이다. 반대로 $p$ 가 0.5 근처이면 아무리 $n$ 이 커도 푸아송 근사는 쓰면 안 된다. 그때는 8장의 정규근사가 맞는 도구다.

마지막으로 세 분포의 분산을 나란히 두면 언제 무엇이 갈리는지 보인다. 이항은 $n p (1 - p)$ , 푸아송은 $n p$ 다. $p$ 가 작으면 $1 - p \approx 1$ 이라 둘이 같아지고, $p$ 가 크면 이항 쪽이 훨씬 작아진다.

예제 76

부품 1000개가 든 상자에 불량이 50개 섞여 있다. 여기서 비복원으로 20개를 뽑을 때 불량이 하나도 없을 확률은 초기하분포로 구해야 한다. 이것을 이항분포로 근사해도 되는지 판정하고, 두 답과 두 분산을 견주어라. 초기하 쪽의 값은 $(\binom{950}{20}) / (\binom{1000}{20}) = 0.3549$ 로 준다.

풀이 보기

먼저 근사를 써도 되는지부터 판정한다. 기준은 $n / N \leq 0.05$ 였다.

$\frac{n}{N} = \frac{20}{1000} = 0.02 \leq 0.05$

통과한다. 뽑은 20개가 상자를 거의 비우지 않으므로, 한 개를 뽑아도 남은 상자의 불량 비율이 거의 그대로다. 그래서 비복원을 복원처럼 다뤄도 된다.

이항 쪽 확률을 계산한다. $p = 50 / 1000 = 0.05$ 이므로

$P (X = 0) \approx (0.95)^{20} = ((0.95)^{5})^{4} = (0.7738)^{4} = 0.3585$

초기하 쪽 값 0.3549 와 견주면 차이가 0.0036, 곧 1% 남짓이다.

분산으로 보면 차이의 정체가 보인다. 7장 정리의 표에서 초기하의 분산은 이항의 분산에 $(N - n) / (N - 1)$ 를 곱한 것이었다.

$σ_{이항}^{2} = n p (1 - p) = 20 (0.05) (0.95) = 0.95, σ_{초기하}^{2} = 0.95 \times \frac{980}{999} = 0.95 \times 0.981 = 0.932$

그 곱해지는 인자를 유한모집단수정이라 하고, $n$ 이 $N$ 에 견주어 작으면 1 에 가까워 무시할 수 있다. 여기서는 0.981 이라 2% 차이다.

방향도 읽어 두자. 초기하 쪽 분산이 언제나 더 작다. 비복원이면 앞에서 불량을 뽑을수록 뒤에 남은 불량이 줄어 결과가 서로 상쇄되기 때문이다. 복원은 그 상쇄가 없다.

답이 말이 되는가. 근사가 1% 안에서 맞았고, 근사가 무너지는 방향도 분명하다. 만약 같은 상자에서 500개를 뽑는다면 $n / N = 0.5$ 라 기준을 크게 어기고, 수정 인자가 $500 / 999 = 0.5$ 로 분산이 절반이 되어 버린다. 그때는 이항 근사를 쓰면 안 된다.

7장 정리

분포	어떤 상황인가	확률질량함수
이산균등	값 $n$ 개가 모두 같은 확률	$p (x) = 1 / n$
베르누이	결과가 둘뿐인 시행 한 번	$p (1) = p, p (0) = q$
이항	독립인 베르누이 $n$ 번의 성공 수	$(\binom{n}{x}) p^{x} q^{n - x}$
초기하	유한 모집단에서 비복원으로 $n$ 개 뽑은 성공 수	$(\binom{K}{x}) (\binom{N - K}{n - x}) / (\binom{N}{n})$
기하	첫 성공이 나오는 시행 번호	$q^{x - 1} p$
음이항	$r$ 번째 성공이 나오는 시행 번호	$(\binom{x - 1}{r - 1}) p^{r} q^{x - r}$
푸아송	구간 안에서 일어난 사건 수	$e^{- λ} λ^{x} / x!$

평균·분산·적률생성함수는 다음과 같다.

분포	평균 $μ$	분산 $σ^{2}$	적률생성함수 $M_{X} (t)$
이산균등 (1부터 n)	$(n + 1) / 2$	$(n^{2} - 1) / 12$	$\frac{1}{n} \sum e^{t k}$
베르누이	$p$	$p q$	$q + p e^{t}$
이항	$n p$	$n p q$	$(q + p e^{t})^{n}$
초기하	$n K / N$	$n p (1 - p) \frac{N - n}{N - 1}$	간단한 꼴이 없다
기하	$1 / p$	$q / p^{2}$	$p e^{t} / (1 - q e^{t})$
음이항	$r / p$	$r q / p^{2}$	${(p e^{t} / (1 - q e^{t}))}^{r}$
푸아송	$λ$	$λ$	$e^{λ (e^{t} - 1)}$

꼭 챙겨 갈 것은 넷이다.

분포는 상황이 정한다. 무엇을 세는가, 시행 수가 고정인가, 도로 넣는가 — 이 셋을 먼저 적어라.
이항과 초기하는 평균이 같고 분산이 다르다. 비복원은 유한모집단 수정계수만큼 덜 흔들린다.
기하분포는 무기억성을 갖는다. 이미 실패한 횟수는 앞날에 대해 아무 정보도 아니다.
푸아송 분포는 평균과 분산이 같다. 그리고 $n$ 이 크고 $p$ 가 작은 이항분포는 사실상 푸아송이다.

다음 장은 값이 띄엄띄엄하지 않고 구간을 빈틈없이 채우는 경우로 간다. 놀랍게도 이 장의 분포들이 그대로 다시 나온다. 기하분포의 무기억성은 지수분포로, 음이항분포의 " $r$ 개를 이어 붙이기"는 감마분포로, 푸아송 과정은 그 둘을 잇는 다리로 나타난다.

주요 연속분포

7장의 분포는 모두 셀 수 있는 값을 가졌다. 이제 값이 구간을 빈틈없이 채우는 경우로 간다. 대기 시간, 부품의 길이, 수명, 비율 같은 것들이다.

놀라운 것은 앞 장의 구조가 거의 그대로 되풀이된다는 점이다. 기하분포의 무기억성은 지수분포로, 음이항분포의 " $r$ 개를 이어 붙이기"는 감마분포로, 푸아송 과정은 그 둘을 잇는 다리로 나타난다.

이 장에서 답할 질문은 넷이다. 기다림의 시간은 어떤 분포를 따르는가, 계승을 정수가 아닌 곳까지 늘릴 수 있는가, 정규분포의 모양이 왜 그렇게 생겼는가, 그리고 정규분포에서 어떤 분포들이 태어나는가. 마지막 질문의 답이 9장 이후 전부를 떠받친다.

앞에서 가져오는 것은 4장의 확률밀도함수 $f (x)$ ·누적분포함수 $F (x)$ · $f = F^{'}$ , 5장의 기댓값·분산·적률생성함수, 6장의 독립과 이중적분, 그리고 7장의 푸아송 분포다. 기초수학에서는 /posts/fundamental/elementary-mathematics.html > 정적분과 치환적분·부분적분·이상적분을 계속 쓴다. 이 장에서 새로 만드는 것은 감마함수 하나뿐이고, 나머지는 전부 적분 계산이다.

연속균등분포

구간 $[a, b]$ 안의 어느 자리나 똑같이 그럴듯하다는 말을 밀도로 옮기면 "밀도가 상수"가 된다. 전체 넓이가 1 이어야 하므로 높이는 저절로 정해진다.

$f (x) = {\begin{cases} \frac{1}{b - a} & (a \leq x \leq b) \\ 0 & (그 밖) \end{cases}$

이것을 연속균등분포(continuous uniform distribution)라 하고 $X \sim U (a, b)$ 로 적는다. 누적분포함수는 왼쪽부터 넓이를 쌓은 것이므로 직선이 된다.

$F (x) = \frac{x - a}{b - a} (a \leq x \leq b)$

<밀도가 상수이므로 구간의 확률은 그 구간의 길이에 정비례한다. 누적분포함수는 0 에서 1 까지 일정한 기울기로 올라간다>[원본 보기]

평균과 분산은 적분으로 구한다.

$μ = \int_{a}^{b} \frac{x}{b - a} d x = \frac{b^{2} - a^{2}}{2 (b - a)} = \frac{a + b}{2}$

$E (X^{2}) = \int_{a}^{b} \frac{x^{2}}{b - a} d x = \frac{a^{2} + a b + b^{2}}{3}, σ^{2} = \frac{a^{2} + a b + b^{2}}{3} - \frac{(a + b)^{2}}{4} = \frac{(b - a)^{2}}{12}$

예제 77

어떤 버스가 정확히 10분 간격으로 온다. 시간표를 모른 채 정류장에 도착했을 때 기다리는 시간을 $X$ 라 하자. 5분 이상 기다릴 확률과 기다리는 시간의 평균·표준편차를 구하라.

풀이 보기

다음 버스가 오기까지의 남은 시간은 0분에서 10분 사이 어느 값이나 똑같이 그럴듯하다. $X \sim U (0, 10)$ 이다.

확률은 길이의 비다. $[5, 10]$ 의 길이가 전체 10의 절반이므로

$P (X \geq 5) = \frac{10 - 5}{10 - 0} = 0.5$

$μ = \frac{0 + 10}{2} = 5 \min, σ^{2} = \frac{(10 - 0)^{2}}{12} = \frac{100}{12} \approx 8.33, σ \approx 2.89 \min$

답이 말이 되는가. 0에서 10 사이에 고르게 퍼진 값의 평균이 5인 것은 당연하고, 표준편차가 구간 길이의 약 29%인 것도 그럴듯하다. 균등분포에서는 언제나 $σ = (b - a) / \sqrt{12} \approx 0.289 (b - a)$ 다.

예제 78

같은 버스 문제에서, 이미 3분을 기다렸다. 앞으로 4분 이상 더 기다려야 할 확률은 얼마인가. 처음부터 4분 이상 기다릴 확률과 비교하라.

풀이 보기

조건부확률이다. 3장의 정의 그대로 분모를 바꾼다.

$P (X > 7 ∣ X > 3) = \frac{P (X > 7)}{P (X > 3)} = \frac{3 / 10}{7 / 10} = \frac{3}{7} \approx 0.43$

처음부터 4분 이상일 확률은 $P (X > 4) = 0.6$ 이다. 두 값이 다르다.

곧 균등분포에는 무기억성이 없다. 3분을 기다렸다는 사실은 정보를 준다. 버스가 이미 가까워졌기 때문이다. 이것은 상식과도 맞는다.

다음 절에서 볼 지수분포는 이 상식을 배반한다. 그리고 그 배반이 바로 지수분포를 쓸 수 있는 상황과 쓸 수 없는 상황을 가른다.

지수분포와 무기억성

7장의 푸아송 과정을 다시 꺼낸다. 발생률이 $λ$ 인 푸아송 과정에서 첫 사건이 일어날 때까지 걸리는 시간 $X$ 의 분포를 구해 보자. 새 계산이 필요하지 않다.

$X > t$ 라는 것은 구간 $[0, t]$ 안에 사건이 하나도 없다는 말이다. 그 구간의 평균 발생 수는 $λ t$ 이므로 푸아송 확률에서 $x = 0$ 을 넣으면

$P (X > t) = \frac{e^{- λ t} (λ t)^{0}}{0!} = e^{- λ t}$

따라서 누적분포함수가 나오고, 4장에서 배운 대로 미분하면 밀도가 나온다.

$F (t) = 1 - e^{- λ t}, f (t) = F^{'} (t) = λ e^{- λ t} (t \geq 0)$

이것이 지수분포(exponential distribution)다. $λ$ 를 발생률이라 하고, 그 역수 $θ = 1 / λ$ 를 척도모수라 한다. 두 표기가 함께 쓰이므로 어느 것인지 늘 확인해야 한다.

$f (x) = λ e^{- λ x} = \frac{1}{θ} e^{- x / θ}$

적률생성함수를 구하면 평균과 분산이 함께 나온다. $t < λ$ 여야 적분이 수렴한다는 데 주의하자.

$M_{X} (t) = \int_{0}^{\infty} e^{t x} λ e^{- λ x} d x = λ \int_{0}^{\infty} e^{- (λ - t) x} d x = \frac{λ}{λ - t}$

두 번 미분해 $t = 0$ 을 넣으면 $M^{'} (0) = 1 / λ$ , $M^{″} (0) = 2 / λ^{2}$ 이므로 $μ = 1 / λ = θ$ 이고 $σ^{2} = 2 / λ^{2} - 1 / λ^{2} = 1 / λ^{2} = θ^{2}$ 다.

평균과 표준편차가 같다. 푸아송 분포에서 평균과 분산이 같았던 것과 짝을 이루는 지문이다.

<λ 가 커지면 곡선이 급하게 떨어지고 평균 1/λ 가 작아진다. 오른쪽에서 3시간을 버틴 뒤 남은 수명의 분포는 원래 곡선을 그대로 옮긴 것과 같다>[원본 보기]

무기억성 — 그리고 그것이 뜻하는 한계

$P (X > t) = e^{- λ t}$ 하나로 7장과 같은 계산이 된다.

$P (X > s + t ∣ X > s) = \frac{e^{- λ (s + t)}}{e^{- λ s}} = e^{- λ t} = P (X > t)$

이미 얼마를 버텼든 남은 수명의 분포가 처음과 같다. 그리고 이 성질을 갖는 연속분포는 지수분포뿐이다.

이것은 장점이자 한계다. 지진이나 방사성 붕괴처럼 "나이를 먹지 않는" 현상에는 잘 맞지만, 마모가 있는 것에는 맞지 않는다. 10년 쓴 자동차와 새 자동차의 남은 수명이 같다고 하면 아무도 믿지 않을 것이다. 그런 경우에는 다음 절의 감마분포처럼 모양을 바꿀 수 있는 분포가 필요하다.

예제 79

어떤 부품의 수명이 평균 800시간인 지수분포를 따른다. 이 부품이 (가) 500시간 이상 버틸 확률과 (나) 500시간과 1000시간 사이에 고장 날 확률을 구하라.

풀이 보기

평균이 $1 / λ = 800 h$ 이므로 $λ = 1 / 800 h^{- 1}$ 이다. 지수분포는 $P (X > t) = e^{- λ t}$ 만 있으면 웬만한 계산이 끝난다.

(가) $P (X > 500) = e^{- 500 / 800} = e^{- 0.625} \approx 0.535$

(나) 구간의 확률은 누적확률의 차다.

$P (500 < X < 1000) = e^{- 0.625} - e^{- 1.25} \approx 0.535 - 0.287 = 0.249$

점검하자. 평균이 800시간인데 500시간을 넘길 확률이 겨우 53.5%다. 지수분포의 중앙값은 $F (m) = 0.5$ 에서 $m = \ln 2 / λ \approx 0.693 θ$ , 곧 555시간으로 평균보다 한참 작다. 오른쪽으로 늘어진 분포에서는 평균이 늘 중앙값보다 크다. 7장의 기하분포에서 본 것과 같은 현상이다.

흔한 오해

위 부품을 이미 1000시간 켜 두었다. 앞으로 500시간을 더 버틸 확률은 얼마인가. "평균 수명을 넘겼으니 곧 고장 날 것"이라는 말은 이 모형에서 맞는가?

풀이 보기

무기억성을 그대로 쓰면 된다.

$P (X > 1500 ∣ X > 1000) = e^{- 500 / 800} = e^{- 0.625} \approx 0.535$

새 부품이 500시간을 버틸 확률과 정확히 같다. 이 모형 안에서는 "곧 고장 날 것"이라는 말이 틀렸다.

그런데 실제 부품이 정말 이럴 리는 없다. 그러면 무엇이 잘못된 것인가. 모형이 잘못된 것이다. 마모가 있는 부품의 수명은 지수분포를 따르지 않는다.

이것이 이 예제의 요점이다. 무기억성은 계산에서 나온 결론이 아니라 지수분포를 고른 순간 이미 가정한 것이다. 분포를 고르는 일은 세상에 대한 주장을 하나 하는 일이며, 그 주장이 틀리면 뒤의 계산이 아무리 정확해도 답은 틀린다.

감마함수 — 계승을 넓힌다

다음 절로 가기 전에 도구 하나를 만들어야 한다. 계승 $n!$ 은 자연수에만 정의된다. 그런데 앞으로 나올 분포들은 $(1 / 2)!$ 같은 것을 요구한다. 그것을 뜻있게 만드는 것이 감마함수(gamma function)다.

$Γ (α) = \int_{0}^{\infty} x^{α - 1} e^{- x} d x (α > 0)$

먼저 이 이상적분이 수렴하는지 보자. $x$ 가 커질 때는 $e^{- x}$ 가 어떤 거듭제곱보다도 빨리 줄어들므로 문제가 없고, $x \to 0$ 쪽에서는 $x^{α - 1}$ 의 적분이 $α > 0$ 일 때만 유한하다. 그래서 정의역이 양수다.

점화식과 계승

정의만 보면 계승과 무슨 상관인지 알 수 없다. 부분적분 한 번이 그 연결을 만든다. $Γ (α + 1)$ 에서 $u = x^{α}$ , $v^{'} = e^{- x}$ 로 두면

$Γ (α + 1) = \int_{0}^{\infty} x^{α} e^{- x} d x = [- x^{α} e^{- x}]_{0}^{\infty} + α \int_{0}^{\infty} x^{α - 1} e^{- x} d x$

첫 항은 양 끝에서 0 이다. $x = 0$ 에서는 $x^{α}$ 가 0 이고, $x \to \infty$ 에서는 $e^{- x}$ 가 이긴다. 남는 것은

$Γ (α + 1) = α Γ (α)$

계승의 성질 $(n + 1)! = (n + 1) \cdot n!$ 과 똑같은 꼴이다. 출발점만 알면 나머지가 줄줄이 따라온다.

$Γ (1) = \int_{0}^{\infty} e^{- x} d x = 1$

점화식을 되풀이하면 $Γ (2) = 1$ , $Γ (3) = 2$ , $Γ (4) = 6$ 이다. 곧 자연수 $n$ 에 대해 $Γ (n) = (n - 1)!$ 다.

첨자가 하나 밀려 있다는 점을 반드시 기억하자. $Γ (5) = 4! = 24$ 이지 $5!$ 이 아니다. 이 어긋남 때문에 실수가 자주 난다.

$Γ (1 / 2)$ 는 얼마인가

정수가 아닌 자리의 값 하나만 알면 반정수 자리 전체가 점화식으로 채워진다. 그 하나가 $Γ (1 / 2)$ 이다.

정의에 넣고 $x = u^{2}$ 로 치환한다. $d x = 2 u d u$ 이므로

$Γ (1 / 2) = \int_{0}^{\infty} x^{- 1 / 2} e^{- x} d x = \int_{0}^{\infty} u^{- 1} e^{- u^{2}} \cdot 2 u d u = 2 \int_{0}^{\infty} e^{- u^{2}} d u = \int_{- \infty}^{\infty} e^{- u^{2}} d u$

마지막 등호는 피적분함수가 우함수라서 성립한다. 그런데 이 적분은 부정적분을 초등함수로 쓸 수 없다. 그래서 제곱해서 이중적분으로 만드는 우회로를 쓴다. $I = \int_{- \infty}^{\infty} e^{- x^{2}} d x$ 라 두면

$I^{2} = (\int_{- \infty}^{\infty} e^{- x^{2}} d x) (\int_{- \infty}^{\infty} e^{- y^{2}} d y) = \iint e^{- (x^{2} + y^{2})} d x d y$

6장에서 본 대로 이 이중적분은 평면 전체에서 곡면 $z = e^{- (x^{2} + y^{2})}$ 아래의 부피다. 이 곡면은 원점을 축으로 회전대칭이므로 부피를 세로로 자르는 대신 고리로 잘라 더하면 훨씬 쉽다.

<왼쪽에서 정수 자리의 값이 계승과 정확히 맞는다. 오른쪽처럼 평면을 얇은 고리로 잘라 더하면 부피가 π 로 나오고, 그것이 √π 의 출처다>[원본 보기]

반지름 $r$ , 두께 $d r$ 인 고리의 넓이는 $2 π r d r$ 이고 그 위의 높이는 어디서나 $e^{- r^{2}}$ 이다. 따라서

$I^{2} = \int_{0}^{\infty} e^{- r^{2}} \cdot 2 π r d r = π \int_{0}^{\infty} e^{- s} d s = π (s = r^{2})$

$I > 0$ 이므로 $I = \sqrt{π}$ 이고, 결국

$Γ (1 / 2) = \sqrt{π} \approx 1.7725$

예제 81

$Γ (6)$ , $Γ (7 / 2)$ , $Γ (1 / 2) Γ (3 / 2)$ 를 구하라.

풀이 보기

자연수 자리는 계승이다. 첨자가 하나 밀리는 것만 조심한다.

$Γ (6) = 5! = 120$

반정수 자리는 점화식을 $Γ (1 / 2)$ 까지 내려가며 쓴다.

$Γ (7 / 2) = \frac{5}{2} Γ (\frac{5}{2}) = \frac{5}{2} \cdot \frac{3}{2} Γ (\frac{3}{2}) = \frac{5}{2} \cdot \frac{3}{2} \cdot \frac{1}{2} Γ (\frac{1}{2}) = \frac{15}{8} \sqrt{π} \approx 3.323$

$Γ (3 / 2) = \frac{1}{2} Γ (1 / 2) = \frac{\sqrt{π}}{2}$ 이므로 $Γ (1 / 2) Γ (3 / 2) = π / 2 \approx 1.571$ 다.

점검하자. $Γ (3) = 2$ 이고 $Γ (4) = 6$ 인데 $Γ (7 / 2) \approx 3.32$ 가 그 사이에 있다. 감마함수는 $α > 1.5$ 에서 증가하므로 자리가 맞다.

예제 82

적분 $\int_{0}^{\infty} x^{4} e^{- 3 x} d x$ 를 감마함수로 구하라.

풀이 보기

감마함수의 정의와 비교하면 지수가 $e^{- x}$ 가 아니라 $e^{- 3 x}$ 인 것만 다르다. 치환으로 맞춰 준다. $u = 3 x$ 로 두면 $x = u / 3$ , $d x = d u / 3$ 이다.

$\int_{0}^{\infty} x^{4} e^{- 3 x} d x = \int_{0}^{\infty} {(\frac{u}{3})}^{4} e^{- u} \frac{d u}{3} = \frac{1}{3^{5}} \int_{0}^{\infty} u^{4} e^{- u} d u = \frac{Γ (5)}{243}$

$Γ (5) = 4! = 24$ 이므로 답은 $24 / 243 = 8 / 81 \approx 0.0988$ 이다.

일반화해 두면 편하다. $\int_{0}^{\infty} x^{α - 1} e^{- x / θ} d x = θ^{α} Γ (α)$ 다. 다음 절의 감마분포에서 밀도의 넓이가 1 이 되는 것이 정확히 이 등식이다.

감마분포와 푸아송 과정

앞의 일반화한 적분을 뒤집으면 분포가 하나 나온다. $θ^{α} Γ (α)$ 로 나누어 전체 넓이를 1 로 맞춘 것이 감마분포(gamma distribution)다.

$f (x; α, θ) = \frac{x^{α - 1} e^{- x / θ}}{θ^{α} Γ (α)} (x > 0)$

$α$ 를 모양모수, $θ$ 를 척도모수라 한다. 이름이 하는 일을 그대로 말해 준다. $α$ 는 곡선의 생김새를 바꾸고, $θ$ 는 가로축의 눈금만 늘리거나 줄인다.

적률생성함수는 지수 부분을 한데 모으면 나온다. $e^{t x} e^{- x / θ} = e^{- x (1 / θ - t)}$ 이므로 척도가 $θ / (1 - θ t)$ 인 같은 꼴의 적분이 되고

$M_{X} (t) = (1 - θ t)^{- α} (t < 1 / θ)$

두 번 미분하면 $M^{'} (0) = α θ$ , $M^{″} (0) = α (α + 1) θ^{2}$ 이므로 $μ = α θ$ 이고 $σ^{2} = α (α + 1) θ^{2} - (α θ)^{2} = α θ^{2}$ 다.

<왼쪽에서 α 가 커지면 0 에서 내려가던 곡선에 봉우리가 생긴다. 오른쪽에서 θ 는 모양을 바꾸지 않고 가로로 늘리기만 한다>[원본 보기]

$α = 1$ 을 넣으면 $Γ (1) = 1$ 이므로 $f (x) = e^{- x / θ} / θ$ , 곧 지수분포다. 감마분포는 지수분포를 품고 있다.

푸아송 과정에서 감마분포가 나오는 자리

지수분포를 첫 사건까지의 시간으로 얻었다. 그러면 $α$ 번째 사건까지의 시간은 무엇일까.

적률생성함수로 답이 바로 나온다. 발생률 $λ$ 인 푸아송 과정에서 사건 사이의 간격은 각각 평균 $1 / λ$ 인 지수분포이고, 무기억성 덕분에 서로 독립이다. 독립인 것들의 합은 적률생성함수의 곱이므로

$M_{X_{1} + \dots + X_{α}} (t) = {(\frac{λ}{λ - t})}^{α} = {(1 - \frac{t}{λ})}^{- α}$

이것은 $θ = 1 / λ$ 인 감마분포의 적률생성함수다. 적률생성함수가 같으면 분포가 같으므로(5장)

$α 번째 사건까지의 시간 \sim Gamma (α, \frac{1}{λ})$

7장의 음이항분포가 기하분포 $r$ 개의 합이었던 것과 완전히 같은 구조다. 그리고 같은 계산이 감마분포의 덧셈 성질도 준다. 척도가 같은 독립 감마분포의 합은 모양모수를 더한 감마분포다.

$Gamma (α_{1}, θ) + Gamma (α_{2}, θ) \sim Gamma (α_{1} + α_{2}, θ)$

<같은 하나의 그림을 세 가지로 읽은 것이다. 구간 안의 개수를 세면 푸아송, 간격을 재면 지수, 세 번째 사건까지의 시간을 재면 감마가 된다>[원본 보기]

예제 83

어떤 창구에 손님이 시간당 평균 2명 온다(푸아송 과정으로 본다). 세 번째 손님이 올 때까지 걸리는 시간의 평균과, 그 시간이 2시간을 넘을 확률을 구하라.

풀이 보기

세 번째 사건까지의 시간이므로 $α = 3$ , $θ = 1 / λ = 0.5 h$ 인 감마분포다.

$μ = α θ = 3 \times 0.5 = 1.5 h, σ^{2} = α θ^{2} = 3 \times 0.25 = 0.75 h^{2}$

확률은 감마 밀도를 적분해도 되지만, 푸아송으로 바꿔 세는 것이 훨씬 쉽다. "세 번째 손님이 2시간 뒤에도 안 왔다"는 것은 "2시간 동안 손님이 2명 이하 왔다"와 같은 사건이다.

2시간 구간의 평균 발생 수는 $λ t = 2 \times 2 = 4$ 이므로

$P (X > 2) = P (N \leq 2) = e^{- 4} (1 + 4 + \frac{16}{2}) = 13 e^{- 4} \approx 0.238$

평균이 1.5시간인데 2시간을 넘길 확률이 24%다. 오른쪽 꼬리가 있으니 그럴듯하다. 이 "시간을 재는 문제를 개수를 세는 문제로 바꾸기"는 기억해 둘 만한 수법이다. 연속분포의 적분을 이산분포의 유한 합으로 바꿔 준다.

예제 84

서로 독립이고 각각 평균이 $θ$ 인 지수분포를 따르는 $X_{1}, X_{2}, X_{3}$ 의 합 $Y$ 의 분포를 구하라. 그리고 $E (Y)$ 와 $V (Y)$ 를 두 가지 방법으로 확인하라.

풀이 보기

지수분포는 $α = 1$ 인 감마분포이므로 적률생성함수가 $(1 - θ t)^{- 1}$ 이다. 독립이므로 곱한다.

$M_{Y} (t) = {[(1 - θ t)^{- 1}]}^{3} = (1 - θ t)^{- 3}$

이것은 $α = 3$ , 척도 $θ$ 인 감마분포의 적률생성함수다. 따라서 $Y \sim Gamma (3, θ)$ 다.

첫 번째 방법 — 감마분포의 공식에 넣는다. $E (Y) = 3 θ$ , $V (Y) = 3 θ^{2}$ .

두 번째 방법 — 5장과 6장의 성질을 쓴다. 기댓값은 선형성으로 $3 \times θ = 3 θ$ 이고, 독립이므로 분산이 더해져 $3 \times θ^{2} = 3 θ^{2}$ 이다.

두 방법이 같다. 그런데 두 번째 방법은 분포가 무엇인지 알려 주지 않는다. 평균과 분산만 준다. 적률생성함수가 하는 일이 바로 그 빈자리를 채우는 것이다. 모양까지 알아내려면 적률생성함수가 필요하다.

베타분포 — 비율 자체를 다룬다

지금까지 본 연속분포는 모두 값이 0 이상 무한대까지였다. 그런데 "합격률"이나 "찬성 비율"처럼 0 과 1 사이에만 있는 양도 있다. 그 자리를 채우는 것이 베타분포(beta distribution)다.

$f (x; α, β) = \frac{x^{α - 1} (1 - x)^{β - 1}}{B (α, β)} (0 < x < 1)$

분모의 $B (α, β)$ 는 넓이를 1 로 맞추는 상수이고 베타함수라 한다. 감마함수로 적을 수 있다.

$B (α, β) = \int_{0}^{1} x^{α - 1} (1 - x)^{β - 1} d x = \frac{Γ (α) Γ (β)}{Γ (α + β)}$

평균과 분산은 다음과 같다. 평균이 두 모수의 비로만 정해지는 것이 이 분포의 편한 점이다.

$μ = \frac{α}{α + β}, σ^{2} = \frac{α β}{(α + β)^{2} (α + β + 1)}$

$α = β = 1$ 을 넣으면 $f (x) = 1$ , 곧 $U (0, 1)$ 이다. 연속균등분포도 베타분포의 한 경우다.

<두 모수의 비가 봉우리의 위치를 정하고 합이 뾰족한 정도를 정한다. 둘 다 1 보다 작으면 봉우리 대신 양 끝이 올라간 U 자가 된다>[원본 보기]

모수를 읽는 감각을 하나 붙여 두자. $α - 1$ 을 "성공한 횟수", $β - 1$ 을 "실패한 횟수"로 생각하면 밀도의 모양이 이항분포의 확률을 $p$ 의 함수로 본 것과 같아진다. 그래서 베타분포는 비율에 대한 믿음을 나타내는 데 쓰이고, 10장 이후 베이즈 방식의 추정에서 다시 나온다.

예제 85

어떤 작업의 성공 비율 $X$ 를 $α = 3$ , $β = 2$ 인 베타분포로 나타냈다. 평균과, 성공 비율이 0.5 를 넘을 확률을 구하라.

풀이 보기

평균은 공식에 넣으면 된다.

$μ = \frac{3}{3 + 2} = 0.6$

확률을 구하려면 밀도가 필요하다. 먼저 상수를 감마함수로 계산한다.

$B (3, 2) = \frac{Γ (3) Γ (2)}{Γ (5)} = \frac{2}{24} = \frac{1}{12} \Rightarrow f (x) = 12 x^{2} (1 - x) (0 < x < 1)$

이제 적분한다. 다항식이므로 어렵지 않다.

$P (X > 0.5) = \int_{0.5}^{1} 12 (x^{2} - x^{3}) d x = 12 {[\frac{x^{3}}{3} - \frac{x^{4}}{4}]}_{0.5}^{1}$

$= 12 [(\frac{1}{3} - \frac{1}{4}) - (\frac{1}{24} - \frac{1}{64})] = 12 (\frac{1}{12} - \frac{5}{192}) = \frac{11}{16} = 0.6875$

점검하자. 평균이 0.6 으로 0.5 보다 오른쪽에 있으니 0.5 를 넘을 확률이 절반보다 커야 한다. $0.6875$ 는 그 조건을 만족한다.

밀도가 $f (x) = 12 x^{2} (1 - x)$ 인 것도 확인해 두자. $x^{2}$ 이 0 근처를 누르고 $(1 - x)$ 가 1 근처를 누르므로 봉우리가 그 사이 어딘가에 생긴다. 미분하면 최댓값은 $x = 2 / 3$ 에서다. 최빈값 2/3 과 평균 0.6 이 다르다. 분포가 대칭이 아니기 때문이다.

예제 86

$X \sim Beta (2, 4)$ 의 평균·분산·최빈값을 구하고 $P (X \leq 0.5)$ 를 계산하라. 그리고 앞 예제의 $Beta (3, 2)$ 와 어떤 관계인지 밝혀라.

풀이 보기

평균과 분산은 공식에 넣는다.

$μ = \frac{2}{2 + 4} = \frac{1}{3}, σ^{2} = \frac{2 \times 4}{6^{2} \times 7} = \frac{8}{252} = \frac{2}{63} \approx 0.0317$

밀도를 세우려면 상수가 필요하다.

$B (2, 4) = \frac{Γ (2) Γ (4)}{Γ (6)} = \frac{1 \times 6}{120} = \frac{1}{20} \Rightarrow f (x) = 20 x (1 - x)^{3} (0 < x < 1)$

최빈값은 밀도를 미분해 0 으로 놓는다. $f^{'} (x) \propto (1 - x)^{3} - 3 x (1 - x)^{2} = (1 - x)^{2} (1 - 4 x)$ 이므로 $x = 1 / 4$ 다.

확률은 적분이다. $u = 1 - x$ 로 치환하면 $d x = - d u$ 이고 구간이 뒤집힌다.

$P (X \leq 0.5) = \int_{0}^{0.5} 20 x (1 - x)^{3} d x = \int_{0.5}^{1} 20 (1 - u) u^{3} d u = 20 {[\frac{u^{4}}{4} - \frac{u^{5}}{5}]}_{0.5}^{1}$

$= 20 [(\frac{1}{4} - \frac{1}{5}) - (\frac{1}{64} - \frac{1}{160})] = 20 [\frac{1}{20} - \frac{3}{320}] = 1 - \frac{3}{16} = \frac{13}{16} = 0.8125$

답이 말이 되는가. 평균 $1 / 3$ 이 0.5 보다 왼쪽에 있으므로 0.5 아래에 확률이 더 많이 몰려야 하고, 실제로 0.8125 다 ✓ 최빈값 0.25 가 평균 0.333 보다 더 왼쪽인 것도 오른쪽으로 꼬리가 끌린 분포의 특징이다.

앞 예제와의 관계. $Y \sim Beta (3, 2)$ 였고 이 문제는 $Beta (2, 4)$ 다. 두 모수를 맞바꾼 짝은 서로 좌우를 뒤집은 것이다. 밀도에서 $x \to 1 - x$ 로 바꾸면 $α$ 와 $β$ 의 자리가 서로 바뀌고 $B (α, β) = B (β, α)$ 이므로

$X \sim Beta (α, β) ⟺ 1 - X \sim Beta (β, α)$

이다. 그래서 $Beta (4, 2)$ 를 따르는 변수라면 $P (\cdot \geq 0.5) = 0.8125$ 이고, 평균도 $1 - 1 / 3 = 2 / 3$ 로 뒤집힌다. 계산 하나로 짝이 되는 분포까지 얻는다.

정규분포

이 문서에서 가장 많이 쓰이는 분포다. 기초수학에서 모양과 표준화는 이미 보았으므로, 여기서는 왜 그 모양인지와 어떤 성질 때문에 그렇게 편한지에 힘을 준다.

$f (x) = \frac{1}{\sqrt{2 π} σ} \exp (- \frac{(x - μ)^{2}}{2 σ^{2}}) (- \infty < x < \infty)$

먼저 넓이가 1 인지 확인하자. 앞 절의 결과가 여기서 쓰인다. $z = (x - μ) / σ$ 로 치환하고 다시 $u = z / \sqrt{2}$ 로 치환하면

$\int_{- \infty}^{\infty} f (x) d x = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{\infty} e^{- z^{2} / 2} d z = \frac{\sqrt{2}}{\sqrt{2 π}} \int_{- \infty}^{\infty} e^{- u^{2}} d u = \frac{\sqrt{2} \cdot \sqrt{π}}{\sqrt{2 π}} = 1$

밀도에 붙은 $\sqrt{2 π}$ 의 정체가 이것이다. $Γ (1 / 2) = \sqrt{π}$ 를 알아야 정규분포의 상수를 알 수 있다. 순서가 그래서 이렇다.

모양에 대해 두 가지를 짚어 둔다. 첫째, $x = μ$ 에 대해 좌우 대칭이다. 지수 안에 $(x - μ)^{2}$ 만 있기 때문이다. 둘째, 변곡점이 $x = μ \pm σ$ 다. 두 번 미분하면

$f^{″} (x) = [\frac{(x - μ)^{2}}{σ^{4}} - \frac{1}{σ^{2}}] f (x)$

이고 이것이 0 이 되는 곳은 $(x - μ)^{2} = σ^{2}$ 다. 그래서 그래프만 보고도 $σ$ 를 읽어 낼 수 있다. 곡선이 아래로 굽던 것이 위로 굽기 시작하는 자리다.

<왼쪽에서 μ 는 자리만 옮기고 σ 는 폭을 바꾼다. 넓이가 항상 1 이므로 넓어지면 반드시 낮아진다. 오른쪽 두 그림의 색칠한 넓이는 정확히 같다>[원본 보기]

적률생성함수와 선형결합

적률생성함수는 지수의 완전제곱을 만들어 얻는다. $Z \sim N (0, 1)$ 에서

$M_{Z} (t) = \frac{1}{\sqrt{2 π}} \int e^{t z} e^{- z^{2} / 2} d z = \frac{1}{\sqrt{2 π}} \int e^{- \frac{1}{2} (z - t)^{2} + \frac{t^{2}}{2}} d z = e^{t^{2} / 2}$

남은 적분은 평균이 $t$ 인 정규밀도의 전체 넓이라 1 이다. $X = μ + σ Z$ 이므로 5장의 성질 $M_{a X + b} (t) = e^{b t} M_{X} (a t)$ 를 쓰면

$M_{X} (t) = \exp (μ t + \frac{σ^{2} t^{2}}{2})$

이 한 줄에서 정규분포의 가장 값진 성질이 나온다. $X_{i} \sim N (μ_{i}, σ_{i}^{2})$ 가 서로 독립일 때 $Y = \sum a_{i} X_{i}$ 의 적률생성함수는

$M_{Y} (t) = \prod \exp (a_{i} μ_{i} t + \frac{a_{i}^{2} σ_{i}^{2} t^{2}}{2}) = \exp ((\sum a_{i} μ_{i}) t + \frac{(\sum a_{i}^{2} σ_{i}^{2}) t^{2}}{2})$

다시 정규분포의 적률생성함수다. 곧 독립인 정규분포의 어떤 선형결합도 정규분포다.

$Y = \sum a_{i} X_{i} \sim N (\sum a_{i} μ_{i}, \sum a_{i}^{2} σ_{i}^{2})$

계수가 제곱으로 들어가는 데 주의하자. 특히 $X - Y$ 의 분산은 $σ_{X}^{2} + σ_{Y}^{2}$ 로 더해진다. 뺄셈인데도 분산이 커지는 것이 처음에는 이상하게 보이지만, 두 곳에서 온 흔들림이 서로 지워질 이유가 없으니 당연하다.

표준정규표 읽는 법

정규분포의 적분은 초등함수로 쓸 수 없어 표나 계산기를 써야 한다. 표는 보통 $Φ (z) = P (Z \leq z)$ , 곧 왼쪽 꼬리 누적확률을 준다. 필요한 값만 여기 적어 둔다.

$z$	0.50	1.00	1.20	1.50	1.645	1.96	2.00	2.33	2.576	3.00
$Φ (z)$	0.6915	0.8413	0.8849	0.9332	0.9500	0.9750	0.9772	0.9901	0.9950	0.9987

표를 쓰는 규칙은 셋뿐이다. 오른쪽 꼬리는 $P (Z > z) = 1 - Φ (z)$ , 음수는 대칭성으로 $Φ (- z) = 1 - Φ (z)$ , 구간은 차로 $P (a \leq Z \leq b) = Φ (b) - Φ (a)$ 다.

표에서 뒤의 네 값은 특별히 기억해 둘 만하다. $Φ (1.645) = 0.95$ 와 $Φ (1.96) = 0.975$ 는 10장의 신뢰구간에서, $Φ (2.33)$ 과 $Φ (2.576)$ 은 더 좁은 신뢰수준에서 계속 나온다.

예제 87

어떤 부품의 길이가 평균 $50 mm$ , 표준편차 $2 mm$ 인 정규분포를 따른다. 길이가 $47 mm$ 미만이거나 $54 mm$ 초과이면 불량이다. 불량률을 구하라.

풀이 보기

구하려는 것은 $P (X < 47) + P (X > 54)$ 다. 두 사건은 배반이므로 더하면 된다. 표를 쓰려면 먼저 표준화한다.

$z_{1} = \frac{47 - 50}{2} = - 1.5, z_{2} = \frac{54 - 50}{2} = 2.0$

$P (X < 47) = Φ (- 1.5) = 1 - 0.9332 = 0.0668, P (X > 54) = 1 - Φ (2.0) = 1 - 0.9772 = 0.0228$

$P (불량) = 0.0668 + 0.0228 = 0.0896 \approx 9.0 %$

점검하자. 68·95·99.7 규칙에 따르면 $μ \pm 2 σ$ , 곧 $46$ 에서 $54$ 사이에 95%가 들어간다. 우리 규격은 아래쪽이 47이라 조금 더 좁으므로 불량률이 5%보다 커야 한다. 9%는 그 조건에 맞는다.

예제 88

같은 부품에서 (가) 상위 5% 에 해당하는 길이와 (나) 가운데 95% 가 들어가는 구간을 구하라.

풀이 보기

이번에는 확률이 주어지고 값을 묻는다. 표를 거꾸로 읽는 문제다.

(가) 상위 5% 는 왼쪽 누적이 0.95 인 자리다. 표에서 $Φ (1.645) = 0.95$ 이므로 $z = 1.645$ 이고, 표준화를 되돌리면 $x = μ + z σ = 50 + 1.645 \times 2 = 53.29 mm$ 다.

(나) 가운데 95% 는 양쪽 꼬리에 각각 2.5% 를 남긴다. 왼쪽 누적이 0.975 인 자리가 $z = 1.96$ 이므로

$x = 50 \pm 1.96 \times 2 = 46.08 mm 에서 53.92 mm$

두 답에서 쓰는 $z$ 가 다른 이유를 분명히 해 두자. 한쪽 꼬리인지 양쪽 꼬리인지에 따라 남길 확률이 5% 인지 2.5% 인지가 달라진다. 이 구별을 놓치는 것이 11장에서 가장 흔한 실수다.

앞 예제에서 $μ \pm 2 σ$ 를 "약 95%"라 했는데, 정확히 95%가 되는 것은 $μ \pm 1.96 σ$ 다. 68·95·99.7 은 어림이고, 계산에는 표의 값을 쓴다.

예제 89

두 부품을 이어 붙여 하나로 만든다. 부품 A 의 길이는 $N (50, 2^{2})$ , 부품 B 는 $N (30, {1.5}^{2})$ 이고 서로 독립이다(단위는 $mm$ ). 이은 전체 길이가 $83 mm$ 를 넘을 확률을 구하라.

풀이 보기

전체 길이는 $Y = A + B$ 다. 독립인 정규분포의 합이므로 다시 정규분포이고, 평균은 더하고 분산도 더한다.

$μ_{Y} = 50 + 30 = 80 mm, σ_{Y}^{2} = 2^{2} + {1.5}^{2} = 4 + 2.25 = 6.25 {mm}^{2}$

$σ_{Y} = 2.5 mm$ 다. 표준편차를 더해서 $3.5$ 로 놓으면 안 된다. 더해지는 것은 분산이다.

$P (Y > 83) = P (Z > \frac{83 - 80}{2.5}) = P (Z > 1.2) = 1 - 0.8849 = 0.1151$

약 11.5% 다. 점검하자. 83은 평균에서 표준편차 1.2배 위이고, 표준정규에서 1.2 를 넘을 확률이 약 12% 인 것은 68% 규칙(1배 안쪽 68%, 곧 한쪽 꼬리 16%)과 견주어 그럴듯하다.

덧붙여, 두 부품의 길이 차 $A - B$ 의 분산도 $6.25$ 다. 계수 $- 1$ 이 제곱되어 $+ 1$ 이 되기 때문이다. 뺄셈에서 흔들림이 줄어들 것 같은 느낌은 틀렸다.

정규분포에서 태어나는 세 분포

이 절이 8장의 목적지다. 앞으로 쓸 세 분포는 새로운 가정에서 오지 않는다. 표준정규를 제곱하고, 더하고, 나눈 결과일 뿐이다. 만드는 방법이 곧 정의다.

<세 분포는 모두 표준정규에서 만들어진다. 자유도는 ‘몇 개를 더했는가’ 를 세는 수이고, 9장에서 각각이 쓰이는 자리가 정해진다>[원본 보기]

카이제곱분포

서로 독립인 표준정규 $Z_{1}, \dots, Z_{k}$ 의 제곱을 더한 것을 자유도 $k$ 인 카이제곱분포라 하고 $χ^{2} (k)$ 로 적는다.

$V = Z_{1}^{2} + Z_{2}^{2} + \dots + Z_{k}^{2} \sim χ^{2} (k)$

이것이 어떤 분포인지는 적률생성함수로 알 수 있다. $Z^{2}$ 하나부터 시작하자. $t < 1 / 2$ 에서

$M_{Z^{2}} (t) = \frac{1}{\sqrt{2 π}} \int e^{t z^{2}} e^{- z^{2} / 2} d z = \frac{1}{\sqrt{2 π}} \int e^{- \frac{z^{2}}{2} (1 - 2 t)} d z = (1 - 2 t)^{- 1 / 2}$

마지막 등호는 표준편차가 $1 / \sqrt{1 - 2 t}$ 인 정규밀도의 넓이를 맞춰 준 것이다. 독립인 $k$ 개를 더하면 곱하면 되므로 $M_{V} (t) = (1 - 2 t)^{- k / 2}$ 다.

이것을 감마분포의 적률생성함수 $(1 - θ t)^{- α}$ 와 비교하면 정체가 드러난다. 카이제곱분포는 $α = k / 2$ , $θ = 2$ 인 감마분포다. 그래서 밀도와 평균·분산을 새로 구할 필요가 없다.

$f (x) = \frac{x^{k / 2 - 1} e^{- x / 2}}{2^{k / 2} Γ (k / 2)}, μ = α θ = k, σ^{2} = α θ^{2} = 2 k$

여기서 감마함수가 왜 필요했는지 분명해진다. $k$ 가 홀수면 $Γ (k / 2)$ 가 반정수 자리의 값이고, 그것은 $Γ (1 / 2) = \sqrt{π}$ 없이는 쓸 수 없다.

적률생성함수가 곱해지므로 덧셈 성질도 공짜로 얻는다. 독립인 카이제곱분포의 합은 자유도를 더한 카이제곱분포다.

t 분포

표준정규를, 그것과 독립인 카이제곱을 자유도로 나눈 것의 제곱근으로 나눈 것을 자유도 $k$ 인 $t$ 분포라 한다.

$T = \frac{Z}{\sqrt{V / k}} (Z \sim N (0, 1), V \sim χ^{2} (k), 서로 독립)$

밀도는 유도가 길어 결과만 적는다. 감마함수가 여기에도 나온다.

$f (t) = \frac{Γ (\frac{k + 1}{2})}{\sqrt{k π} Γ (\frac{k}{2})} {(1 + \frac{t^{2}}{k})}^{- \frac{k + 1}{2}}$

중요한 것은 식이 아니라 모양이다. 좌우 대칭이고 종 모양인데 표준정규보다 가운데가 낮고 꼬리가 두껍다.

<분모가 상수가 아니라 표본마다 흔들리기 때문에 꼬리가 두꺼워진다. 자유도가 커지면 t 는 표준정규에 겹쳐 간다>[원본 보기]

꼬리가 두꺼운 까닭은 분모를 보면 알 수 있다. 표준정규의 분모는 상수인데 $t$ 분포의 분모 $\sqrt{V / k}$ 는 확률변수다. 그것이 우연히 작게 나오면 전체 값이 크게 튄다. 불확실성이 한 겹 더 붙은 것이 두꺼운 꼬리로 나타난다.

평균은 $k \geq 2$ 에서 0 이고, 분산은 $k \geq 3$ 에서 $k / (k - 2)$ 다. 언제나 1 보다 크고 $k \to \infty$ 에서 1 로 내려간다. 그리고 $k \to \infty$ 이면 $V / k \to 1$ 이 되어 분모가 상수처럼 굳으므로 $t$ 는 표준정규로 다가간다. 자유도 1 인 경우는 극단이어서 평균조차 존재하지 않는다.

F 분포

독립인 카이제곱 두 개를 각각 자유도로 나눈 뒤 비를 낸 것을 자유도 $(d_{1}, d_{2})$ 인 $F$ 분포라 한다.

$F = \frac{U / d_{1}}{V / d_{2}} (U \sim χ^{2} (d_{1}), V \sim χ^{2} (d_{2}), 서로 독립)$

제곱합의 비이므로 값은 언제나 양수이고, 두 자유도의 순서가 중요하다. $d_{2} > 2$ 이면 평균이 $d_{2} / (d_{2} - 2)$ 인데, 자유도가 크면 1 에 가까워진다. 두 분산이 같을 때 그 비가 1 근처에 모인다는 상식과 맞는다.

<카이제곱은 자유도가 커지면 오른쪽으로 밀리며 대칭에 가까워진다. F 는 1 근처를 중심으로 오른쪽 꼬리가 긴 모양이고 음수가 될 수 없다>[원본 보기]

세 분포를 잇는 관계 둘을 적어 둔다. 정의를 그대로 대입하면 나온다.

$T^{2} = \frac{Z^{2}}{V / k} = \frac{Z^{2} / 1}{V / k} \sim F (1, k), \frac{1}{F (d_{1}, d_{2})} \sim F (d_{2}, d_{1})$

첫 관계는 $Z^{2} \sim χ^{2} (1)$ 이기 때문이고, 둘째는 분자와 분모를 맞바꾼 것이다. 둘째 관계는 표에서 왼쪽 꼬리 값을 찾을 때 요긴하다. 옛 표는 오른쪽 꼬리만 실었기 때문이다.

예제 90

서로 독립인 표준정규 $Z_{1}, \dots, Z_{5}$ 에 대해 $W = \sum Z_{i}^{2}$ 라 하자. $W$ 의 평균과 분산을 구하고, 아래 표를 써서 $P (W > 11.07)$ 과 $P (W > 15.09)$ 를 구하라.

자유도	오른쪽 꼬리 5% 점	오른쪽 꼬리 1% 점
4	9.488	13.277
5	11.070	15.086

풀이 보기

표준정규 5개의 제곱합이므로 정의대로 $W \sim χ^{2} (5)$ 다.

$μ = k = 5, σ^{2} = 2 k = 10, σ = \sqrt{10} \approx 3.16$

표에서 자유도 5의 5% 점이 11.070 이고 1% 점이 15.086 이므로

$P (W > 11.07) = 0.05, P (W > 15.09) = 0.01$

크기 감각을 붙여 두자. 평균이 5인데 11.07 이 5% 점이다. 평균의 두 배가 넘는 값이 20번에 한 번은 나온다. 분포가 오른쪽으로 그만큼 길다는 뜻이다.

표준편차가 3.16 이니 11.07 은 평균에서 약 1.9 표준편차 위다. 정규분포라면 그 위쪽이 약 2.9% 인데 여기서는 5% 다. 오른쪽 꼬리가 정규보다 두껍다는 것이 수로 확인된다.

자유도 4의 값도 함께 실은 이유는 9장에서다. 크기 5인 표본의 표본분산은 자유도 5가 아니라 4를 갖게 된다.

예제 91

자유도 10인 $t$ 분포의 오른쪽 꼬리 5% 점은 1.812 이고 2.5% 점은 2.228 이다. 표준정규의 값 1.645 와 1.96 보다 큰 이유를 설명하라. 그리고 ${2.228}^{2}$ 이 무엇인지 말하라.

풀이 보기

이유는 꼬리의 두께다. $t$ 분포는 표준정규보다 바깥쪽에 확률이 더 많이 남아 있다. 같은 5% 를 꼬리에 남기려면 더 멀리 나가야 한다. 그래서 $1.812 > 1.645$ 이고 $2.228 > 1.96$ 이다.

자유도가 커지면 이 차이가 줄어든다. 자유도 30이면 5% 점이 약 1.70, 자유도가 무한대면 정확히 1.645 다.

뒷 물음은 앞에서 본 관계 $T^{2} \sim F (1, k)$ 를 쓰는 것이다. 양쪽 꼬리 2.5% 씩을 합치면 5% 이고, 제곱하면 한쪽 꼬리가 된다.

$P (| T | > 2.228) = 0.05 ⟺ P (T^{2} > {2.228}^{2}) = 0.05$

${2.228}^{2} \approx 4.96$ 이고, 이것이 $F (1, 10)$ 의 오른쪽 꼬리 5% 점이다. 실제 $F$ 표에서 $F_{0.05} (1, 10) = 4.96$ 을 찾을 수 있다.

8장 정리

분포	밀도함수	평균	분산
연속균등 $U (a, b)$	$1 / (b - a)$	$(a + b) / 2$	$(b - a)^{2} / 12$
지수 (발생률 $λ$ )	$λ e^{- λ x}$	$1 / λ$	$1 / λ^{2}$
감마 $(α, θ)$	$x^{α - 1} e^{- x / θ} / (θ^{α} Γ (α))$	$α θ$	$α θ^{2}$
베타 $(α, β)$	$x^{α - 1} (1 - x)^{β - 1} / B (α, β)$	$α / (α + β)$	$\frac{α β}{(α + β)^{2} (α + β + 1)}$
정규 $N (μ, σ^{2})$	$\frac{1}{\sqrt{2 π} σ} e^{- (x - μ)^{2} / (2 σ^{2})}$	$μ$	$σ^{2}$
카이제곱 $χ^{2} (k)$	$α = k / 2, θ = 2$ 인 감마	$k$	$2 k$
$t (k)$	$Z / \sqrt{V / k}$ 의 분포	$0 (k \geq 2)$	$k / (k - 2) (k \geq 3)$
$F (d_{1}, d_{2})$	$(U / d_{1}) / (V / d_{2})$ 의 분포	$d_{2} / (d_{2} - 2)$	표 참조

새 도구와 주요 관계는 다음과 같다.

이름	내용
감마함수	$Γ (α) = \int_{0}^{\infty} x^{α - 1} e^{- x} d x$ , $Γ (α + 1) = α Γ (α)$ , $Γ (n) = (n - 1)!$ , $Γ (1 / 2) = \sqrt{π}$
베타함수와 가우스 적분	$B (α, β) = Γ (α) Γ (β) / Γ (α + β)$ , $\int_{- \infty}^{\infty} e^{- x^{2}} d x = \sqrt{π}$
무기억성	$P (X > s + t ∣ X > s) = P (X > t)$ . 연속분포에서는 지수분포만
푸아송 과정	개수는 푸아송, 간격은 지수, $α$ 번째까지는 감마
감마의 합	$θ$ 가 같으면 $α$ 를 더한다
정규의 선형결합	$\sum a_{i} X_{i} \sim N (\sum a_{i} μ_{i}, \sum a_{i}^{2} σ_{i}^{2})$
표준정규표	$Φ (z) = P (Z \leq z)$ , $Φ (- z) = 1 - Φ (z)$ , $Φ (1.645) = 0.95$ , $Φ (1.96) = 0.975$
세 분포의 출처와 관계	$χ^{2}$ 은 제곱의 합, $t = Z / \sqrt{χ^{2} / k}$ , $F$ 는 $χ^{2}$ 두 개의 비. 그리고 $T^{2} \sim F (1, k)$ , $1 / F (d_{1}, d_{2}) \sim F (d_{2}, d_{1})$

꼭 챙겨 갈 것은 넷이다.

분포를 고르는 것은 세상에 대한 주장을 하나 하는 것이다. 지수분포를 고르면 무기억성을 가정한 것이고, 그것이 틀리면 계산이 정확해도 답이 틀린다.
감마함수는 계승을 넓힌 것이다. $Γ (n) = (n - 1)!$ 로 첨자가 하나 밀리고, $Γ (1 / 2) = \sqrt{π}$ 가 정규분포의 상수를 만든다.
독립인 정규분포의 선형결합은 정규분포다. 계수는 제곱으로 분산에 들어가고, 뺄셈에서도 분산은 더해진다.
카이제곱· $t$ · $F$ 는 정규분포에서 만들어진 것이다. 새 가정이 아니라 제곱·합·비의 결과다.

다음 장에서 이 세 분포가 어디에 쓰이는지 드러난다. 모집단에서 표본을 뽑아 평균과 분산을 계산하면, 그 계산값 자체가 확률변수가 되고 그 분포가 정확히 이 세 분포로 나타난다. 그리고 모집단이 정규분포가 아니어도 표본평균만은 정규분포에 가까워진다는 정리를 만난다.

표본분포와 극한정리

여기가 이 문서의 분기점이다. 지금까지 일곱 장은 확률을 다뤘다. 모집단의 성질을 이미 안다고 놓고, 그럴 때 무슨 일이 일어나는지를 계산했다. 이 장부터는 방향이 뒤집힌다. 우리는 모집단을 모르고, 손에 든 것은 거기서 뽑은 몇 개의 수뿐이다. 그것으로 모집단을 말하는 것이 통계적 추론이다.

뒤집기가 가능한 이유는 하나다. 표본에서 계산한 값이 어떻게 흔들리는지를 확률로 계산할 수 있기 때문이다. 표본평균은 표본을 바꾸면 값이 달라지므로 그 자체가 확률변수이고, 확률변수에는 분포가 있다. 그 분포를 표본분포라 하고, 이 장은 그것을 구하는 장이다.

이 장에서 답할 질문은 넷이다. 표본평균은 얼마나 흔들리는가, 표본을 늘리면 참값에 가까워지는가, 모집단의 모양을 모르는데도 확률을 계산할 수 있는가, 그리고 표본분산과 표본비율은 어떤 분포를 따르는가.

앞에서 가져오는 것이 많다. 5장의 기댓값·분산·체비쇼프 부등식·적률생성함수, 6장의 독립과 선형결합의 평균·분산, 7장의 이항분포와 초기하분포의 유한모집단 수정계수, 8장의 정규분포와 카이제곱· $t$ · $F$ 분포다. 특히 8장 마지막 절이 없으면 이 장의 뒷부분을 읽을 수 없다. 표준정규표는 8장의 것을 계속 쓴다.

모집단과 표본, 모수와 통계량

용어를 먼저 못 박는다. 여기서 헷갈리면 뒤가 전부 흐려진다.

모집단(population) — 알고 싶은 대상 전체. 그것이 이루는 확률분포를 모집단분포라 한다.
모수(parameter) — 모집단분포를 정하는 상수. $μ$ , $σ^{2}$ , $p$ 같은 것들이다. 정해진 값이지만 우리는 모른다. 확률변수가 아니다.
표본(sample) — 모집단에서 뽑은 것들. 크기 $n$ 인 표본은 $X_{1}, \dots, X_{n}$ 로 적는다.
통계량(statistic) — 표본만으로 계산되는 양. 모수를 몰라도 계산할 수 있어야 통계량이다.

표본을 어떻게 뽑느냐가 중요하다. 확률표본(random sample)이란 $X_{1}, \dots, X_{n}$ 이 서로 독립이고 모두 모집단과 같은 분포를 갖도록 뽑은 것이다. 줄여서 "독립이고 동일한 분포"라 한다. 이 두 조건이 이 장의 모든 계산을 떠받친다.

가장 많이 쓰는 통계량은 둘이다.

$\bar{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$

$S^{2}$ 의 분모가 $n$ 이 아니라 $n - 1$ 인 이유는 10장에서 증명한다. 지금은 관례로 받아들이면 된다.

대문자와 소문자를 구별하는 관습도 여기서 시작된다. $\bar{X}$ 는 확률변수이고, 실제로 표본을 뽑아 계산한 값 $\bar{x}$ 는 그 확률변수가 취한 하나의 값이다. 조사를 한 번 하면 $\bar{x}$ 하나를 얻는다. $\bar{X}$ 의 분포는 계산으로만 안다.

<위층의 모집단과 모수는 볼 수 없고 아래층의 표본과 통계량만 볼 수 있다. 두 층을 잇는 다리가 표본분포이며 10장 이후는 그 다리를 거꾸로 건너는 이야기다>[원본 보기]

통계량의 확률분포를 표본분포(sampling distribution)라 한다. 이름 때문에 "표본의 분포"로 읽기 쉽지만 아니다. 표본분포는 통계량의 분포다. 표본 하나에서 값 하나가 나오고, 표본을 바꿔 뽑으면 값이 달라지며, 그 값들이 이루는 분포다.

<모집단이 한쪽으로 쏠려 있어도 표본평균의 분포는 벌써 가운데가 두툼해진다. 오른쪽 그림은 모집단의 분포가 아니라 ‘표본평균이라는 새 확률변수’ 의 분포다>[원본 보기]

예제 92

다음 다섯 가운데 모수는 어느 것이고 통계량은 어느 것인가.

(가) 어느 나라 성인 전체의 평균 키
(나) 조사한 성인 1000명의 키 평균
(다) 모집단의 표준편차 $σ$
(라) 그 1000명에서 계산한 $S$
(마) 표본 크기 1000

풀이 보기

판정 기준은 하나다. 모집단 전체를 보아야 알 수 있으면 모수, 표본만으로 계산되면 통계량이다.

(가) 모수다. 정해진 값이지만 전수조사를 하지 않으면 알 수 없다.

(나) 통계량이다. 손에 든 1000개의 수만으로 계산된다.

(다) 모수이고 (라) 통계량이다.

(마) 둘 다 아니다. 표본 크기는 우리가 정하는 상수이며 확률변수도 모수도 아니다.

(가)와 (나)를 같은 기호로 적으면 안 된다는 것이 요점이다. (가)는 $μ$ , (나)는 $\bar{x}$ 다. 통계학의 절반은 이 둘의 거리를 재는 일이다.

하나 더 짚자. (다)와 (라)는 둘 다 "흩어짐"을 나타내지만 성격이 완전히 다르다. $σ$ 는 상수이고 $S$ 는 표본마다 값이 달라지는 확률변수다.

예제 93

값이 $1, 3, 5$ 이고 각각 확률 $1 / 3$ 인 모집단에서 크기 2인 표본을 복원으로 뽑는다. 표본평균 $\bar{X}$ 의 분포를 모두 적고, $E (\bar{X})$ 와 $V (\bar{X})$ 를 구하라.

풀이 보기

먼저 모수를 계산한다.

$μ = \frac{1 + 3 + 5}{3} = 3, σ^{2} = \frac{(1 - 3)^{2} + (3 - 3)^{2} + (5 - 3)^{2}}{3} = \frac{8}{3}$

복원이므로 가능한 표본은 $3 \times 3 = 9$ 가지이고 각각 확률 $1 / 9$ 다. 각 표본의 평균을 적으면 $1, 2, 3, 2, 3, 4, 3, 4, 5$ 다. 같은 값을 묶으면

$\bar{x}$	1	2	3	4	5
확률	1/9	2/9	3/9	2/9	1/9

$E (\bar{X}) = \frac{1 + 2 \cdot 2 + 3 \cdot 3 + 4 \cdot 2 + 5}{9} = \frac{27}{9} = 3$

$E ({\bar{X}}^{2}) = \frac{1 + 4 \cdot 2 + 9 \cdot 3 + 16 \cdot 2 + 25}{9} = \frac{93}{9}, V (\bar{X}) = \frac{93}{9} - 9 = \frac{4}{3}$

두 결과를 모수와 견주어 보자. $E (\bar{X}) = 3 = μ$ 이고 $V (\bar{X}) = 4 / 3 = (8 / 3) / 2 = σ^{2} / n$ 이다. 다음 절에서 증명할 두 공식이 여기서 눈으로 확인된다.

그리고 표본분포의 모양이 모집단분포와 다르다는 점을 보라. 모집단은 값 세 개가 모두 같은 확률이었는데 $\bar{X}$ 는 가운데가 세 배 높은 삼각형이다. 표본을 하나 더 뽑으면 더 종 모양이 된다. 중심극한정리의 씨앗이 이미 여기에 있다.

표본평균의 평균과 분산, 그리고 표준오차

이제 앞 예제에서 본 두 공식을 증명한다. 증명은 짧다. 5장의 선형성과 6장의 "독립이면 분산이 더해진다"가 전부다.

각 $X_{i}$ 가 모집단과 같은 분포이므로 $E (X_{i}) = μ$ , $V (X_{i}) = σ^{2}$ 다. 기댓값의 선형성으로

$E (\bar{X}) = \frac{1}{n} \sum_{i = 1}^{n} E (X_{i}) = \frac{1}{n} \cdot n μ = μ$

분산은 두 단계다. 먼저 상수배를 밖으로 빼면 제곱이 붙고, 그다음 독립이므로 분산을 더한다.

$V (\bar{X}) = V (\frac{1}{n} \sum X_{i}) = \frac{1}{n^{2}} \sum_{i = 1}^{n} V (X_{i}) = \frac{1}{n^{2}} \cdot n σ^{2} = \frac{σ^{2}}{n}$

첫 결과를 말로 옮기면 표본평균은 평균적으로 모평균을 맞힌다. 10장에서 이 성질을 불편성이라 부른다. 둘째 결과의 제곱근 $SE (\bar{X}) = σ / \sqrt{n}$ 을 표준오차(standard error)라 하고, 이 문서에서 가장 자주 쓰는 양이 된다.

<표본을 늘리면 표본평균의 분포가 좁아진다. 그런데 폭이 절반이 되려면 표본을 네 배로 늘려야 한다. 정밀도는 n 이 아니라 √n 으로 좋아진다>[원본 보기]

여기서 이름이 비슷한 두 양을 반드시 구별해야 한다.

표준편차 $σ$ — 모집단의 개별 값들이 얼마나 흩어져 있는가. 표본을 늘려도 변하지 않는다.
표준오차 $σ / \sqrt{n}$ — 표본평균이라는 요약값이 얼마나 흔들리는가. 표본을 늘리면 줄어든다.

그리고 $\sqrt{n}$ 이라는 점이 실무를 지배한다. 오차를 절반으로 줄이려면 비용을 네 배 써야 하고, 십분의 일로 줄이려면 백 배를 써야 한다.

예제 94

어떤 모집단의 표준편차가 $σ = 15$ 다. 표본 크기가 25일 때와 100일 때의 표준오차를 구하고, 표준오차를 1 이하로 만들려면 표본이 얼마나 커야 하는지 구하라.

풀이 보기

공식에 넣으면 된다.

${SE}_{25} = \frac{15}{\sqrt{25}} = 3, {SE}_{100} = \frac{15}{\sqrt{100}} = 1.5$

표본을 네 배로 늘렸는데 표준오차는 절반이 되었다. 세 번째 물음은 부등식 $\frac{15}{\sqrt{n}} \leq 1 ⟺ \sqrt{n} \geq 15 ⟺ n \geq 225$ 를 푸는 것이다.

25명에서 225명으로, 곧 아홉 배를 조사해야 오차가 3에서 1로 삼분의 일이 된다. $\sqrt{n}$ 법칙 그대로다.

이 계산이 10장의 "표본 크기 결정"의 뼈대다. 원하는 정밀도를 정하고 그것을 만족하는 $n$ 을 푸는 것이 전부다.

흔한 오해

"표본을 늘리면 자료가 덜 흩어진다"는 말은 맞는가?

풀이 보기

틀렸다. 두 가지를 섞은 말이다.

표본을 늘려도 모집단의 흩어짐 $σ$ 는 하나도 변하지 않는다. 사람들의 키가 얼마나 다양한지는 우리가 몇 명을 재느냐와 아무 상관이 없다. 실제로 표본표준편차 $S$ 는 $n$ 이 커질수록 $σ$ 에 가까워지지 작아지지 않는다.

줄어드는 것은 표본평균의 흔들림, 곧 표준오차다. 1000명의 평균 키는 10명의 평균 키보다 훨씬 믿을 만하다. 그러나 1000명 안에서 키의 다양함은 10명 안에서와 다르지 않다.

이 혼동이 실전에서 나타나는 모습은 이렇다. 자료의 흩어짐을 보여야 할 그림에 표준오차 막대를 그려 "편차가 작다"고 주장하는 것이다. 표본을 늘리면 그 막대는 얼마든지 짧아지므로 아무 주장도 되지 못한다.

어느 쪽을 써야 하는지는 무엇을 말하려는지가 정한다. 개별 값의 다양함을 말하려면 $σ$ 나 $S$ , 요약값의 신뢰도를 말하려면 표준오차다.

예제 96

어떤 부품의 무게가 평균 $500 g$ , 표준편차 $40 g$ 인 정규분포를 따른다. (가) 부품 하나가 $515 g$ 를 넘을 확률과 (나) 16개를 뽑았을 때 그 평균이 $515 g$ 를 넘을 확률을 비교하라.

풀이 보기

모집단이 정규분포이면 표본평균도 정확히 정규분포다. 8장에서 본 "정규의 선형결합은 정규" 때문이다. 그러니 두 물음 모두 표준화로 끝난다.

(가) 개별 값의 표준편차가 $40 g$ 이므로

$z = \frac{515 - 500}{40} = 0.375 \Rightarrow P (X > 515) = 1 - Φ (0.375) = 1 - 0.646 = 0.354$

(나) 표본평균의 표준편차는 표준오차 $40 / \sqrt{16} = 10 g$ 다.

$z = \frac{515 - 500}{10} = 1.5 \Rightarrow P (\bar{X} > 515) = 1 - 0.9332 = 0.0668$

같은 값 $515 g$ 인데 확률이 35%에서 7%로 떨어졌다. 개별 부품이 15 g 무거운 것은 흔한 일이지만, 16개의 평균이 15 g 무거운 것은 드문 일이다. 평균을 내면 위아래 흔들림이 서로 지워지기 때문이다.

이 대비가 통계적 추론의 작동 원리다. 개별 관측은 시끄러워서 아무 판단도 못 하지만, 여럿을 모아 평균을 내면 판단할 수 있을 만큼 조용해진다.

큰 수의 법칙

표본을 계속 늘리면 표본평균이 모평균으로 가는가. 그렇다. 그것을 정확히 말한 것이 큰 수의 법칙(law of large numbers)이고, 놀랍게도 증명이 세 줄이다.

약한 큰 수의 법칙. $X_{1}, X_{2}, \dots$ 가 평균 $μ$ , 분산 $σ^{2}$ 인 확률표본이면, 임의의 $ε > 0$ 에 대해

$lim_{n \to \infty} P (| {\bar{X}}_{n} - μ | \geq ε) = 0$

증명은 5장의 체비쇼프 부등식을 $\bar{X}$ 에 그대로 적용하는 것이다. $\bar{X}$ 의 평균이 $μ$ 이고 분산이 $σ^{2} / n$ 이므로

$P (| {\bar{X}}_{n} - μ | \geq ε) \leq \frac{V ({\bar{X}}_{n})}{ε^{2}} = \frac{σ^{2}}{n ε^{2}}$

오른쪽은 $n \to \infty$ 에서 0 으로 간다. $ε$ 이 얼마나 작든 마찬가지다. ■

증명이 짧은 이유는 일이 이미 다 되어 있었기 때문이다. 분산이 $σ^{2} / n$ 로 줄어든다는 사실 하나가 큰 수의 법칙의 내용 전부다. 체비쇼프 부등식은 그 사실을 확률로 옮기는 번역기 노릇만 한다.

위와 같은 수렴을 확률수렴이라 한다. "어느 시점 뒤에는 반드시 $ε$ 안에 있다"가 아니라 "밖으로 나갈 확률이 0 으로 간다"는 뜻이다. 더 강한 형태로 강한 큰 수의 법칙이 있는데, 표본평균의 자취가 확률 1 로 $μ$ 에 수렴한다고 말한다. 이 문서에서는 이름만 알아 두면 된다.

<표본을 늘려 갈 때 표본평균의 자취가 모평균 주위로 좁혀진다. 옅은 띠는 체비쇼프가 보장하는 울타리이고 √n 으로 좁아진다. 어느 순간에도 정확히 μ 가 되지는 않는다>[원본 보기]

예제 97

표준편차가 $σ = 20$ 인 모집단에서 표본평균이 모평균에서 5 이상 벗어날 확률을 5% 이하로 만들려면 표본이 얼마나 커야 하는가. 체비쇼프로 구한 답과, 표본평균이 정규분포에 가깝다고 보고 구한 답을 비교하라.

풀이 보기

체비쇼프는 모집단이 무엇이든 성립하는 대신 느슨하다. 위의 부등식에 $ε = 5$ 를 넣으면

$P (| \bar{X} - μ | \geq 5) \leq \frac{20^{2}}{n \times 25} = \frac{16}{n} \leq 0.05 ⟺ n \geq 320$

이제 표본평균이 정규분포에 가깝다고 보자. 가운데 95% 를 벗어나는 자리가 $1.96$ 표준오차이므로

$1.96 \times \frac{20}{\sqrt{n}} \leq 5 ⟺ \sqrt{n} \geq 7.84 ⟺ n \geq 62$

320 과 62 다. 다섯 배 넘게 차이가 난다. 체비쇼프는 분포의 모양을 아무것도 가정하지 않는 대가로 이만큼 헐렁한 답을 준다.

그러면 체비쇼프는 쓸모가 없는가. 아니다. 두 가지 값어치가 있다. 첫째, 가정 없이 쓸 수 있어 안전하다. 둘째, 큰 수의 법칙을 증명하는 데는 느슨해도 충분하다. 어차피 $n \to \infty$ 에서 0 으로 가기만 하면 되기 때문이다.

실무에서 표본 크기를 정할 때는 정규근사를 쓴다. 그 근거를 주는 것이 다음 절이다.

흔한 오해

동전을 아주 많이 던지면 앞면과 뒷면의 개수가 서로 가까워지는가? 큰 수의 법칙이 그것을 보장하는가?

풀이 보기

무엇이 가까워지는지를 정확히 보아야 한다. 큰 수의 법칙은 비율에 대한 이야기다. 앞면 수를 $X$ 라 하면 $X / n \to 0.5$ 다.

개수의 차이는 그렇지 않다. $X \sim b (x; n, 0.5)$ 이므로 표준편차가

$\sqrt{n \times 0.5 \times 0.5} = \frac{\sqrt{n}}{2}$

$n = 100$ 이면 5, $n = 10 000$ 이면 50, $n = 1 000 000$ 이면 500 이다. 개수의 차이는 오히려 커진다.

비율의 표준편차는 그것을 $n$ 으로 나눈 $\frac{1}{2 \sqrt{n}}$ 이므로 각각 0.05, 0.005, 0.0005 로 줄어든다. 두 이야기가 모순이 아닌 이유는 차이가 $\sqrt{n}$ 으로 커지는 동안 분모가 $n$ 으로 커지기 때문이다.

여기서 도박사의 오류의 정체가 다시 드러난다. "앞면이 많이 나왔으니 뒷면이 나와 균형을 맞출 것"이라는 생각은 개수의 균형을 기대하는 것인데, 큰 수의 법칙은 그런 것을 약속하지 않는다. 지난 불균형은 지워지지 않고 그냥 묻힌다.

중심극한정리

앞 절까지는 표본평균의 평균과 분산만 알았다. 확률을 계산하려면 분포 전체를 알아야 한다. 모집단이 정규분포이면 표본평균도 정규분포라 문제가 없지만, 실제 모집단이 정규분포일 이유는 없다.

여기에 통계학에서 가장 값진 정리가 놓인다.

중심극한정리(central limit theorem). $X_{1}, \dots, X_{n}$ 이 평균 $μ$ , 분산 $σ^{2}$ (유한)인 확률표본이면, $n$ 이 커질 때

$Z_{n} = \frac{\bar{X} - μ}{σ / \sqrt{n}} ⟶ N (0, 1)$

모집단분포가 무엇이든 상관없다. 평균과 분산이 있기만 하면 된다. 이 문장의 대담함을 잠깐 새겨 둘 만하다. 모집단이 치우쳐 있어도, 값이 둘뿐이어도, 봉우리가 둘이어도 표본평균은 종 모양으로 간다.

왜 그럴 수밖에 없는가

증명은 하지 않는다. 그러나 왜 그렇게 될 수밖에 없는지는 적률생성함수로 한 문단에 담을 수 있다.

$Y_{i} = (X_{i} - μ) / σ$ 로 표준화하면 $E (Y_{i}) = 0$ , $E (Y_{i}^{2}) = 1$ 이다. 5장에서 본 대로 적률생성함수는 적률의 급수이므로

$M_{Y} (t) = 1 + E (Y) t + \frac{E (Y^{2})}{2} t^{2} + \dots = 1 + \frac{t^{2}}{2} + (3차 이상)$

그런데 $Z_{n} = \frac{1}{\sqrt{n}} \sum Y_{i}$ 이므로, 독립이면 적률생성함수가 곱해진다는 성질에서

$M_{Z_{n}} (t) = {[M_{Y} (\frac{t}{\sqrt{n}})]}^{n} = {[1 + \frac{t^{2}}{2 n} + O (n^{- 3 / 2})]}^{n} ⟶ e^{t^{2} / 2}$

마지막 극한은 기초수학에서 $e$ 를 정의할 때 쓴 $(1 + a / n)^{n} \to e^{a}$ 다. 그리고 $e^{t^{2} / 2}$ 는 8장에서 구한 표준정규분포의 적률생성함수다. 적률생성함수가 같으면 분포가 같다.

요점은 계산이 아니라 무엇이 사라졌는가다. $t / \sqrt{n}$ 을 대입하는 순간 3차 이상의 적률은 모두 $n^{- 3 / 2}$ 이하로 눌리고, $n$ 제곱을 해도 살아남지 못한다. 살아남는 것은 1차와 2차 적률, 곧 평균과 분산뿐이다. 왜도든 첨도든 모집단의 개성은 평균을 내는 과정에서 지워진다. 남는 것이 하나뿐이므로 도착하는 분포도 하나뿐이다. 그것이 정규분포다.

눈으로 확인한다

식보다 그림이 설득력 있다. 한쪽으로 심하게 쏠린 모집단에서 표본 크기를 키워 가며 표본평균의 분포를 그려 보자.

<n = 1 은 모집단 그 자체라 완전히 쏠려 있다. n 이 2, 5, 30 으로 커지면서 막대가 정규곡선에 겹쳐 간다. 가로 눈금이 패널마다 다르다는 데 주의하라>[원본 보기]

모집단이 아주 치우쳐 있어도 $n = 30$ 에서는 이미 정규곡선과 구별하기 어렵다. 모집단을 바꿔도 마찬가지다.

<균등분포, 지수분포, 값이 둘뿐인 분포 — 셋 다 크기 30 표본의 평균이 정규곡선에 겹친다. 쏠림이 심한 지수분포만 오른쪽이 아주 조금 길다>[원본 보기]

그러면 $n$ 이 얼마나 커야 하는가. 모집단이 정한다. 널리 쓰는 어림은 $n \geq 30$ 인데, 모집단이 대칭에 가까우면 10 으로도 충분하고 아주 심하게 치우쳐 있으면 30 으로도 모자란다. 기준을 외우기보다 "치우침이 심하면 더 많이 필요하다"는 원리를 기억하는 편이 낫다.

예제 99

어떤 가게 손님이 하루에 사는 물건 수의 분포가 다음과 같다. 크기 48인 표본을 뽑을 때 표본평균이 0.75 를 넘을 확률과 0.375 미만일 확률을 구하라.

물건 수	0	1	2	3
확률	0.70	0.15	0.10	0.05

풀이 보기

먼저 모수를 계산한다.

$μ = 0 (0.7) + 1 (0.15) + 2 (0.10) + 3 (0.05) = 0.5$

$E (X^{2}) = 0 + 0.15 + 0.40 + 0.45 = 1.00 \Rightarrow σ^{2} = 1.00 - 0.25 = 0.75$

모집단은 값이 네 개뿐이고 0 에 몰려 심하게 치우쳐 있다. 그래도 $n = 48$ 이면 중심극한정리를 쓸 수 있다.

$SE = \sqrt{\frac{0.75}{48}} = \sqrt{0.015625} = 0.125$

$P (\bar{X} > 0.75) \approx P (Z > \frac{0.75 - 0.5}{0.125}) = P (Z > 2) = 1 - 0.9772 = 0.0228$

$P (\bar{X} < 0.375) \approx P (Z < \frac{0.375 - 0.5}{0.125}) = P (Z < - 1) = 1 - 0.8413 = 0.1587$

두 답의 뜻을 새겨 보자. 개별 손님을 보면 "물건 0개"가 70%로 압도적이고 분포가 정규와 전혀 닮지 않았다. 그런데 48명의 평균은 좌우 대칭인 종 모양으로 다뤄도 된다. 그 요약값의 분포가 모집단의 모양을 잊어버렸기 때문이다.

다만 근사임을 잊지 말자. 위쪽 꼬리는 모집단의 쏠림이 남아 실제 확률이 근사값보다 조금 크다. 꼬리 확률을 아주 정확히 알아야 하는 문제에서는 $n$ 이 더 커야 한다.

예제 100

공정한 동전을 100번 던져 앞면이 58번 이상 나올 확률을 정규근사로 구하라. 정확한 이항 확률은 $0.0666$ 이다. $Φ (1.6) = 0.9452$ 를 쓴다.

풀이 보기

이항분포는 베르누이 100개의 합이므로 중심극한정리가 그대로 적용된다. $μ = n p = 50$ , $σ = \sqrt{n p q} = \sqrt{25} = 5$ 다.

먼저 그냥 표준화해 보자.

$P (X \geq 58) \approx P (Z \geq \frac{58 - 50}{5}) = P (Z \geq 1.6) = 1 - 0.9452 = 0.0548$

정확한 값 $0.0666$ 과 $0.012$ 차이가 난다. 20% 가까이 어긋난 것이다. 원인은 이산분포를 연속분포로 바꿔 놓은 데 있다. $X = 58$ 이라는 막대는 폭이 1 인 직사각형인데, $x = 58$ 에서 자르면 그 막대의 절반이 잘려 나간다.

그래서 경계를 반 칸 밖으로 옮긴다. 이것을 연속성 수정(continuity correction)이라 한다.

$P (X \geq 58) \approx P (Z \geq \frac{57.5 - 50}{5}) = P (Z \geq 1.5) = 1 - 0.9332 = 0.0668$

정확한 값 $0.0666$ 과 소수 넷째 자리에서만 갈린다. 반 칸이 이만큼 차이를 낸다.

부호를 어느 쪽으로 밀지는 "막대를 다 포함하도록"이 기준이다. $X \geq 58$ 이면 $57.5$ , $X \leq 58$ 이면 $58.5$ , $X = 58$ 이면 $57.5$ 에서 $58.5$ 사이다.

근사가 믿을 만한 조건은 7장에서 예고한 대로 $n p \geq 10$ 이고 $n (1 - p) \geq 10$ 이다. 여기서는 둘 다 50 이라 넉넉하다.

흔한 오해

"표본이 크면 모집단도 정규분포에 가까워진다"는 말은 맞는가? 그리고 " $n \geq 30$ 이면 언제나 정규근사를 써도 된다"는 말은?

풀이 보기

첫 문장은 틀렸다. 그리고 중심극한정리를 잘못 읽는 가장 흔한 방식이다. 정규분포에 가까워지는 것은 표본평균의 분포이고, 모집단분포와 표본 안 값들의 분포는 아무 변화도 없다.

앞의 예제가 그 증거다. 48명을 뽑아 히스토그램을 그리면 여전히 "0개"가 70% 인 치우친 모양이 나온다. 정규가 되는 것은 그 48개를 하나로 요약한 값이 여러 표본에 걸쳐 어떻게 흔들리는가다.

둘째 문장은 반쯤 맞다. $n \geq 30$ 은 편리한 어림이지 정리가 아니다. 세 가지 예외를 알아 두자.

모집단이 아주 심하게 치우쳐 있으면 30 으로 모자란다. 특히 꼬리 확률은 훨씬 큰 $n$ 을 요구한다.
표본비율에서는 $n$ 이 아니라 $n p$ 와 $n (1 - p)$ 가 기준이다. $p = 0.001$ 이면 $n = 30$ 이 아무 도움이 안 된다.
분산이 유한하지 않은 모집단에서는 아무리 $n$ 을 키워도 성립하지 않는다.

그리고 정리는 표본평균에 대한 것이다. 표본의 최댓값이나 최솟값은 정규분포로 가지 않는다. 요약하는 방식을 바꾸면 결론도 바뀐다.

정규모집단에서 $\bar{X}$ 와 $S^{2}$

이제 모집단이 정규분포라고 가정한다. 그러면 근사가 아니라 정확한 표본분포를 얻을 수 있고, 8장에서 만든 세 분포가 모두 등장한다.

표본평균은 정확히 정규분포다

정규분포의 독립인 선형결합은 정규분포이므로(8장) 근사가 필요 없다.

$X_{i} \sim N (μ, σ^{2}) 독립 ⟹ \bar{X} \sim N (μ, \frac{σ^{2}}{n})$

$n$ 이 2 여도 성립한다. 중심극한정리는 모집단이 정규가 아닐 때를 위한 것이다.

표본분산은 카이제곱분포를 따른다

$σ$ 를 알 때 각 항을 표준화해 제곱해 더하면 카이제곱분포의 정의 그대로다.

$\sum_{i = 1}^{n} \frac{(X_{i} - μ)^{2}}{σ^{2}} \sim χ^{2} (n)$

그런데 우리가 실제로 계산하는 것은 $μ$ 대신 $\bar{X}$ 를 쓴 편차제곱합이다. 둘의 관계를 보려면 항등식 하나가 필요하다. $X_{i} - μ = (X_{i} - \bar{X}) + (\bar{X} - μ)$ 로 쪼개 제곱해 더하면, 가운데 항이 $\sum (X_{i} - \bar{X}) = 0$ 때문에 사라지고

$\sum (X_{i} - μ)^{2} = \sum (X_{i} - \bar{X})^{2} + n (\bar{X} - μ)^{2}$

양변을 $σ^{2}$ 으로 나누면 오른쪽 둘째 항이 ${(\frac{\bar{X} - μ}{σ / \sqrt{n}})}^{2}$ , 곧 $χ^{2} (1)$ 이다. 정리하면

$\underset{왼쪽}{\underset{⏟}{χ^{2} (n)}} = \frac{(n - 1) S^{2}}{σ^{2}} + \underset{\bar{X} 항}{\underset{⏟}{χ^{2} (1)}}$

정규모집단에서는 $\bar{X}$ 와 $S^{2}$ 가 서로 독립이라는 사실이 알려져 있다(증명은 이 문서의 범위를 넘는다). 그러면 오른쪽 두 항이 독립이므로 적률생성함수가 곱해진다.

$(1 - 2 t)^{- n / 2} = M (t) \cdot (1 - 2 t)^{- 1 / 2} ⟹ M (t) = (1 - 2 t)^{- (n - 1) / 2}$

이것은 자유도 $n - 1$ 인 카이제곱분포의 적률생성함수다. 따라서

$\frac{(n - 1) S^{2}}{σ^{2}} \sim χ^{2} (n - 1)$

자유도가 $n$ 이 아니라 $n - 1$ 인 이유가 위 등식에 그대로 적혀 있다. 전체 $n$ 개의 자유도 가운데 하나를 $\bar{X}$ 가 가져갔다. 다른 말로 하면 편차 $X_{i} - \bar{X}$ 는 합이 반드시 0 이므로 $n - 1$ 개를 알면 나머지 하나가 정해진다. 자유롭게 움직이는 것이 $n - 1$ 개뿐이다.

<편차제곱합을 모분산으로 나눈 값을 여러 번 계산해 쌓으면 자유도 n − 1 인 카이제곱분포가 나온다. 막대의 평균이 정확히 n − 1 에 맞는다>[원본 보기]

$σ$ 를 모를 때 — $t$ 통계량

실전에서 $σ$ 를 아는 일은 거의 없다. 그러면 표준오차 $σ / \sqrt{n}$ 대신 $S / \sqrt{n}$ 를 쓸 수밖에 없다. 그 결과가 무엇을 따르는지가 문제다.

8장의 $t$ 분포 정의를 떠올리자. $Z$ 를, 그와 독립인 카이제곱을 자유도로 나눈 것의 제곱근으로 나눈 것이었다. 위에서 얻은 두 사실이 정확히 그 재료다.

$\frac{\bar{X} - μ}{S / \sqrt{n}} = \frac{\frac{\bar{X} - μ}{σ / \sqrt{n}}}{\sqrt{\frac{(n - 1) S^{2} / σ^{2}}{n - 1}}} = \frac{Z}{\sqrt{V / (n - 1)}} \sim t (n - 1)$

분자와 분모의 $σ$ 가 서로 지워지는 것을 확인하라. 그리고 $\bar{X}$ 와 $S^{2}$ 가 독립이라는 사실이 여기서 결정적으로 쓰인다. $t$ 분포의 정의가 분자와 분모의 독립을 요구하기 때문이다.

<분모에 참값 σ 를 쓰면 표준정규를 따르지만 표본표준편차 S 를 쓰면 꼬리가 두꺼워진다. 같은 임곗값을 넘는 비율이 0.5%에서 4.9%로 열 배 가까이 늘었다>[원본 보기]

그림의 오른쪽 숫자가 이 절의 실전적 의미다. $σ$ 를 $S$ 로 바꿔 놓고 표준정규의 임곗값을 그대로 쓰면 꼬리 확률을 크게 과소평가한다. 작은 표본에서 정규분포 임곗값을 쓰는 것이 위험한 이유가 여기 있다.

두 표본분산의 비 — $F$ 통계량

두 정규모집단에서 크기 $n_{1}$ , $n_{2}$ 인 표본을 독립으로 뽑았다고 하자. 각각에서

$\frac{(n_{1} - 1) S_{1}^{2}}{σ_{1}^{2}} \sim χ^{2} (n_{1} - 1), \frac{(n_{2} - 1) S_{2}^{2}}{σ_{2}^{2}} \sim χ^{2} (n_{2} - 1)$

이 둘이 독립이므로 각각을 자유도로 나눠 비를 내면 $F$ 분포의 정의 그대로다.

$\frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} \sim F (n_{1} - 1, n_{2} - 1)$

특히 두 모분산이 같다면( $σ_{1} = σ_{2}$ ) 좌변이 그냥 $S_{1}^{2} / S_{2}^{2}$ 가 된다. 모수를 몰라도 계산할 수 있는 통계량이 되는 것이다. 11장의 등분산 검정이 정확히 이것을 쓴다.

예제 102

정규모집단의 표준편차가 $σ = 5$ 다. 크기 16인 표본에서 계산한 $S^{2}$ 이 41.7 보다 클 확률과 12.1 보다 작을 확률을 구하라. 아래 값을 쓴다.

자유도 15 인 카이제곱	오른쪽 꼬리 5% 점	왼쪽 꼬리 5% 점
값	25.00	7.261

풀이 보기

표본분산을 직접 다루는 대신 카이제곱을 따르는 양으로 바꾼다. $n = 16$ 이므로 자유도는 15 다.

$\frac{(n - 1) S^{2}}{σ^{2}} = \frac{15 S^{2}}{25} = 0.6 S^{2} \sim χ^{2} (15)$

두 경계를 이 양으로 옮긴다.

$S^{2} > 41.7 ⟺ 0.6 S^{2} > 25.0, S^{2} < 12.1 ⟺ 0.6 S^{2} < 7.26$

표에서 두 값이 각각 오른쪽·왼쪽 꼬리 5% 점이므로 두 확률은 모두 $0.05$ 다.

이 답이 알려 주는 것을 새겨 보자. 참값이 $σ^{2} = 25$ 인데 크기 16인 표본의 $S^{2}$ 은 12.1 에서 41.7 사이에 90% 확률로 들어간다. 절반에서 1.7배까지다.

곧 표본분산은 표본평균보다 훨씬 심하게 흔들린다. 표본평균의 90% 범위는 $μ \pm 1.645 \times 5 / 4$ , 곧 폭이 평균의 몇 %에 그친다. 분산을 추정하려면 평균을 추정할 때보다 훨씬 큰 표본이 필요하다.

카이제곱분포가 좌우 대칭이 아니라는 점도 확인하자. 중심 25 에서 왼쪽 경계까지가 17.7, 오른쪽까지가 16.7 로 다르다. 그래서 분산의 신뢰구간은 평균의 것처럼 "추정값 ± 무엇" 꼴로 적을 수 없다.

예제 103

정규모집단에서 크기 10인 표본을 뽑아 $\bar{x} = 52.4$ , $s = 3.2$ 를 얻었다. 모평균이 50 이라는 가정 아래 $t$ 통계량을 계산하고, 이 값이 흔한지 판단하라. 자유도 9인 $t$ 분포의 오른쪽 꼬리 5% 점은 1.833, 2.5% 점은 2.262 다.

풀이 보기

$σ$ 를 모르고 $s$ 를 쓰므로 표준정규가 아니라 $t (n - 1) = t (9)$ 를 기준으로 삼아야 한다.

$t = \frac{\bar{x} - μ}{s / \sqrt{n}} = \frac{52.4 - 50}{3.2 / \sqrt{10}} = \frac{2.4}{1.012} \approx 2.37$

양쪽으로 치우침을 모두 따진다면 기준은 2.5% 점 2.262 다. 관측한 2.37 이 그보다 크므로 이런 값이 나올 확률은 5% 보다 작다. 모평균이 50 이라고 보기에는 표본이 꽤 높은 쪽에 있다.

여기서 표준정규를 잘못 썼다면 어떻게 됐을까. 기준이 1.96 이 되어 "2.37 은 그것을 훌쩍 넘으니 아주 드물다"고 과장했을 것이다. 표본이 작을수록 이 과장이 커진다.

반대 방향의 실수도 있다. 표본이 크면 두 기준이 거의 같아진다. 자유도 100 이면 2.5% 점이 약 1.98 로 1.96 과 다를 것이 없다. $t$ 를 쓰는 것이 손해가 되는 일은 없으므로 $σ$ 를 모를 때는 언제나 $t$ 를 쓰면 된다.

마지막으로 가정을 확인하자. 이 계산은 모집단이 정규분포라는 가정에 기대고 있다. $n = 10$ 은 중심극한정리에 기대기에는 작으므로, 자료가 심하게 치우쳐 있다면 답을 믿을 수 없다.

예제 104

두 정규모집단에서 각각 크기 9와 13인 표본을 독립으로 뽑아 $s_{1}^{2} = 42$ , $s_{2}^{2} = 15$ 를 얻었다. 두 모분산이 같다는 가정 아래 $F$ 통계량을 계산하고 판단하라. $F (8, 12)$ 의 오른쪽 꼬리 5% 점은 2.85 다.

풀이 보기

자유도는 각각 $n_{1} - 1 = 8$ , $n_{2} - 1 = 12$ 다. 두 모분산이 같다면 $σ_{1}^{2} / σ_{2}^{2} = 1$ 이므로 통계량이 표본분산의 비로 줄어든다.

$F = \frac{s_{1}^{2}}{s_{2}^{2}} = \frac{42}{15} = 2.8$

기준값 2.85 보다 조금 작다. 곧 두 모분산이 같아도 이만한 비가 나오는 일이 5% 보다 잦다. 두 분산이 다르다고 말할 근거가 되지 못한다.

비가 2.8 이나 되는데도 근거가 안 된다는 것이 뜻밖으로 보일 수 있다. 그러나 8장에서 본 대로 $F$ 분포는 오른쪽 꼬리가 길고, 자유도가 8과 12 로 작을 때는 특히 그렇다. 분산은 원래 심하게 흔들리는 양이다.

큰 쪽을 분자에 두었다는 데 주의하자. 관례상 그렇게 하고 오른쪽 꼬리만 본다. 만약 뒤집어 $15 / 42 = 0.357$ 을 계산했다면 $F (12, 8)$ 의 왼쪽 꼬리를 보아야 하는데, 8장의 관계 $1 / F (d_{1}, d_{2}) \sim F (d_{2}, d_{1})$ 이 그 둘을 이어 준다.

표본비율과 유한모집단 수정

마지막으로 두 가지를 덧붙인다. 둘 다 앞의 결과를 조금 고쳐 쓰는 것이다.

표본비율

모비율이 $p$ 인 모집단에서 크기 $n$ 인 표본을 뽑아 해당하는 것의 개수를 $X$ 라 하면 $X \sim b (x; n, p)$ 다. 표본비율은 그것을 $n$ 으로 나눈 것이다.

$\hat{p} = \frac{X}{n}$

이것은 값을 0과 1로 놓은 확률표본의 표본평균이므로 앞의 공식이 그대로 쓰인다. 베르누이의 평균이 $p$ , 분산이 $p (1 - p)$ 이므로

$E (\hat{p}) = p, V (\hat{p}) = \frac{p (1 - p)}{n}, SE (\hat{p}) = \sqrt{\frac{p (1 - p)}{n}}$

중심극한정리에 따라 $n$ 이 크면 $\hat{p}$ 는 정규분포에 가깝다. 조건은 $n p \geq 10$ 이고 $n (1 - p) \geq 10$ 이다. $n$ 만 크면 되는 것이 아니라는 점이 중요하다.

<n = 10 이면 막대가 성기고 정규곡선이 음수 쪽까지 흘러 넘친다. n = 100 이면 잘 맞는다. np 와 n(1 − p) 가 둘 다 10 을 넘어야 한다는 기준이 여기서 나온다>[원본 보기]

표준오차의 최댓값도 알아 두면 편하다. $p (1 - p)$ 는 $p = 0.5$ 에서 가장 크므로 $SE (\hat{p}) \leq \frac{1}{2 \sqrt{n}}$ 다. 모비율을 전혀 몰라도 오차의 상한을 말할 수 있다.

유한모집단 수정

지금까지는 표본을 복원으로 뽑거나 모집단이 아주 크다고 놓았다. 유한한 모집단에서 비복원으로 뽑으면 $X_{i}$ 들이 독립이 아니므로 분산 공식이 달라진다. 7장의 초기하분포에서 본 그 인자가 다시 나온다.

$V (\bar{X}) = \frac{σ^{2}}{n} \cdot \frac{N - n}{N - 1}$

곱해진 것이 유한모집단 수정계수이고 항상 1 이하다. 곧 비복원 추출은 덜 흔들린다. 표준오차에는 그 제곱근이 곱해진다.

<표본이 모집단의 5% 이하이면 수정계수가 0.975 보다 커서 무시해도 된다. 전수조사에 다가가면 0 이 되는데, 다 조사하면 흔들릴 여지가 없기 때문이다>[원본 보기]

예제 105

어떤 정책의 실제 찬성률이 $0.4$ 라고 하자. 600명을 조사했을 때 표본비율이 0.44 를 넘을 확률과, 표본비율이 0.36 에서 0.44 사이일 확률을 구하라. 그리고 신뢰수준 95% 에서의 오차 한계를 구하라.

풀이 보기

먼저 정규근사를 쓸 수 있는지 확인한다. $n p = 240$ , $n (1 - p) = 360$ 으로 둘 다 10 을 훨씬 넘는다.

$SE (\hat{p}) = \sqrt{\frac{0.4 \times 0.6}{600}} = \sqrt{0.0004} = 0.02$

$P (\hat{p} > 0.44) \approx P (Z > \frac{0.44 - 0.40}{0.02}) = P (Z > 2) = 0.0228$

가운데 구간은 대칭이므로 양쪽 꼬리를 빼면 된다.

$P (0.36 < \hat{p} < 0.44) = 1 - 2 (0.0228) = 0.954$

오차 한계는 표준오차의 1.96 배다.

$1.96 \times 0.02 = 0.0392 \approx 3.9 % p$

여론조사 기사에서 보는 "표본오차 $\pm 3.9$ 포인트"가 이 계산이다. 조사기관은 $p$ 를 모르므로 보통 최악인 $p = 0.5$ 를 넣어 $1.96 / (2 \sqrt{600}) = 0.040$ 으로 잡는다.

표본을 네 배인 2400명으로 늘리면 오차 한계가 절반인 약 2 포인트가 된다. 여기서도 $\sqrt{n}$ 법칙이다. 그리고 모집단이 5만이든 5천만이든 이 값은 같다. 그 이유가 다음 예제다.

예제 106

크기 500인 모집단(표준편차 20)에서 100개를 비복원으로 뽑을 때 표본평균의 표준오차를 구하라. 모집단이 50000이었다면 어떻게 되는가.

풀이 보기

비복원이므로 수정계수를 곱한다. 먼저 수정 없는 표준오차는 $20 / \sqrt{100} = 2$ 다.

$SE = 2 \sqrt{\frac{500 - 100}{500 - 1}} = 2 \sqrt{0.8016} \approx 1.79$

$n / N = 0.2$ 로 크기 때문에 약 10% 줄어들었다. 무시할 수 없다.

모집단이 50000 이면

$SE = 2 \sqrt{\frac{50000 - 100}{49999}} = 2 \sqrt{0.998} \approx 2.00$

수정계수가 사실상 1 이다. $n / N = 0.002$ 이므로 예상되는 결과다.

이 두 답이 여론조사에 대한 흔한 물음에 답한다. "인구 5천만을 1000명으로 조사해서 어떻게 알 수 있나"라는 물음의 답은, 정밀도를 정하는 것은 $n$ 이고 $N$ 은 거의 관계가 없다는 것이다. 5천만이든 50만이든 1000명을 뽑으면 오차가 같다.

거꾸로 $N$ 이 작을 때는 이득이 생긴다. 500명 중 400명을 조사하면 수정계수가 $\sqrt{100 / 499} \approx 0.45$ 로 표준오차가 절반 이하로 떨어진다. 모집단이 작으면 조사가 쉬워지는 셈이다.

9장 정리

이름	내용
모수와 통계량	모수는 모집단의 상수(모른다), 통계량은 표본만으로 계산되는 확률변수
확률표본	$X_{1}, \dots, X_{n}$ 이 독립이고 모두 모집단과 같은 분포
표본분포	통계량의 확률분포. 표본의 분포가 아니다
표본평균의 평균·분산	$E (\bar{X}) = μ$ , $V (\bar{X}) = σ^{2} / n$
표준오차	$SE (\bar{X}) = σ / \sqrt{n}$ . 모집단의 $σ$ 와 다른 양이다
큰 수의 법칙	$P (\| {\bar{X}}_{n} - μ \| \geq ε) \leq σ^{2} / (n ε^{2}) \to 0$ . 체비쇼프로 증명된다
중심극한정리	$(\bar{X} - μ) / (σ / \sqrt{n}) \to N (0, 1)$ . 모집단분포와 무관하다
이항의 정규근사	$n p \geq 10$ , $n (1 - p) \geq 10$ . 경계는 $\pm 0.5$ 만큼 밀어 준다
정규모집단의 $\bar{X}$	$\bar{X} \sim N (μ, σ^{2} / n)$ 정확히 성립
표본분산의 분포	$(n - 1) S^{2} / σ^{2} \sim χ^{2} (n - 1)$ . $\bar{X}$ 와 $S^{2}$ 은 독립
$t$ 통계량	$(\bar{X} - μ) / (S / \sqrt{n}) \sim t (n - 1)$ . $σ$ 를 모를 때
두 분산의 비	$(S_{1}^{2} / σ_{1}^{2}) / (S_{2}^{2} / σ_{2}^{2}) \sim F (n_{1} - 1, n_{2} - 1)$
표본비율	$E (\hat{p}) = p$ , $V (\hat{p}) = p (1 - p) / n$ , $SE \leq 1 / (2 \sqrt{n})$
유한모집단 수정	$V (\bar{X}) = \frac{σ^{2}}{n} \cdot \frac{N - n}{N - 1}$ . $n / N \leq 0.05$ 이면 무시

꼭 챙겨 갈 것은 넷이다.

통계량은 확률변수다. 표본을 바꾸면 값이 달라지고, 그 분포가 표본분포다. 이것이 추론을 가능하게 하는 유일한 발판이다.
표준오차는 $\sqrt{n}$ 으로 줄어든다. 정밀도를 두 배로 올리려면 표본을 네 배로 늘려야 한다.
중심극한정리는 모집단의 모양을 잊게 만든다. 평균과 분산만 남기 때문이다. 정규가 되는 것은 표본평균이지 모집단이 아니다.
정규모집단에서는 세 분포가 정확히 나온다. $\bar{X}$ 는 정규, $(n - 1) S^{2} / σ^{2}$ 는 카이제곱, $σ$ 를 $S$ 로 바꾸면 $t$ , 두 분산의 비는 $F$ 다.

다음 장부터 이 다리를 거꾸로 건넌다. 지금까지는 모수를 알 때 통계량이 어떻게 흔들리는지를 계산했다. 10장은 통계량을 보고 모수를 짚고, 11장은 모수에 대한 주장을 검사하며, 12장은 두 변수 사이의 관계로 넓힌다. 그 모든 계산의 기준이 이 장에서 구한 표본분포다.

추정

9장에서 다리를 놓았다. 모수를 알 때 통계량이 어떻게 흔들리는지를 계산할 수 있게 되었다. 이 장은 그 다리를 거꾸로 건넌다. 손에 든 표본으로 모르는 모수를 짚는 일, 그것이 추정이다. 답할 질문은 넷이다. 모수를 짚는 규칙을 어떻게 만드는가, 여러 규칙 가운데 어느 것이 좋은가, 값 하나만 대는 것보다 범위를 대는 것이 왜 나은가, 그리고 그 범위를 어떻게 읽어야 하는가. 마지막 물음이 이 장의 고비다. 신뢰구간을 "참값이 이 안에 있을 확률이 95%"로 읽는 것은 통계학에서 가장 흔한 오독이며, 이 장은 그것을 그림으로 바로잡는 데 절을 하나 온전히 쓴다.

앞에서 가져오는 것은 9장 전부다. 특히 표준오차, 중심극한정리, 표본분산의 분포, 표본비율을 계속 쓴다. 8장의 정규분포·카이제곱분포·t 분포와 표준정규표, 5장의 기댓값·분산·옌센 부등식, 그리고 기초수학의 /posts/fundamental/elementary-mathematics.html > 미분법이 필요하다.

점추정 — 규칙과 값을 구별한다

모수를 짚는 데 쓰는 통계량을 추정량(estimator)이라 하고, 모수 $θ$ (그리스 문자 세타. 어느 모수든 가리키는 이름으로 쓴다)에 대한 추정량은 $\hat{θ}$ 로 적는다. 모자표는 "추정한 것"이라는 뜻이다.

추정량은 규칙이다. $\hat{μ} = \bar{X} = \frac{1}{n} \sum X_{i}$ 처럼 표본을 넣으면 값이 나오는 함수이며, 표본이 확률변수이므로 추정량도 확률변수다.
추정값(estimate)은 그 규칙에 실제 자료를 넣어 얻은 수 하나다. $\bar{x} = 498$ 같은 것이다.

이 구별이 이 장의 문법이다. "좋은 추정"을 따질 때 보는 것은 값 하나가 아니라 그 값이 나온 분포다. 값 하나만 보면 잘 맞혔는지 알 방법이 없다. 참값을 모르기 때문이다. 그리고 모수 하나에 추정량은 여러 개 있을 수 있다. 모평균을 짚는 규칙으로 표본평균, 표본중앙값, 첫 관측값, 최댓값과 최솟값의 평균이 모두 후보다. 넷 다 계산할 수 있고 넷 다 그럴듯해 보인다. 그러면 무엇으로 고르는가. 다음 절의 세 기준이 그 답이다.

예제 107

어떤 부품 다섯 개의 무게(단위 $g$ )를 재어 $12, 15, 11, 18, 14$ 를 얻었다. 모평균에 대한 추정값을 표본평균과 표본중앙값으로 각각 구하고, 두 값 가운데 어느 것이 참값에 가까운지 판단할 수 있는지 답하라.

풀이 보기

구하려는 것은 두 규칙이 내놓는 수다. 표본평균은 다 더해 개수로 나눈다.

$\bar{x} = \frac{12 + 15 + 11 + 18 + 14}{5} = \frac{70}{5} = 14 g$

표본중앙값은 크기 순으로 늘어놓았을 때 가운데 값이다. $11, 12, 14, 15, 18$ 이므로 $14 g$ 다.

마지막 물음의 답은 판단할 수 없다다. 참값 $μ$ 를 모르기 때문이다. 이번 자료에서 어느 쪽이 더 가까웠는지는 알 길이 없고, 알 수 있다면 추정할 필요도 없었을 것이다.

예제 108

같은 공정에서 부품 다섯 개를 두 번 따로 뽑아 무게(단위 $g$ )를 재었다. 표본 1은 $12, 15, 11, 18, 14$ , 표본 2는 $16, 13, 19, 12, 15$ 다. 모평균에 대한 네 가지 규칙 — 표본평균, 표본중앙값, 첫 관측값, 최댓값과 최솟값의 평균 — 을 두 표본에 각각 적용하고, 이 표에서 무엇을 읽어야 하는지 말하라.

풀이 보기

규칙 넷을 차례로 적용한다. 표본 2 를 크기 순으로 늘어놓으면 $12, 13, 15, 16, 19$ 다.

규칙	표본 1	표본 2
표본평균 $\bar{x}$	70/5 = 14	75/5 = 15
표본중앙값	14	15
첫 관측값	12	16
(최대+최소)/2	(18+11)/2 = 14.5	(19+12)/2 = 15.5

읽을 것은 셋이다.

첫째, 네 칸이 모두 다르다. 같은 표본에 규칙을 달리 대면 다른 수가 나온다. 그러므로 "추정값"이라는 말은 반드시 어느 규칙으로 얻었는지와 함께 써야 한다.

둘째, 같은 규칙도 표본이 바뀌면 값이 바뀐다. 표를 가로로 읽은 것이 이것이고, 규칙 하나마다 값이 흩어지는 분포가 있다는 뜻이다. 이 흩어짐이 곧 '추정량은 확률변수'라는 말의 내용이고, 다음 절의 세 기준은 전부 이 분포에 대한 이야기다.

셋째, 이 표만으로는 어느 규칙이 좋은지 알 수 없다. 참값을 모르므로 어느 칸이 더 가까운지 견줄 수 없다. 다만 '첫 관측값'은 눈으로도 나빠 보이는데, 그 까닭은 자료 다섯 개 중 넷을 버리기 때문이다. 실제로 그 규칙의 흩어짐은 $σ^{2}$ 이고 표본평균은 $σ^{2} / 5$ 이다.

그런데 '첫 관측값'도 $E (X_{1}) = μ$ 이므로 불편추정량이기는 하다. 불편성만으로는 좋은 추정량을 고를 수 없다는 것이 여기서 이미 드러난다. 그래서 기준이 하나가 아니라 셋이다.

좋은 추정량의 세 기준

추정량을 재는 기준은 셋이다. 불편성은 중심이 맞는가를 보고, 효율성은 얼마나 좁은가를 보며, 일치성은 표본을 늘리면 참값으로 가는가를 본다.

불편성 — 분포의 중심이 참값에 맞는가

추정량 $\hat{θ}$ 의 기댓값이 참값과 같으면, 곧

$E (\hat{θ}) = θ (모든 θ 에 대해)$

이면 $\hat{θ}$ 를 불편추정량(unbiased estimator)이라 한다. 그렇지 않으면 그 차이

$B (\hat{θ}) = E (\hat{θ}) - θ$

를 편향(bias)이라 한다. 편향이 양수면 평균적으로 크게 짚고, 음수면 작게 짚는다.

<불편성은 표본 하나가 참값을 맞힌다는 약속이 아니다. 왼쪽 분포도 대부분의 표본에서 참값을 빗맞히며, 다만 빗맞히는 방향이 위아래로 고르다>[원본 보기]

그림의 아래 문장을 새겨 두어야 한다. 불편성은 '되풀이해 뽑은 추정값들의 평균이 참값이 된다'는 뜻이고, 표본 하나에 대해서는 아무것도 약속하지 않는다. 조사를 한 번만 하는 실전에서 이 성질이 정확히 무엇을 보장하는지는 그래서 늘 조심해서 말해야 한다.

9장에서 이미 두 개를 증명해 두었다. $E (\bar{X}) = μ$ 였으므로 표본평균은 모평균의 불편추정량이고, $E (\hat{p}) = p$ 였으므로 표본비율은 모비율의 불편추정량이다. 남은 것은 표본분산인데, 그것이 이 절의 다음 소절이다.

흔한 오해

표본분산 $S^{2}$ 이 $σ^{2}$ 의 불편추정량이라면 표본표준편차 $S$ 도 $σ$ 의 불편추정량인가?

풀이 보기

아니다. 이유는 제곱근이 직선이 아니기 때문이다. 기댓값은 선형연산이라 $E (a X + b) = a E (X) + b$ 가 성립하지만, $E (\sqrt{X}) = \sqrt{E (X)}$ 는 일반적으로 성립하지 않는다.

5장의 옌센 부등식이 방향까지 말해 준다. $\sqrt{x}$ 는 위로 오목한(concave) 함수이므로

$E (\sqrt{S^{2}}) \leq \sqrt{E (S^{2})} = \sqrt{σ^{2}} = σ$

곧 $E (S) \leq σ$ 다. 표본표준편차는 평균적으로 모표준편차를 조금 작게 짚는다. 정규모집단에서 $n = 5$ 이면 $E (S) \approx 0.940 σ$ , $n = 20$ 이면 $0.987 σ$ 로 표본이 작을 때만 문제가 된다.

여기서 배울 일반 원리는 이것이다. 불편추정량에 함수를 씌우면 불편성이 깨진다. $\hat{θ}$ 가 $θ$ 의 불편추정량이어도 $g (\hat{θ})$ 가 $g (θ)$ 의 불편추정량이라는 보장은 없다. 뒤에서 최대가능도추정을 다룰 때 이 사실이 다시 나온다.

표본분산은 왜 $n - 1$ 로 나누는가

9장에서 미뤄 둔 증명이다. 결론부터 적으면

$E (S^{2}) = σ^{2}, S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$

증명은 9장에서 카이제곱분포를 구할 때 쓴 항등식 하나로 끝난다. $X_{i} - μ = (X_{i} - \bar{X}) + (\bar{X} - μ)$ 로 쪼개 제곱해 더하면 가운데 항이 $\sum (X_{i} - \bar{X}) = 0$ 때문에 사라지고

$\sum_{i = 1}^{n} (X_{i} - μ)^{2} = \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2} + n (\bar{X} - μ)^{2}$

이제 양변에 기댓값을 취한다. 왼쪽은 $E [(X_{i} - μ)^{2}] = σ^{2}$ 이 $n$ 개이므로 $n σ^{2}$ 이고, 오른쪽 마지막 항은 $E [(\bar{X} - μ)^{2}] = V (\bar{X}) = σ^{2} / n$ 이므로 $n \cdot σ^{2} / n = σ^{2}$ 이다.

$n σ^{2} = E [\sum (X_{i} - \bar{X})^{2}] + σ^{2}$

$E [\sum (X_{i} - \bar{X})^{2}] = (n - 1) σ^{2} ⟹ E (S^{2}) = \frac{(n - 1) σ^{2}}{n - 1} = σ^{2} ◼$

<표본평균은 자료 쪽으로 끌려온 기준점이므로 그것을 기준으로 잰 제곱합은 참값 기준보다 언제나 작다. 그 부족한 몫이 평균적으로 정확히 σ² 이고, 그래서 분모에서 1을 뺀다>[원본 보기]

그림의 오른쪽 그래프가 이 증명의 기하학적 뜻이다. $g (c) = \sum (x_{i} - c)^{2}$ 는 $c$ 에 대한 위로 열린 이차함수이고 최소가 정확히 $c = \bar{x}$ 에서 잡힌다. 참값 $μ$ 는 그 최소점이 아니므로 $g (μ)$ 가 더 크다. 우리가 계산하는 제곱합은 늘 '가능한 가장 작은 것'이고, 그래서 그대로 나누면 작게 나온다.

만약 $n$ 으로 나눴다면 기댓값이 $\frac{n - 1}{n} σ^{2}$ 이 된다. 편향이 $- σ^{2} / n$ , 곧 언제나 작게 짚는다. $n = 5$ 이면 20% 작다. 같은 이야기를 자유도로 말할 수도 있다. 편차 $x_{i} - \bar{x}$ 는 합이 반드시 0 이므로 $n$ 개 가운데 자유롭게 움직이는 것이 $n - 1$ 개뿐이다. 표본평균을 계산하는 데 정보 한 조각을 이미 썼다. 그래서 남은 정보의 개수로 나눈다. 9장에서 카이제곱의 자유도가 $n - 1$ 이었던 것과 같은 이야기다.

예제 110

값이 $1, 3, 5$ 이고 각각 확률 $1 / 3$ 인 모집단에서 크기 2인 표본을 복원으로 뽑는다. 아홉 개의 표본을 모두 열거해서, 분모가 $n - 1 = 1$ 일 때와 $n = 2$ 일 때 표본분산의 기댓값을 각각 구하라. 모분산은 $σ^{2} = 8 / 3$ 이다.

풀이 보기

증명을 눈으로 확인하는 문제다. 복원이므로 표본은 $3 \times 3 = 9$ 가지이고 각각 확률 $1 / 9$ 다. 표본마다 편차제곱합 $\sum (x_{i} - \bar{x})^{2}$ 를 적는다.

표본	$\bar{x}$	편차제곱합
(1,1), (3,3), (5,5)	1, 3, 5	0 (각각)
(1,3), (3,1), (3,5), (5,3)	2 또는 4	2 (각각)
(1,5), (5,1)	3	8 (각각)

편차제곱합의 합은 $0 + 2 \times 2 + 8 \times 2 + 0 + 2 \times 2 + 0 = 24$ 이므로 기댓값은

$E [\sum (X_{i} - \bar{X})^{2}] = \frac{24}{9} = \frac{8}{3}$

$E (S^{2}) = \frac{1}{n - 1} \cdot \frac{8}{3} = \frac{8}{3} = σ^{2} ✓, E [\frac{1}{n} \sum (X_{i} - \bar{X})^{2}] = \frac{1}{2} \cdot \frac{8}{3} = \frac{4}{3} = \frac{σ^{2}}{2}$

$n - 1$ 로 나눈 쪽은 모분산을 정확히 맞혔고, $n$ 으로 나눈 쪽은 정확히 절반이다. $\frac{n - 1}{n} = \frac{1}{2}$ 이므로 예고한 그대로다.

효율성 — 불편한 것들 가운데 좁은 것

불편추정량은 여러 개일 수 있다. 정규모집단에서 표본평균도 불편이고 표본중앙값도 불편이며, 심지어 첫 관측값 $X_{1}$ 하나도 $E (X_{1}) = μ$ 이므로 불편이다. 그러면 남는 기준은 하나다. 어느 쪽이 덜 흔들리는가.

두 불편추정량 ${\hat{θ}}_{1}, {\hat{θ}}_{2}$ 가 있을 때 분산이 작은 쪽이 더 효율적(efficient)이라 하고, 그 비를 상대효율이라 한다.

$상대효율 = \frac{V ({\hat{θ}}_{2})}{V ({\hat{θ}}_{1})}$

이 값이 1보다 크면 ${\hat{θ}}_{1}$ 이 낫고, 분산이 가장 작은 불편추정량을 최소분산불편추정량이라 한다. 그리고 이 비가 뜻하는 것은 아주 실용적이다. 상대효율이 1.57 이면 나쁜 쪽으로 같은 정밀도를 얻으려면 표본을 1.57배 더 뽑아야 한다. 분산이 $1 / n$ 로 줄기 때문이다.

<둘 다 중심이 참값에 맞아 있는데 폭이 다르다. 정해진 오차 안에 들어올 확률이 87%와 77%로 갈리며, 그 차이가 곧 표본을 얼마나 더 뽑아야 하는가다>[원본 보기]

예제 111

정규모집단 $N (μ, σ^{2})$ 에서 크기 $n = 9$ 인 표본을 뽑는다. 모평균의 추정량으로 (가) 표본평균 $\bar{X}$ , (나) 첫 관측값 $X_{1}$ , (다) 표본중앙값을 놓고 셋의 불편성과 분산을 견주어라. 정규모집단에서 표본중앙값의 분산은 대략 $1.57 σ^{2} / n$ 이다.

풀이 보기

먼저 셋 다 불편인지 본다. $E (\bar{X}) = μ$ 는 9장에서 증명했고, $E (X_{1}) = μ$ 는 $X_{1}$ 이 모집단과 같은 분포이므로 곧바로 성립한다. 정규분포는 좌우 대칭이라 중앙값의 기댓값도 $μ$ 다. 셋 다 불편이므로 불편성으로는 고를 수 없다.

$V (\bar{X}) = \frac{σ^{2}}{9} \approx 0.111 σ^{2}, V (X_{1}) = σ^{2}, V (중앙값) \approx \frac{1.57 σ^{2}}{9} \approx 0.174 σ^{2}$

표본평균이 가장 작다. 상대효율로 적으면 첫 관측값에 대해 9, 중앙값에 대해 1.57 이다. 첫 관측값은 나머지 여덟 개를 버리는 규칙이므로 아홉 배 나쁜 것이 당연하다. 다만 모집단에 극단값이 섞이는 상황에서는 중앙값이 이긴다. 효율성은 모집단분포에 딸린 성질이며 "언제나 평균이 낫다"는 말은 틀린다.

일치성 — 표본을 늘리면 참값으로 가는가

세 번째 기준은 표본 크기를 키워 갈 때의 행동이다. 임의의 $ε > 0$ 에 대해

$lim_{n \to \infty} P (| {\hat{θ}}_{n} - θ | \geq ε) = 0$

이면 ${\hat{θ}}_{n}$ 을 일치추정량(consistent estimator)이라 한다. 9장의 큰 수의 법칙이 정확히 이 꼴이었으므로 표본평균은 모평균의 일치추정량이다.

<띠의 폭을 아무리 좁게 잡아도 표본을 늘리면 그 안에 들 확률이 1로 간다. 일치성은 표본 하나에 대한 성질이 아니라 표본을 늘려 갈 때의 성질이다>[원본 보기]

일치성을 확인하는 손쉬운 길이 있다. 편향이 0 으로 가고 분산도 0 으로 가면 일치추정량이다. 체비쇼프 부등식에서 다음이 나오고, 분자의 두 항이 모두 0 으로 가면 오른쪽이 0 으로 간다(마지막 등식은 다음 소절에서 증명한다).

$P (| {\hat{θ}}_{n} - θ | \geq ε) \leq \frac{E [({\hat{θ}}_{n} - θ)^{2}]}{ε^{2}} = \frac{V ({\hat{θ}}_{n}) + B ({\hat{θ}}_{n})^{2}}{ε^{2}}$

여기서 세 기준의 관계가 드러난다. 불편성과 일치성은 서로 다른 것을 본다. 편향이 있어도 $n$ 이 커지며 사라지면 일치일 수 있고, 반대로 불편이면서 일치가 아닐 수도 있다. 예컨대 "첫 관측값"은 불편이지만 분산이 $σ^{2}$ 로 줄지 않으므로 일치가 아니다. 앞에서 본 $\frac{1}{n} \sum (X_{i} - \bar{X})^{2}$ 는 편향이 있지만 그 편향이 $- σ^{2} / n \to 0$ 이므로 일치추정량이다.

평균제곱오차 — 편향과 분산을 하나로 합친다

편향과 분산을 하나의 수로 합치려면 참값에서 벗어난 거리의 제곱을 평균하면 된다. 이것을 평균제곱오차(mean squared error)라 한다.

$MSE (\hat{θ}) = E [(\hat{θ} - θ)^{2}]$

그리고 이 값은 언제나 두 조각으로 쪼개진다.

$MSE (\hat{θ}) = V (\hat{θ}) + B (\hat{θ})^{2}$

증명은 5장의 분산 계산과 똑같은 수법이다. $m = E (\hat{θ})$ 로 놓고 $\hat{θ} - θ = (\hat{θ} - m) + (m - θ)$ 로 쪼개 제곱하면

$E [(\hat{θ} - m)^{2}] + 2 (m - θ) \underset{= 0}{\underset{⏟}{E [\hat{θ} - m]}} + (m - θ)^{2} = V (\hat{θ}) + B (\hat{θ})^{2} ◼$

<과녁 네 개가 편향과 분산의 네 조합이다. 가운데 두 칸을 견주어 보라 — 편향이 있는 쪽이 오히려 과녁 중심에 더 촘촘히 모일 수 있다>[원본 보기]

곧 불편성이 절대 기준이 아니다. 편향을 조금 받아들여 분산을 크게 줄이면 MSE 가 작아진다. 기계학습에서 "편향-분산 맞바꿈"이라 부르는 것이 이 이야기이며, 다음 예제가 그 사례다.

예제 112

정규모집단에서 모분산의 추정량으로 $S^{2}$ (분모 $n - 1$ )과 ${\hat{σ}}^{2} = \frac{n - 1}{n} S^{2}$ (분모 $n$ )을 견주어라. 9장에서 $(n - 1) S^{2} / σ^{2} \sim χ^{2} (n - 1)$ 이었고 카이제곱분포의 분산은 자유도의 두 배다. $n = 5$ 에서 두 MSE 를 비교하라.

풀이 보기

먼저 $V (S^{2})$ 를 구한다. $W = (n - 1) S^{2} / σ^{2} \sim χ^{2} (n - 1)$ 이므로 $V (W) = 2 (n - 1)$ 이고, $S^{2} = \frac{σ^{2}}{n - 1} W$ 이므로 상수배의 분산 공식으로

$V (S^{2}) = \frac{σ^{4}}{(n - 1)^{2}} \cdot 2 (n - 1) = \frac{2 σ^{4}}{n - 1}$

$S^{2}$ 은 불편이므로 편향이 0 이고, 따라서 $MSE (S^{2}) = \frac{2 σ^{4}}{n - 1}$ 이다.

이제 ${\hat{σ}}^{2} = \frac{n - 1}{n} S^{2}$ 다. 상수 $c = (n - 1) / n$ 을 곱한 것이므로

$E ({\hat{σ}}^{2}) = c σ^{2} \Rightarrow B = - \frac{σ^{2}}{n}, V ({\hat{σ}}^{2}) = c^{2} \cdot \frac{2 σ^{4}}{n - 1} = \frac{2 (n - 1) σ^{4}}{n^{2}}$

$MSE ({\hat{σ}}^{2}) = \frac{2 (n - 1) σ^{4}}{n^{2}} + \frac{σ^{4}}{n^{2}} = \frac{(2 n - 1) σ^{4}}{n^{2}}$

$MSE (S^{2}) = \frac{2 σ^{4}}{4} = 0.500 σ^{4}, MSE ({\hat{σ}}^{2}) = \frac{9 σ^{4}}{25} = 0.360 σ^{4}$

편향이 있는 쪽의 MSE 가 28% 작다. 그런데도 교과서가 $S^{2}$ 을 쓰는 까닭은 세 가지다. 불편성은 여러 연구를 모아 평균할 때 치우침을 쌓지 않고, 뒤의 신뢰구간과 검정이 $S^{2}$ 에 맞춰져 있으며, 위 이득은 $n$ 이 커지면 사라진다( $n = 50$ 이면 차이가 3% 미만이다). 어느 쪽이 '옳은' 것은 아니라는 것이 요점이다.

추정량을 만드는 두 가지 방법

지금까지는 추정량이 주어진 것으로 놓고 평가했다. 이제 만드는 쪽이다. 방법은 여러 가지이지만 두 가지가 압도적으로 많이 쓰인다.

적률법 — 표본적률과 모적률을 맞춘다

5장에서 $k$ 차 적률을 $E [X^{k}]$ 로 정의했다. 표본에서 그것에 대응하는 양은

$m_{k} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{k}$

이고 표본적률이라 한다. 큰 수의 법칙에 따라 $m_{k} \to E [X^{k}]$ 이므로, 둘을 같다고 놓고 모수에 대해 풀면 추정량이 나온다. 이것이 적률법(method of moments)이며 모수가 $k$ 개면 $k$ 차까지 맞춘다.

예제 113

어떤 기계가 0 과 $θ$ 사이의 값을 고르게 내놓는다고 한다. 곧 모집단은 연속균등분포 $U (0, θ)$ 다. 다섯 번 재어 $0.2, 0.4, 0.5, 0.6, 2.8$ 을 얻었다. 적률법으로 $θ$ 를 추정하고, 그 답에 문제가 없는지 살펴라.

풀이 보기

모수가 하나이므로 1차 적률만 맞춘다. 8장에서 $U (a, b)$ 의 평균이 $(a + b) / 2$ 였으므로

$E [X] = \frac{θ}{2} = m_{1} = \bar{x} ⟹ \hat{θ} = 2 \bar{X}$

자료를 넣으면 $\bar{x} = 4.5 / 5 = 0.9$ 이므로 $\hat{θ} = 1.8$ 이다. 그런데 관측값 가운데 $2.8$ 이 있다. $θ = 1.8$ 이면 $2.8$ 은 나올 수 없는 값이니 추정값이 자신이 설명해야 할 자료와 모순된 것이다. 원인은 적률법이 평균만 쓰고 최댓값을 보지 않는 데 있다. 다음 소절의 최대가능도추정은 $\hat{θ} = max x_{i} = 2.8$ 을 내놓는다.

여기서 짚을 것은 불편이 곧 좋은 것은 아니라는 것이다. $2 \bar{X}$ 는 불편인데도 불가능한 값을 내놓는다. 반대로 $max X_{i}$ 는 언제나 참값보다 작아 편향이 있지만 자료와 모순되지 않는다.

최대가능도추정 — 본 자료를 가장 그럴듯하게 만드는 모수

생각의 출발점을 뒤집어 보자. 자료는 이미 보았으니 "어떤 모수였다면 내가 본 자료가 나올 확률이 가장 컸겠는가"를 묻는 것이 자연스럽다. 관측값 $x_{1}, \dots, x_{n}$ 이 독립일 때, 모수 $θ$ 에 대한 가능도함수(likelihood function)를

$L (θ) = \prod_{i = 1}^{n} f (x_{i}; θ)$

로 정의한다. 이산이면 $f$ 대신 확률질량함수를 쓴다. 여기서 헷갈리기 쉬운 점이 하나 있다. 식은 확률밀도의 곱과 똑같이 생겼는데, 보는 방향이 다르다. 확률밀도는 $θ$ 를 고정하고 $x$ 의 함수로 보는 것이고, 가능도는 $x$ 를 고정하고 $θ$ 의 함수로 보는 것이다.

<가로축이 자료가 아니라 모수 p 라는 것이 요점이다. 그래서 곡선 아래 넓이가 1 이 아니고, 가능도는 확률분포가 아니다>[원본 보기]

이 함수를 가장 크게 만드는 값을 최대가능도추정량(maximum likelihood estimator, MLE)이라 한다. 실제로 찾을 때는 곱을 그대로 미분하지 않고 로그를 먼저 취한다.

$ℓ (θ) = \ln L (θ) = \sum_{i = 1}^{n} \ln f (x_{i}; θ)$

로그를 씌워도 되는 이유는 $\ln$ 이 증가함수라서 최대가 되는 자리가 바뀌지 않기 때문이다. 그리고 이득은 크다. 곱이 합으로 바뀌어 미분이 항별로 쪼개지고, 지수함수가 들어 있으면 지수가 내려온다. 기초수학에서 로그의 값어치로 배운 "곱을 합으로"가 여기서 결정적으로 쓰인다.

모수가 둘 이상이면 편미분(partial derivative)을 쓴다. 여러 변수의 함수에서 나머지 변수를 상수로 두고 한 변수에 대해서만 미분하는 것을 말하고, $\partial ℓ / \partial μ$ 처럼 적는다. 계산법은 보통 미분과 똑같다. 최대인 자리에서는 모든 편미분이 0 이어야 하므로, 미지수 개수만큼의 방정식이 생긴다.

예제 114

씨앗 20개를 심어 14개가 싹텄다. 발아율 $p$ 의 최대가능도추정값을 구하라.

풀이 보기

각 씨앗이 독립으로 확률 $p$ 로 싹튼다고 보면 싹튼 개수 $X$ 는 이항분포를 따른다. 관측값 $x = 14$ 에 대한 가능도는

$L (p) = (\binom{20}{14}) p^{14} (1 - p)^{6}$

로그를 취한다. 조합수는 $p$ 와 무관한 상수라 미분에서 사라지고, $\ln (1 - p)$ 의 미분은 연쇄법칙으로 $- 1 / (1 - p)$ 다.

$ℓ (p) = \ln (\binom{20}{14}) + 14 \ln p + 6 \ln (1 - p)$

$ℓ^{'} (p) = \frac{14}{p} - \frac{6}{1 - p} = 0 ⟹ 14 (1 - p) = 6 p ⟹ 20 p = 14$

$\hat{p} = \frac{14}{20} = 0.7$

답이 말이 되는가. 관측한 비율 그대로다. 일반적으로 $\hat{p} = x / n$ 이고, 이것은 9장의 표본비율이므로 불편추정량이기도 하다. 가장 소박한 추정이 최대가능도추정과 같다는 것이 이 예제의 안심되는 결론이다.

예제 115

부품 다섯 개의 수명(단위 $h$ )을 재어 $120, 260, 90, 410, 220$ 을 얻었다. 수명이 발생률 $λ$ 인 지수분포(밀도 $λ e^{- λ x}$ )를 따른다고 보고 $λ$ 와 평균수명의 최대가능도추정값을 구하라.

풀이 보기

$L (λ) = \prod_{i = 1}^{5} λ e^{- λ x_{i}} = λ^{5} e^{- λ \sum x_{i}} ⟹ ℓ (λ) = 5 \ln λ - λ \sum x_{i}$

$\sum x_{i} = 1100 h$ 이므로 미분해서 0 으로 놓으면

$ℓ^{'} (λ) = \frac{5}{λ} - 1100 = 0 ⟹ \hat{λ} = \frac{5}{1100} = \frac{1}{220} h^{- 1}$

지수분포의 평균은 $1 / λ$ 이므로 평균수명의 추정값은 $1 / \hat{λ} = \bar{x} = 220 h$ 다. 표본평균 그대로이고 이것은 불편이다. 그런데 $\hat{λ}$ 자체는 불편이 아니다. $E (1 / \bar{X}) \neq 1 / E (\bar{X})$ 이기 때문이며, 앞에서 $E (S) \leq σ$ 를 볼 때와 똑같은 이유다. 최대가능도추정량은 일반적으로 불편이 아니다.

예제 116

정규모집단 $N (μ, σ^{2})$ 에서 크기 $n$ 인 표본을 뽑았다. $μ$ 와 $σ^{2}$ 의 최대가능도추정량을 구하고 불편성을 판정하라.

풀이 보기

모수가 둘이므로 편미분을 두 번 쓴다. 정규밀도의 곱에 로그를 취하면 다음이 되고, 먼저 $σ^{2}$ 를 상수로 두고 $μ$ 로 미분한다.

$ℓ (μ, σ^{2}) = - \frac{n}{2} \ln (2 π) - \frac{n}{2} \ln σ^{2} - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ)^{2}$

$\frac{\partial ℓ}{\partial μ} = \frac{1}{σ^{2}} \sum (x_{i} - μ) = 0 ⟹ \sum x_{i} = n μ ⟹ \hat{μ} = \bar{x}$

이번에는 $μ$ 자리에 $\bar{x}$ 를 넣고 $v = σ^{2}$ 를 변수로 보아 미분한다. 양변에 $2 v^{2}$ 을 곱하면 $- n v + \sum (x_{i} - \bar{x})^{2} = 0$ 이므로

$\frac{\partial ℓ}{\partial v} = - \frac{n}{2 v} + \frac{1}{2 v^{2}} \sum (x_{i} - \bar{x})^{2} = 0$

${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}$

$\hat{μ} = \bar{X}$ 는 불편이지만 ${\hat{σ}}^{2}$ 의 분모가 $n$ 이다. 앞에서 증명한 대로

$E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2} < σ^{2}$

로 편향이 있다. 최대가능도추정이 자동으로 불편을 주지 않는다는 것을 이보다 분명히 보이는 예는 없다. 그리고 앞의 MSE 예제에서 본 대로, 이 편향추정량이 평균제곱오차로는 오히려 더 좋다.

구간추정 — 값 하나가 아니라 범위를 댄다

추정값 하나에는 결정적인 약점이 있다. 얼마나 믿을 만한지를 말하지 않는다. $\bar{x} = 498$ 이라는 답은 표본이 5개일 때와 5000개일 때 똑같이 생겼지만 값어치는 전혀 다르다. 그래서 값 하나가 아니라 범위를 댄다. 만드는 방법은 9장의 표본분포에서 곧바로 나온다. 정규모집단(또는 큰 표본)에서

$P (- z_{α / 2} \leq \frac{\bar{X} - μ}{σ / \sqrt{n}} \leq z_{α / 2}) = 1 - α$

여기서 $z_{α / 2}$ 는 표준정규의 오른쪽 꼬리 확률이 $α / 2$ 인 자리다. 8장의 표준정규표에서 $z_{0.025} = 1.96$ , $z_{0.05} = 1.645$ , $z_{0.005} = 2.576$ 을 읽을 수 있다. 안쪽 부등식을 $μ$ 에 대해 풀면

$P (\bar{X} - z_{α / 2} \frac{σ}{\sqrt{n}} \leq μ \leq \bar{X} + z_{α / 2} \frac{σ}{\sqrt{n}}) = 1 - α$

이 구간을 신뢰수준 $100 (1 - α) %$ 인 신뢰구간(confidence interval)이라 하고, $z_{α / 2} σ / \sqrt{n}$ 을 오차한계(margin of error)라 한다. 구조를 기억해 두면 뒤의 모든 공식이 같은 꼴이다.

$(점추정값) \pm (임곗값) \times (표준오차)$

"참값이 이 안에 있을 확률 95%"는 왜 틀린 말인가

위 식을 아무 생각 없이 읽으면 " $μ$ 가 이 구간에 있을 확률이 $1 - α$ "로 들린다. 그런데 $μ$ 는 확률변수가 아니다. 9장에서 못 박은 대로 모수는 정해진 상수이고, 상수에는 확률을 붙일 자리가 없다. 그러면 위 식의 확률은 무엇에 대한 것인가. $\bar{X}$ 에 대한 확률이다. 흔들리는 것은 구간의 두 끝이고 $μ$ 는 처음부터 끝까지 한자리에 있다. 그리고 자료를 넣어 $(496.04, 499.96)$ 라는 수를 얻은 뒤에는 확률이 아예 사라진다. 그 구간은 $μ$ 를 품었거나 놓쳤거나 둘 중 하나이며, 어느 쪽인지 우리가 모를 뿐이다.

<가로선 μ 는 한 번도 움직이지 않는다. 움직이는 것은 세로 막대 100개다. 참값을 놓친 막대가 몇 개인지 세어 보면 신뢰수준이 무엇의 성질인지 알 수 있다>[원본 보기]

그림이 옳은 읽기를 보여 준다. 신뢰수준은 구간 하나의 성질이 아니라 구간을 만드는 절차의 성질이다. 이 절차를 되풀이하면 만들어지는 구간의 95%가 참값을 품는다. 그림에서는 100개 가운데 일곱 개가 놓쳤는데, 그 개수 자체도 우연에 따라 달라진다. 실전에서는 다음처럼 말하는 것이 안전하다.

" $95 %$ 신뢰구간은 $(496.0, 500.0)$ 이다" — 사실만 적는다.
"이 방법으로 구간을 만들면 95%가 참값을 품는다" — 절차의 성질을 말한다.
"자료는 $μ$ 가 496 에서 500 사이라는 것과 어긋나지 않는다" — 뒤에서 볼 검정과의 대응이다.

반대로 " $μ$ 가 이 구간에 있을 확률이 95%"는 피한다. 다만 한 가지 덧붙일 것이 있다. 모수에 확률을 붙이는 통계학도 있다. 3장의 베이즈 정리를 모수에까지 적용해 모수의 사전분포를 놓고 자료로 갱신하는 방식이며, 그렇게 얻은 구간은 신용구간(credible interval)이라 하고 "확률 95%로 이 안에 있다"고 말해도 된다. 값은 비슷하게 나오는 일이 많지만 사전분포를 정해야 한다는 대가가 있다. 이 문서는 사전분포를 쓰지 않는 쪽만 다룬다.

흔한 오해

어떤 조사에서 모평균의 95% 신뢰구간이 $(48.2, 53.6)$ 으로 나왔다. 다음 다섯 문장 가운데 옳은 것을 고르고 나머지는 왜 틀렸는지 밝혀라.

(가) $μ$ 가 48.2 에서 53.6 사이에 있을 확률이 0.95 다
(나) 같은 방법으로 조사를 여러 번 하면 그렇게 만든 구간의 95%가 $μ$ 를 품는다
(다) 모집단 값들의 95%가 이 구간 안에 있다
(라) 다음에 조사하면 표본평균이 이 구간 안에 들어올 확률이 0.95 다
(마) $μ = 55$ 라는 주장은 이 자료와 잘 맞지 않는다

풀이 보기

옳은 것은 (나)와 (마)다.

(가)는 이 절 전체의 주제다. $μ$ 는 상수이므로 확률을 붙일 수 없고, 구간이 이미 수로 확정된 뒤에는 더욱 그렇다. 0.95 는 구간을 만드는 절차에 붙는 수다.

(다)는 다른 양을 가리킨다. 신뢰구간은 모평균에 대한 구간이고 개별 값의 범위와 아무 관계가 없다. 개별 값의 95%가 드는 범위는 대략 $μ \pm 1.96 σ$ 로 훨씬 넓다. 신뢰구간의 폭에는 $\sqrt{n}$ 이 분모로 들어 있어 표본을 늘리면 얼마든지 좁아지지만, 개별 값의 범위는 좁아지지 않는다. 12장에서 이 구별이 예측구간과 신뢰구간의 차이로 다시 나온다.

(라)도 틀렸다. 새 표본평균이 이 구간에 들 확률은 0.95 가 아니라 0.83 쯤이다. 불확실성이 두 겹이기 때문이다. 이 구간의 중심도 흔들려 얻은 것이고 새 표본평균도 흔들린다.

(마)는 옳다. 55 가 구간 밖이므로 " $μ = 55$ "는 유의수준 5%에서 기각된다. 이것이 11장에서 볼 신뢰구간과 검정의 대응이며, 신뢰구간을 '기각되지 않는 값들의 모음'으로 읽는 방식이다.

모평균의 신뢰구간 — $σ$ 를 알 때와 모를 때

$σ$ 를 아는 경우는 실전에서 드물다. 모르면 $S$ 로 바꿔야 하고, 그러면 9장에서 본 대로 기준분포가 표준정규에서 $t$ 로 바뀐다.

상황	조건	신뢰구간
$σ$ 를 안다	정규모집단 또는 $n$ 이 크다	$\bar{x} \pm z_{α / 2} \frac{σ}{\sqrt{n}}$
$σ$ 를 모른다	정규모집단	$\bar{x} \pm t_{α / 2} (n - 1) \frac{s}{\sqrt{n}}$

<구간의 폭은 두 가지가 정한다. 확실해지려 하면 넓어지고 표본을 늘리면 좁아진다. 폭이 1/√n 에 비례하므로 절반으로 줄이려면 표본을 네 배로 늘려야 한다>[원본 보기]

그림의 왼쪽에서 신뢰수준을 99%로 올리면 구간이 눈에 띄게 넓어진다. 극단으로 밀면 100% 신뢰구간은 $(- \infty, \infty)$ 다. 틀리지 않는 답은 아무 정보도 주지 않는다. 신뢰수준을 정하는 것은 "얼마나 틀려도 되는가"와 "얼마나 쓸모 있어야 하는가" 사이에서 저울질하는 일이다.

예제 118

어떤 기계가 채운 음료 36병의 용량을 재어 $\bar{x} = 498 mL$ 를 얻었다. 표준오차부터 구해 두 경우를 견주어라. (가) 이 기계의 표준편차가 오래된 기록으로 $σ = 6 mL$ 임을 안다고 하고 95% 신뢰구간을 구하라. (나) 그 기록을 믿지 못해 표본에서 $s = 6.3 mL$ 를 계산했다고 하고 다시 구하라. $t_{0.025} (35) = 2.030$ 이다.

풀이 보기

$SE = \frac{σ}{\sqrt{n}} = \frac{6}{6} = 1.0 mL$

$498 \pm 1.96 \times 1.0 = 498 \pm 1.96 \Rightarrow (496.04, 499.96) mL$

(나) $σ$ 대신 $s$ 를 쓰므로 임곗값도 $t$ 로 바꾼다. 자유도는 $n - 1 = 35$ 다.

$SE = \frac{6.3}{6} = 1.05 mL, 498 \pm 2.030 \times 1.05 = 498 \pm 2.13 \Rightarrow (495.87, 500.13) mL$

폭이 3.92 에서 4.26 으로 9% 넓어졌다. $s$ 가 $σ$ 보다 컸기 때문이기도 하고 임곗값이 1.96 에서 2.030 으로 커졌기 때문이기도 하다.

그리고 그 9% 가 결론을 갈랐다. (가)의 구간은 $500 mL$ 를 아슬아슬하게 품지 못하고 (나)의 구간은 품는다. 곧 "이 기계가 평균 500 mL 를 채운다"는 주장이 (가)에서는 자료와 맞지 않고 (나)에서는 맞는다. $σ$ 를 안다고 놓느냐 아니냐로 판정이 뒤집히는 셈이니, 오래된 기록을 섣불리 참값으로 쓰면 안 된다. 11장에서 같은 자료를 검정으로 다시 다룬다.

모비율과 모분산의 신뢰구간

모비율은 표본비율의 표준오차 $\sqrt{p (1 - p) / n}$ 를 쓰는데 여기에 모르는 $p$ 가 들어 있다. 실전에서는 $p$ 자리에 $\hat{p}$ 를 넣고, 조건은 9장의 정규근사 조건 그대로다.

$\hat{p} \pm z_{α / 2} \sqrt{\frac{\hat{p} (1 - \hat{p})}{n}} (n \hat{p} \geq 10, n (1 - \hat{p}) \geq 10)$

한편 모분산은 사정이 다르다. 카이제곱분포가 좌우 대칭이 아니므로 "추정값 ± 무엇" 꼴로 적을 수 없다. 9장에서 $(n - 1) S^{2} / σ^{2} \sim χ^{2} (n - 1)$ 이었으므로

$P (χ_{1 - α / 2}^{2} \leq \frac{(n - 1) S^{2}}{σ^{2}} \leq χ_{α / 2}^{2}) = 1 - α$

안쪽을 $σ^{2}$ 에 대해 풀면 부등호가 뒤집히면서 두 임곗값의 자리도 바뀐다. 큰 임곗값이 왼쪽 끝의 분모로 가며, 이 순서를 뒤집는 것이 가장 흔한 계산 실수다.

$(\frac{(n - 1) s^{2}}{χ_{α / 2}^{2}}, \frac{(n - 1) s^{2}}{χ_{1 - α / 2}^{2}})$

예제 119

어떤 정책에 대해 400명을 조사했더니 168명이 찬성했다. 모비율의 95% 신뢰구간을 구하고, 이 자료로 "찬성이 절반을 넘는다"고 말할 수 있는지 판단하라.

풀이 보기

$\hat{p} = \frac{168}{400} = 0.42, n \hat{p} = 168, n (1 - \hat{p}) = 232$

둘 다 10 을 훨씬 넘으므로 정규근사를 쓸 수 있다. 표준오차와 구간은

$SE = \sqrt{\frac{0.42 \times 0.58}{400}} = \sqrt{\frac{0.2436}{400}} = \sqrt{0.000609} = 0.0247$

$0.42 \pm 1.96 \times 0.0247 = 0.42 \pm 0.0484 \Rightarrow (0.372, 0.468)$

두 번째 물음의 답은 아니다다. 구간 전체가 0.5 아래에 있으므로 오히려 찬성이 절반에 못 미친다는 쪽이 자료와 맞는다. 오차한계를 백분율로 옮기면 $\pm 4.8$ 포인트이고, 이것이 여론조사 기사에서 보는 그 수다.

다만 이 구간은 표본추출의 우연만을 셈에 넣은 것이다. 응답하지 않은 사람이 응답한 사람과 다르거나 질문 문구가 답을 끌었다면 그 오차는 이 식에 전혀 들어 있지 않다. 실제 조사에서는 이런 오차가 표본오차보다 클 수 있으며, 아무리 $n$ 을 늘려도 줄어들지 않는다.

예제 120

정규모집단에서 크기 20인 표본을 뽑아 $s^{2} = 12.5$ 를 얻었다. 모분산과 모표준편차의 95% 신뢰구간을 구하라. 자유도 19인 카이제곱분포의 값은 아래와 같다.

자유도 19 인 카이제곱	오른쪽 꼬리 2.5% 점	오른쪽 꼬리 97.5% 점
값	32.85	8.907

풀이 보기

자유도는 $n - 1 = 19$ 이고 $(n - 1) s^{2} = 19 \times 12.5 = 237.5$ 다. 공식에 넣을 때 큰 임곗값이 왼쪽 끝으로 간다.

$(\frac{237.5}{32.85}, \frac{237.5}{8.907}) = (7.23, 26.66)$

모표준편차는 양 끝에 제곱근을 씌운다. 제곱근은 증가함수이므로 순서가 유지된다.

$(\sqrt{7.23}, \sqrt{26.66}) = (2.69, 5.16)$

점추정값이 $s = 3.54$ 인데 구간이 2.69 에서 5.16 이다. 좌우가 대칭이 아니고, 참값이 점추정값의 0.76배에서 1.46배 사이라는 답이다. 분산은 평균보다 훨씬 추정하기 어렵다.

그리고 이 구간은 정규성 가정에 크게 기댄다. 평균의 구간은 표본이 크면 중심극한정리가 받쳐 주지만, 분산의 구간은 표본을 늘려도 정규성이 필요하다. 자료가 심하게 치우쳐 있으면 이 구간을 믿을 수 없다.

두 모집단의 차

실전에서 더 자주 묻는 것은 "두 집단이 다른가"다. 그러면 $μ_{1} - μ_{2}$ 를 추정한다. 점추정값은 ${\bar{x}}_{1} - {\bar{x}}_{2}$ 이고, 표준오차는 6장의 "독립이면 분산이 더해진다"에서 나온다.

$V ({\bar{X}}_{1} - {\bar{X}}_{2}) = \frac{σ_{1}^{2}}{n_{1}} + \frac{σ_{2}^{2}}{n_{2}}$

뺄셈인데도 분산이 더해진다. 두 모분산이 같다고 볼 만하면 두 표본의 정보를 합쳐 하나로 추정하는 것이 낫고, 그것이 합동분산이다.

$s_{p}^{2} = \frac{(n_{1} - 1) s_{1}^{2} + (n_{2} - 1) s_{2}^{2}}{n_{1} + n_{2} - 2}$

두 편차제곱합을 더해 자유도의 합으로 나눈 것이며, 자유도가 $n_{1} + n_{2} - 2$ 인 이유는 평균을 두 개 계산했기 때문이다. 신뢰구간은

$({\bar{x}}_{1} - {\bar{x}}_{2}) \pm t_{α / 2} (n_{1} + n_{2} - 2) s_{p} \sqrt{\frac{1}{n_{1}} + \frac{1}{n_{2}}}$

두 모분산이 많이 다르면 합동분산을 쓰지 말고 $\sqrt{s_{1}^{2} / n_{1} + s_{2}^{2} / n_{2}}$ 를 그대로 쓴다. 자유도는 근사식으로 정하며 그 식은 11장에서 다룬다.

자료가 짝지어져 있으면 위 공식을 쓸 수 없다. 같은 사람을 처리 앞뒤로 재었다면 두 표본이 독립이 아니기 때문이다. 그때는 차이 $d_{i} = x_{1 i} - x_{2 i}$ 를 만들어 한 표본 문제로 줄인다. 짝지음은 개인차라는 잡음을 지워 주므로 대개 훨씬 좁은 구간을 준다.

<공식이 여러 개인 것은 상황이 여러 개이기 때문이다. 외울 것은 공식이 아니라 질문의 순서이며, 어느 칸으로 가든 뼈대는 점추정값 ± 임곗값 × 표준오차다>[원본 보기]

예제 121

두 방법으로 가르친 두 반의 시험 점수를 요약했다. 두 모집단이 정규분포이고 모분산이 같다고 볼 때 $μ_{1} - μ_{2}$ 의 95% 신뢰구간을 구하고, 두 방법에 차이가 있다고 말할 수 있는지 판단하라. $t_{0.025} (20) = 2.086$ 이다.

반	표본 크기	평균	표본표준편차
1반	10	82.4	4.2
2반	12	78.1	3.8

풀이 보기

점추정값은 ${\bar{x}}_{1} - {\bar{x}}_{2} = 82.4 - 78.1 = 4.3$ 점이다. 모분산이 같다고 보므로 합동분산을 만든다. $s_{1}^{2} = 17.64$ , $s_{2}^{2} = 14.44$ 다.

$s_{p}^{2} = \frac{9 \times 17.64 + 11 \times 14.44}{10 + 12 - 2} = \frac{158.76 + 158.84}{20} = \frac{317.60}{20} = 15.88$

$s_{p} = \sqrt{15.88} = 3.985$ 이고, 자유도는 $n_{1} + n_{2} - 2 = 20$ 이다.

$SE = 3.985 \sqrt{\frac{1}{10} + \frac{1}{12}} = 3.985 \sqrt{0.18333} = 3.985 \times 0.4282 = 1.706$

$4.3 \pm 2.086 \times 1.706 = 4.3 \pm 3.56 \Rightarrow (0.74, 7.86) 점$

두 번째 물음의 답은 차이가 있다고 말할 수 있다다. 구간이 0 을 품지 않기 때문이다. 0 은 "차이가 없다"는 값이므로 그것이 구간 밖에 있으면 그 주장이 자료와 맞지 않는다.

그런데 구간의 폭을 보라. 0.74 에서 7.86 이다. 차이가 있다는 것은 알았지만 얼마나 큰지는 거의 모른다. 1점 차이일 수도 있고 8점 차이일 수도 있다. 이 대비가 11장의 "유의성과 효과 크기는 다른 이야기"의 씨앗이다.

표본 크기를 정한다

오차한계 공식을 거꾸로 쓰면 조사를 설계할 수 있다. 원하는 오차한계를 $E$ 라 하면 다음이고, 정수가 아니면 올림한다(내림하면 정밀도에 못 미친다).

$z_{α / 2} \frac{σ}{\sqrt{n}} \leq E ⟺ n \geq {(\frac{z_{α / 2} σ}{E})}^{2}$

비율이라면 $σ^{2}$ 자리에 $p (1 - p)$ 가 들어간다. 그런데 조사 전에는 $p$ 를 모른다. 두 가지 길이 있다.

가장 나쁜 경우로 잡는다. $p (1 - p)$ 는 $p = 0.5$ 에서 최대 $0.25$ 이므로 $n \geq \frac{z_{α / 2}^{2}}{4 E^{2}}$ 이면 어떤 $p$ 에서도 안전하다.
예비 정보를 쓴다. 지난 조사에서 $p \approx 0.2$ 였다면 $p (1 - p) = 0.16$ 을 넣는다. 표본이 훨씬 줄어든다.

예제 122

(가) 표준편차가 $σ = 12$ 로 알려진 모집단에서 모평균을 95% 신뢰수준으로 오차한계 2 이내로 추정하려면 표본이 얼마나 커야 하는가. (나) 모비율을 오차한계 3 포인트 이내로 추정하려면 몇 명을 조사해야 하는가. 예비 정보가 전혀 없을 때와 $p$ 가 0.2 근처임을 알 때를 비교하라.

풀이 보기

$n \geq {(\frac{1.96 \times 12}{2})}^{2} = (11.76)^{2} = 138.3 ⟹ n = 139$

(나) 예비 정보가 없으면 가장 나쁜 경우로 잡는다. $E = 0.03$ 이다.

$n \geq \frac{{1.96}^{2}}{4 \times {0.03}^{2}} = \frac{3.8416}{0.0036} = 1067.1 ⟹ n = 1068$

$p \approx 0.2$ 를 안다면 $p (1 - p) = 0.16$ 을 넣는다.

$n \geq \frac{{1.96}^{2} \times 0.16}{{0.03}^{2}} = \frac{0.61466}{0.0009} = 683.0 ⟹ n = 684$

예비 정보 하나로 조사 인원이 1068명에서 684명으로 36% 줄었다. 치우친 비율일수록 이득이 크다. $p$ 가 0.05 근처라면 $p (1 - p) = 0.0475$ 로 203명이면 된다.

10장 정리

이름	내용
추정량과 추정값	추정량은 규칙(확률변수), 추정값은 자료를 넣어 얻은 수 하나
불편성	$E (\hat{θ}) = θ$ . 편향은 $B = E (\hat{θ}) - θ$ . 표본 하나에 대한 약속이 아니다
표본분산의 불편성	$E [\sum (X_{i} - \bar{X})^{2}] = (n - 1) σ^{2}$ 이므로 분모가 $n - 1$
효율성	불편추정량 가운데 분산이 작은 쪽. 상대효율 $V ({\hat{θ}}_{2}) / V ({\hat{θ}}_{1})$
일치성	$P (\| {\hat{θ}}_{n} - θ \| \geq ε) \to 0$ . 편향과 분산이 둘 다 0 으로 가면 성립
평균제곱오차	$MSE = V (\hat{θ}) + B (\hat{θ})^{2}$ . 편향을 받아들여 MSE 를 줄일 수 있다
적률법	$\frac{1}{n} \sum X_{i}^{k} = E [X^{k}]$ 를 모수에 대해 푼다
최대가능도추정	$ℓ (θ) = \sum \ln f (x_{i}; θ)$ 를 최대로. 모수가 둘이면 편미분(나머지를 상수로 두고 미분). 변환에 따라가지만 불편은 아니다
신뢰구간의 뼈대	점추정값 ± 임곗값 × 표준오차. 분산만 좌우가 대칭이 아니다
모평균	$σ$ 를 알면 $\bar{x} \pm z_{α / 2} σ / \sqrt{n}$ , 모르면 $\bar{x} \pm t_{α / 2} (n - 1) s / \sqrt{n}$
모비율	$\hat{p} \pm z_{α / 2} \sqrt{\hat{p} (1 - \hat{p}) / n}$ . $n \hat{p}$ 와 $n (1 - \hat{p})$ 가 10 이상
모분산	$((n - 1) s^{2} / χ_{α / 2}^{2}, (n - 1) s^{2} / χ_{1 - α / 2}^{2})$ . 큰 임곗값이 왼쪽 끝
두 모평균의 차	합동분산 $s_{p}^{2} = \frac{(n_{1} - 1) s_{1}^{2} + (n_{2} - 1) s_{2}^{2}}{n_{1} + n_{2} - 2}$ , 자유도 $n_{1} + n_{2} - 2$
표본 크기	$n \geq (z_{α / 2} σ / E)^{2}$ , 비율은 최악에서 $n \geq z_{α / 2}^{2} / (4 E^{2})$ . 올림한다

꼭 챙겨 갈 것은 넷이다.

추정량은 확률변수다. 좋은지 나쁜지는 자료 하나가 아니라 그 표본분포를 보고 정한다. 불편성은 중심, 효율성은 폭, 일치성은 극한을 본다.
불편성이 절대 기준은 아니다. 평균제곱오차는 분산과 편향의 제곱을 더한 것이고, 편향을 조금 받아들여 분산을 크게 줄이는 것이 이득일 수 있다.
최대가능도추정은 '본 자료를 가장 그럴듯하게 만드는 모수'를 고른다. 로그를 취해 곱을 합으로 바꾸고 미분해서 0 으로 놓는다. 모수가 둘이면 편미분을 쓴다.
신뢰수준은 절차의 성질이다. 흔들리는 것은 구간이고 참값은 고정되어 있다. "참값이 이 안에 있을 확률 95%"는 틀린 읽기다.

다음 장은 같은 계산을 다른 물음에 쓴다. 10장이 " $μ$ 가 얼마인가"를 물었다면 11장은 " $μ$ 가 500 이라는 주장이 이 자료와 맞는가"를 묻는다. 놀랍게도 두 물음의 계산은 거의 같고, 신뢰구간과 검정이 서로를 옮겨 적은 것이라는 사실이 그 장의 한가운데에 놓인다.

가설검정

10장은 " $μ$ 가 얼마인가"를 물었다. 이 장은 " $μ = 500$ 이라는 주장이 이 자료와 맞는가"를 묻는다. 계산은 거의 같은데 논리가 다르다. 그 논리를 정확히 세우는 것이 이 장의 목적이며, 통계학에서 오해가 가장 많이 쌓인 자리이기도 하다.

답할 질문은 다섯이다. 왜 '아무 일 없다'를 검사 대상으로 세우는가, 틀릴 수 있는 두 가지 방식은 무엇인가, $p$ 값은 정확히 무엇인가, '유의하지 않다'가 무슨 뜻인가, 그리고 어떤 상황에 어떤 검정을 쓰는가.

앞에서 가져오는 것은 9·10장 전부다. 특히 표준오차와 중심극한정리, 8장의 표준정규표와 t 분포·카이제곱분포·F 분포, 10장의 신뢰구간을 계속 쓴다. 기초수학 12장의 대우와 귀류법도 이 장의 논리 그 자체로 쓰인다.

귀무가설과 대립가설

검정은 모수에 대한 두 주장을 마주 세우는 일이다.

귀무가설(null hypothesis) $H_{0}$ — "아무 일 없다"는 쪽. $μ = 500$ , $p = 0.5$ , $μ_{1} = μ_{2}$ 처럼 등호를 담는다.
대립가설(alternative hypothesis) $H_{1}$ — 우리가 근거를 대고 싶은 쪽. $μ \neq 500$ , $μ > 500$ 같은 것이다.

왜 "아무 일 없다"를 $H_{0}$ 에 두는가. 두 가지 이유가 있고 둘 다 결정적이다.

첫째는 논리의 비대칭이다. 기초수학에서 본 대로 "모든 까마귀는 검다"는 흰 까마귀 한 마리로 뒤집히지만 검은 까마귀를 아무리 많이 모아도 증명되지 않는다. 검정은 이 비대칭을 확률로 옮긴 것이다. $H_{0}$ 를 참이라 가정하고 자료의 확률을 계산해, 너무 드문 일이 일어났으면 가정을 버린다. 귀류법의 확률 버전이다.

둘째는 계산할 수 있어야 한다는 것이다. $H_{0}$ 가 $μ = 500$ 처럼 값 하나를 지목하면 그 아래에서 검정통계량의 분포를 정확히 구할 수 있다. 반면 $μ \neq 500$ 아래에서는 $μ$ 가 무엇인지 몰라 분포를 구할 수 없다. 등호가 있는 쪽만 계산의 발판이 된다.

그래서 결론의 표현도 비대칭이다. 자료가 드물면 " $H_{0}$ 를 기각한다"고 하지만, 드물지 않으면 " $H_{0}$ 가 참이다"가 아니라 "기각하지 못한다"고만 말한다. 재판에서 무죄 판결이 "결백함이 증명되었다"가 아니라 "유죄를 증명하지 못했다"인 것과 같다.

대립가설의 방향이 검정의 꼬리를 정한다. $H_{1} : μ \neq μ_{0}$ 이면 양쪽 꼬리를, $H_{1} : μ > μ_{0}$ 이면 오른쪽 꼬리만 본다. 이 방향은 자료를 보기 전에 정해야 한다. 자료를 본 뒤 큰 쪽으로 정하면 실제 유의수준이 두 배가 된다.

예제 123

다음 세 상황에서 $H_{0}$ 와 $H_{1}$ 을 세우고 꼬리가 한쪽인지 양쪽인지 정하라.

(가) 새 비료가 기존 비료보다 수확량을 늘리는지 알고 싶다
(나) 기계가 병에 평균 $500 mL$ 를 채우도록 맞춰져 있는지 점검한다
(다) 부품의 불량률이 3%를 넘는지 검사한다

풀이 보기

기준은 둘이다. 등호를 담는 쪽이 $H_{0}$ , 그리고 근거를 대야 하는 주장이 $H_{1}$ 이다.

(가) $H_{0} : μ_{새} = μ_{기존}$ , $H_{1} : μ_{새} > μ_{기존}$ . 늘어난 쪽만 관심이므로 한쪽 꼬리다.

(나) $H_{0} : μ = 500$ , $H_{1} : μ \neq 500$ . 많이 채워도 적게 채워도 고장이므로 양쪽 꼬리다.

(다) $H_{0} : p = 0.03$ , $H_{1} : p > 0.03$ 으로 한쪽 꼬리다.

(가)에서 "새 비료가 더 좋다"를 $H_{0}$ 에 두면 어떻게 되는가. 계산이 막힌다. "더 좋다"는 얼마나 더 좋은지를 말하지 않아 분포를 구할 수 없다. 그리고 논리도 뒤집힌다. 근거를 대야 하는 쪽을 이미 참이라 놓고 시작하는 셈이다.

(다)에는 함정이 하나 있다. 3%를 넘는지 넘지 않는지 둘 다 알고 싶다면 양쪽 꼬리로 가야 한다. 무엇을 하려는지가 꼬리를 정한다.

흔한 오해

어떤 검정에서 $H_{0}$ 를 기각하지 못했다. " $H_{0}$ 를 채택한다"고 적어도 되는가?

풀이 보기

안 된다. 그리고 이것이 검정에 대한 첫 번째 오해다.

이유는 검정이 처음부터 $H_{0}$ 를 참이라 가정하고 시작했기 때문이다. 가정 아래에서 모순이 안 나온 것을 두고 가정이 참이라 결론지을 수는 없다. 귀류법에서 모순이 안 나왔다고 원래 명제가 참이 되지 않는 것과 같다.

더 실제적인 이유도 있다. 표본이 작으면 웬만한 차이도 잡히지 않는다. 기각하지 못했다는 것은 " $H_{0}$ 가 맞다"일 수도 있고 "자료가 모자라 판단을 못 했다"일 수도 있으며, 검정 결과만 보아서는 둘을 가릴 수 없다. 이 이야기를 뒤에서 절 하나로 다룬다.

그러면 무엇이라고 적는가. "유의수준 5%에서 $H_{0}$ 를 기각할 근거가 없다" 또는 "자료는 $H_{0}$ 와 어긋나지 않는다"가 정확하다. 그리고 추정값과 신뢰구간을 함께 적는다. 그것이 "얼마나 모르는지"를 말해 준다.

두 가지 오류와 그 맞바꿈

검정은 참·거짓을 판정하는 것이 아니라 결정을 내리는 것이므로, 틀리는 방식이 두 가지다.

실제	기각했다	기각하지 못했다
$H_{0}$ 가 참	1종 오류 (확률 $α$ )	옳은 결정
$H_{0}$ 가 거짓	옳은 결정 (확률 $1 - β$ )	2종 오류 (확률 $β$ )

용어를 못 박는다. 1종 오류는 아무 일 없는데 있다고 말하는 것이고 그 확률의 상한을 유의수준(significance level) $α$ 로 정해 둔다. 2종 오류는 일이 있는데 못 잡는 것이고 확률을 $β$ 로 적는다. 잡을 확률 $1 - β$ 를 검정력(power)이라 한다.

$α$ 를 우리가 고른다는 점이 중요하다. 관례로 0.05 를 쓰지만 자연의 상수가 아니다. 잘못 기각하는 값이 크면(신약 승인) 더 작게, 놓치는 값이 크면(초기 검진) 더 크게 잡는 것이 옳다.

그 $α$ 에 맞춰 "여기를 넘으면 기각"이라 정한 구간을 기각역(rejection region)이라 한다. 그리고 기각역을 옮기면 두 오류 확률이 반대 방향으로 움직인다.

<두 분포가 겹쳐 있으므로 어디를 잘라도 두 오류 가운데 하나는 남는다. 위 두 줄은 맞바꿈이고, 셋째 줄만이 표본을 늘려 둘을 함께 줄인다>[원본 보기]

그림의 요점이 이 절의 결론이다. $α$ 와 $β$ 를 동시에 줄이는 길은 표본을 늘리는 것뿐이다. 표본이 늘면 두 분포가 함께 좁아져 겹치는 부분이 줄어들기 때문이다.

예제 125

어떤 기계의 산출량이 정규분포를 따르고 표준편차가 $σ = 8$ 이다. $H_{0} : μ = 100$ , $H_{1} : μ > 100$ 을 크기 16인 표본으로 검정한다. 기각역을 $\bar{x} \geq 104$ 로 잡을 때와 $\bar{x} \geq 103$ 로 잡을 때 각각 $α$ 를 구하고, 참값이 실제로 105 라면 $β$ 와 검정력이 어떻게 되는지 구하라. 8장의 표준정규표를 쓴다.

풀이 보기

표준오차는 $σ / \sqrt{n} = 8 / 4 = 2$ 다. $α$ 는 $H_{0}$ 가 참일 때 기각역에 들 확률이므로 $μ = 100$ 을 넣어 계산한다.

$α = P (\bar{X} \geq 104 ∣ μ = 100) = P (Z \geq \frac{104 - 100}{2}) = 1 - Φ (2) = 0.0228$

$β$ 는 $H_{1}$ 이 참일 때 기각하지 못할 확률이므로 $μ = 105$ 를 넣는다.

$β = P (\bar{X} < 104 ∣ μ = 105) = Φ (\frac{104 - 105}{2}) = Φ (- 0.5) = 1 - 0.6915 = 0.3085$

검정력은 $1 - β = 0.6915$ 다. 이제 경계를 103 으로 옮긴다.

$α = 1 - Φ (1.5) = 0.0668, β = Φ (- 1) = 0.1587, 1 - β = 0.8413$

견주어 보자. $α$ 가 0.0668 에서 0.0228 로 3분의 1이 되는 대신 $β$ 가 0.1587 에서 0.3085 로 두 배가 되었다. 이것이 맞바꿈이다.

표본을 64로 늘리면 표준오차가 1 이 된다. 경계를 $\bar{x} \geq 102$ 로 잡으면 $α = 1 - Φ (2) = 0.0228$ 로 첫 경우와 같은데

$β = Φ (\frac{102 - 105}{1}) = Φ (- 3) = 1 - 0.9987 = 0.0013$

$α$ 를 그대로 두고 $β$ 를 0.3085 에서 0.0013 으로 떨어뜨렸다. 표본을 늘리는 것만이 둘을 함께 좋게 만든다.

예제 126

다음 세 상황에서 1종 오류와 2종 오류가 각각 무엇인지 적고, 유의수준을 관례의 0.05 보다 크게 잡을지 작게 잡을지 판단하라. (가) 신약이 효과가 없다는 $H_{0}$ 를 검정해 승인 여부를 정한다. (나) 공항 검색대에서 '위험물이 없다'는 $H_{0}$ 를 검정한다. (다) 앞 예제의 기계에서 $H_{0} : μ = 100$ , $H_{1} : μ > 100$ 을 $σ = 8$ , $n = 16$ 으로 검정하는데 참값이 105 다. 기각역을 $\bar{x} \geq 103$ 에서 $\bar{x} \geq 101$ 로 옮기면 두 오류가 어떻게 되는가.

풀이 보기

(가) 신약. 1종 오류는 효과 없는 약을 승인하는 것이고, 2종 오류는 효과 있는 약을 버리는 것이다. 앞엣것은 많은 환자에게 쓸모없거나 해로운 약이 퍼지는 일이라 값이 매우 크다. 그래서 $α$ 를 작게 잡는다. 규제기관이 0.05 보다 엄격한 기준이나 두 번의 독립 임상시험을 요구하는 이유다.

(나) 검색대. 1종 오류는 아무것도 없는 승객을 붙잡는 것이고, 2종 오류는 위험물을 통과시키는 것이다. 앞엣것의 값은 승객 한 명의 몇 분이고 뒤엣것의 값은 비교가 되지 않는다. 그래서 $α$ 를 크게 잡는다. 실제로 검색대가 자주 '오경보'를 내는 것은 고장이 아니라 설계다.

두 상황이 반대라는 점이 요점이다. 0.05 는 자연의 상수가 아니라 두 오류의 값을 견준 결과여야 한다.

(다) 수로 확인한다. 표준오차는 $8 / \sqrt{16} = 2$ 다. 경계가 103 일 때

$α = P (\bar{X} \geq 103 ∣ μ = 100) = 1 - Φ (1.5) = 0.0668, β = P (\bar{X} < 103 ∣ μ = 105) = Φ (- 1) = 0.1587$

경계를 101 로 내리면

$α = 1 - Φ (0.5) = 0.3085, β = Φ (\frac{101 - 105}{2}) = Φ (- 2) = 0.0228$

$α$ 가 0.0668 에서 0.3085 로 네 배 넘게 커지는 대신 $β$ 가 0.1587 에서 0.0228 로 7분의 1이 되었다. (나) 같은 상황에서 하는 선택이 정확히 이 방향이다.

답이 말이 되는가. 표본 크기를 건드리지 않았으므로 두 오류의 합을 마음대로 줄일 수는 없어야 하는데, 실제로 하나가 줄면 다른 하나가 늘었다 ✓ 경계를 어디에 두든 두 분포가 겹친 넓이는 그대로 남는다.

검정통계량, 기각역, 그리고 $p$ 값

실제 검정 절차는 다섯 단계다. 이 장의 모든 검정이 이 틀을 그대로 따른다.

$H_{0}$ 와 $H_{1}$ 을 세운다. 꼬리도 여기서 정한다.
유의수준 $α$ 를 정한다.
검정통계량을 계산한다. $H_{0}$ 가 참일 때 분포를 아는 양이어야 한다.
그 분포에서 관측값이 얼마나 드문지 잰다. 기각역과 견주거나 $p$ 값을 구한다.
결론을 내리고 추정값과 신뢰구간을 함께 적는다.

4단계에는 같은 일을 하는 두 가지 방식이 있다. 하나는 미리 정한 기각역과 견주는 것이고, 다른 하나가 $p$ 값이다.

$p$ 값의 정확한 뜻

$p$ 값은 $H_{0}$ 가 참일 때, 관측된 것과 같거나 그보다 더 대립가설 쪽으로 극단적인 자료가 나올 확률이다. 정의에서 세 부분을 다 지켜야 한다. " $H_{0}$ 가 참일 때"라는 조건, "같거나 더"라는 범위, 그리고 "대립가설 쪽으로"라는 방향이다.

<p 값은 넓이다. 관측값 하나의 확률이 아니라 그 바깥 전체의 넓이이며, 양쪽 꼬리 검정에서는 반대쪽 꼬리까지 더한다>[원본 보기]

그리고 $p$ 값과 기각역은 같은 판정을 준다. $p \leq α$ 인 것과 관측값이 기각역에 드는 것이 정확히 같은 사건이다. 그래도 $p$ 값을 함께 적는 편이 낫다. 기각역과의 비교는 "기각"과 "기각 못함" 두 값만 남기지만, $p$ 값은 얼마나 드물었는지를 수로 남긴다. $p = 0.049$ 와 $p = 0.0001$ 은 같은 "기각"이지만 전혀 다른 자료다.

예제 127

10장에서 다룬 자료다. 어떤 기계가 채운 음료 36병의 평균이 $\bar{x} = 498 mL$ 였고 이 기계의 표준편차는 $σ = 6 mL$ 로 알려져 있다. $H_{0} : μ = 500$ , $H_{1} : μ \neq 500$ 을 유의수준 5%에서 검정하고 $p$ 값을 구하라.

풀이 보기

$σ$ 를 알고 표본이 크므로 검정통계량은 $z$ 다. $H_{0}$ 아래에서 표준정규분포를 따른다.

$z = \frac{\bar{x} - μ_{0}}{σ / \sqrt{n}} = \frac{498 - 500}{6 / 6} = \frac{- 2}{1} = - 2.0$

양쪽 꼬리 검정이므로 기각역은 $| z | \geq 1.96$ 이고 $| - 2.0 | = 2.0 > 1.96$ 이다. $H_{0}$ 를 기각한다.

$p$ 값은 양쪽 꼬리를 더한다.

$p = 2 (1 - Φ (2.0)) = 2 (0.0228) = 0.0456$

$p = 0.0456 \leq 0.05$ 이므로 같은 결론이다. 두 방식이 늘 일치한다는 것을 여기서 확인할 수 있다.

10장의 신뢰구간과도 맞춰 보자. 그때 95% 신뢰구간이 $(496.04, 499.96)$ 이었고 500 이 그 밖이었다. 구간이 $μ_{0}$ 를 품지 않는 것과 양쪽 꼬리 검정이 기각하는 것이 같은 사건이다.

마지막으로 크기를 보자. 차이는 $2 mL$ , 곧 0.4% 다. 유의하다고 해서 큰 차이라는 뜻은 아니다. 이 기계를 고칠 값어치가 있는지는 통계가 아니라 현장이 정한다.

$p$ 값에 대한 흔한 오해 셋

$p$ 값은 통계학에서 가장 자주 잘못 읽히는 수다. 오독 세 가지를 나열하고 각각 왜 틀렸는지 밝혀 둔다.

오독 1 — " $p = 0.03$ 이면 $H_{0}$ 가 참일 확률이 3%다." 조건의 방향이 뒤집혔다. $p$ 값은 $P (자료 ∣ H_{0})$ 이고 저 문장은 $P (H_{0} ∣ 자료)$ 다. 3장의 베이즈 정리가 둘의 관계를 말해 준다.

$P (H_{0} ∣ 자료) = \frac{P (자료 ∣ H_{0}) P (H_{0})}{P (자료)}$

오른쪽에 사전확률 $P (H_{0})$ 가 필요하다. $p$ 값에는 그것이 들어 있지 않으므로 $P (H_{0} ∣ 자료)$ 를 계산할 수 없다. 그리고 사전확률이 낮으면 두 수가 아주 크게 벌어진다.

<유의수준 5%로 검정한 1000개 가운데 유의하다고 보고되는 125개 중 45개는 귀무가설이 참이다. 곧 36%가 위양성이며 5%와는 전혀 다른 수다>[원본 보기]

오독 2 — " $p$ 가 작으면 효과가 크다." $p$ 값은 효과 크기가 아니다. 검정통계량은 대개 "효과 나누기 표준오차" 꼴이고 표준오차에는 $\sqrt{n}$ 이 분모로 들어 있다. 그러므로 아무리 작은 차이라도 $n$ 을 키우면 $p$ 가 얼마든지 작아진다. 효과 크기는 추정값과 신뢰구간으로 말해야 한다.

오독 3 — " $p = 0.03$ 이면 되풀이했을 때 97% 확률로 다시 유의하다." $p$ 값은 재현 확률과 아무 관계가 없다. 다시 유의할 확률은 검정력이며 그것은 참 효과 크기와 표본 크기가 정한다. $p$ 가 0.05 근처인 연구는 되풀이했을 때 다시 유의할 확률이 대략 반밖에 안 된다.

세 오독의 뿌리는 하나다. $p$ 값은 가설에 대한 확률이 아니라 자료에 대한 확률이다. 그리고 자료에 대한 확률이므로 " $H_{0}$ 아래에서 이런 자료는 드물다"까지만 말한다. 그 다음 판단은 사전 지식, 효과 크기, 연구 설계가 함께 해야 한다.

흔한 오해

어떤 검사법의 효과를 알아보려 1000가지 후보를 각각 유의수준 5%로 검정했다. 그중 실제로 효과가 있는 것이 100가지이고 검정력이 0.8 이라 하자. " $p < 0.05$ "로 보고된 것 가운데 실제로는 효과가 없는 것이 몇 %인가?

풀이 보기

3장의 기저율 문제와 같은 구조다. 네 칸을 채운다.

효과가 있는 100가지 가운데 검정력 0.8 로 $100 \times 0.8 = 80$ 가지가 유의하게 나온다. 효과가 없는 900가지 가운데 1종 오류로 $900 \times 0.05 = 45$ 가지가 유의하게 나온다.

$유의하다고 보고된 것 = 80 + 45 = 125, 그중 위양성 = 45$

$\frac{45}{125} = 0.36$

36%가 위양성이다. 유의수준은 5%였는데 "유의하다"는 보고 셋 가운데 하나가 헛것이다. 두 수가 다른 이유는 5%가 효과가 없는 것들 가운데의 비율이고 36%는 유의하다고 보고된 것들 가운데의 비율이기 때문이다. 분모가 다르다.

사전확률을 바꿔 보면 더 분명해진다. 실제 효과가 있는 것이 1000가지 중 10가지뿐이라면 참양성 8, 위양성 $990 \times 0.05 = 49.5$ 로 위양성이 86%가 된다. 반대로 500가지가 효과 있다면 위양성은 $25 / (400 + 25) = 6 %$ 로 떨어진다.

여기서 실전 교훈이 나온다. 그럴듯하지 않은 가설을 마구 검정하면 유의한 결과의 대부분이 헛것이 된다. 이것이 마지막 절의 다중검정 문제와 곧바로 이어진다.

유의하지 않다는 것이 차이가 없다는 뜻은 아니다

검정력은 $α$ , 참 효과의 크기, 표본 크기 $n$ 이 정한다. 셋 중 하나만 나빠도 실제로 있는 차이를 놓친다.

<왼쪽 끝에서 세 곡선이 모두 α 를 지난다. 참값이 귀무가설과 같으면 기각 확률이 곧 α 이기 때문이다. 같은 차이라도 표본이 작으면 잡을 확률이 뚝 떨어진다>[원본 보기]

검정력이 낮은 검정에서 "유의하지 않다"는 결과는 차이가 없다는 증거가 아니다. 처음부터 잡을 힘이 없는 검정이었을 수 있다. 그러면 둘을 어떻게 가리는가. 신뢰구간을 보면 된다.

<연구 가와 나 모두 0 을 품어 유의하지 않다. 그런데 가는 ‘차이가 있어도 작다’ 는 정보를 주고 나는 아무 정보도 주지 않는다. 검정 결과만 보면 둘이 똑같아 보인다>[원본 보기]

좁은 구간이 0 을 품으면 "차이가 있어도 작다"는 정보다. 넓은 구간이 0 을 품으면 "이 자료로는 모른다"는 뜻일 뿐이다. 그래서 "차이가 없다"를 주장하려면 미리 '무시할 만한 크기'를 정하고 구간이 그 안에 들어오는지 보아야 한다. 그렇게 설계한 검정을 동등성 검정이라 한다.

예제 129

앞 예제의 기계에서 $H_{0} : μ = 100$ , $H_{1} : μ > 100$ 을 검정한다. $σ = 8$ , 표본 크기 16, 기각역은 $\bar{x} \geq 104$ 다. 참값이 104, 105, 106 일 때의 검정력을 각각 구하고, 참값이 103 일 때 검정력을 0.84 로 올리려면 표본이 얼마나 커야 하는지 구하라.

풀이 보기

표준오차는 2 이므로 검정력은 $P (\bar{X} \geq 104 ∣ μ)$ 다.

$1 - β = 1 - Φ (\frac{104 - μ}{2}) = Φ (\frac{μ - 104}{2})$

$μ = 104 : Φ (0) = 0.5, μ = 105 : Φ (0.5) = 0.6915, μ = 106 : Φ (1) = 0.8413$

첫 값을 새겨 둘 만하다. 참값이 기각역의 경계와 같으면 검정력이 정확히 0.5 다. 실제로 4만큼 차이가 있는데도 동전 던지기와 다를 바 없이 절반을 놓친다.

참값 103 에서 검정력을 0.8413 로 만들려면 표준오차 $SE$ 를 구해야 한다. 임곗값은 $100 + 2 SE$ 이므로

$Φ (\frac{103 - (100 + 2 SE)}{SE}) = 0.8413 ⟹ \frac{3}{SE} - 2 = 1 ⟹ SE = 1$

$8 / \sqrt{n} = 1$ 이므로 $n = 64$ 다. 일반형으로 적으면 다음과 같고, 여기서 $δ$ 는 잡고 싶은 차이다.

$n \geq \frac{σ^{2} (z_{α} + z_{β})^{2}}{δ^{2}}$

넣어 확인하면 $64 \times (2 + 1)^{2} / 9 = 64$ 로 맞는다. 이 식이 연구를 설계할 때 표본 크기를 정하는 근거이며, 검정력을 계산하지 않고 시작한 연구는 '유의하지 않다'는 결과를 해석할 수 없다.

흔한 오해

두 연구가 같은 처리의 효과를 추정했다. 연구 가는 $0.2 (95 % 구간 - 0.4 \sim 0.8)$ , 연구 나는 $3.0 (- 1.0 \sim 7.0)$ 을 얻었다. 둘 다 유의하지 않다. 두 결과를 같게 읽어도 되는가?

풀이 보기

안 된다. 검정 결과는 둘 다 "기각 못함"이지만 담긴 정보가 전혀 다르다.

연구 가의 구간은 폭이 1.2 이고 양 끝이 모두 작다. 실제 효과가 있더라도 0.8 을 넘지 않는다는 뜻이므로, 무시할 만한 크기를 1 로 미리 정해 두었다면 "효과가 실용적으로 없다"고 말할 근거가 된다.

연구 나의 구간은 폭이 8 이고 7 까지 열려 있다. 큰 효과를 전혀 배제하지 못한다. 표본이 모자라 판단을 못 한 것이며, 여기서 "효과가 없다"고 결론지으면 심각한 잘못이다.

그리고 눈여겨볼 것이 있다. 연구 나의 추정값 3.0 은 연구 가보다 15배 크다. 유의성만 보면 두 연구가 같아 보이는데 효과 크기 추정값은 정반대 이야기를 한다.

그래서 보고 규칙은 하나다. 검정 결과만 적지 말고 추정값과 신뢰구간을 함께 적는다. 여러 연구를 모아 종합할 때도 유의성이 아니라 추정값과 구간이 재료가 된다.

신뢰구간과 검정의 대응

앞에서 두 번 스친 사실을 정리한다. 양쪽 꼬리 검정과 신뢰구간은 같은 계산을 다르게 적은 것이다.

<신뢰구간 안에 있는 귀무가설 값은 기각되지 않고 밖에 있는 값은 기각된다. 신뢰구간은 기각되지 않는 μ~0 을 모두 모은 집합이다>[원본 보기]

이유는 식이 같기 때문이다. 유의수준 $α$ 의 양쪽 꼬리 검정이 기각하지 않는 조건은

$| \frac{\bar{x} - μ_{0}}{σ / \sqrt{n}} | < z_{α / 2} ⟺ \bar{x} - z_{α / 2} \frac{σ}{\sqrt{n}} < μ_{0} < \bar{x} + z_{α / 2} \frac{σ}{\sqrt{n}}$

오른쪽이 바로 $100 (1 - α) %$ 신뢰구간이다. 그러므로 신뢰구간은 '기각되지 않는 $μ_{0}$ 들의 모음' 이다.

이 대응 때문에 실무에서는 신뢰구간을 쓰는 편이 낫다. 검정은 기각 여부 하나만 주는데 신뢰구간은 그 정보를 담으면서 효과 크기까지 함께 말해 준다. 다만 한쪽 꼬리 검정에는 한쪽만 막힌 구간이 대응하고, 분산처럼 좌우가 대칭이 아닌 경우에는 대응이 조금 복잡해진다.

예제 131

크기 25인 표본에서 $\bar{x} = 100$ 을 얻었고 표준오차는 2 다. 95% 신뢰구간을 구하고, $μ_{0} = 98$ , $103$ , $105$ 세 가지 귀무가설을 각각 양쪽 꼬리 검정으로 판정하라. 두 결과가 어떻게 맞물리는지 밝혀라.

풀이 보기

신뢰구간은 $100 \pm 1.96 \times 2 = (96.08, 103.92)$ 다. 이제 세 가설을 검정한다.

$μ_{0} = 98 : z = \frac{100 - 98}{2} = 1.0, μ_{0} = 103 : z = - 1.5, μ_{0} = 105 : z = - 2.5$

기각역은 $| z | \geq 1.96$ 이므로 앞의 둘은 기각하지 못하고 $μ_{0} = 105$ 만 기각한다.

구간과 견주면 정확히 맞물린다. 98 과 103 은 $(96.08, 103.92)$ 안에 있고 105 는 밖에 있다. 기각되지 않는 값이 구간 안, 기각되는 값이 구간 밖이다.

부호를 눈여겨보라. $μ_{0}$ 가 커질수록 $z$ 가 작아진다. $μ_{0}$ 가 분자에서 빼지기 때문이며, 그래서 " $z$ 가 크다"가 " $μ_{0}$ 가 크다"를 뜻하지 않는다.

그리고 이 예제가 검정의 한계를 보인다. 98 도 103 도 기각되지 않았는데 둘은 서로 5 만큼 떨어져 있다. 기각하지 못한 값들의 범위가 이만큼 넓다는 것을 검정 결과만으로는 알 수 없고, 신뢰구간이 그것을 한눈에 보여 준다.

예제 132

앞 예제와 같은 자료다. $\bar{x} = 100$ , 표준오차 2. 이번에는 한쪽 꼬리 검정 $H_{0} : μ = μ_{0}$ , $H_{1} : μ < μ_{0}$ 를 유의수준 5%에서 한다. (가) 기각되지 않는 $μ_{0}$ 를 모두 모아 한쪽만 막힌 신뢰구간으로 적어라. (나) $μ_{0} = 103.5$ 를 양쪽 꼬리와 한쪽 꼬리로 각각 판정해 견주어라. (다) 그렇다면 언제나 한쪽 꼬리로 하는 편이 이득인가.

풀이 보기

(가) 한쪽 꼬리 기각 조건은 $z = (\bar{x} - μ_{0}) / SE \leq - 1.645$ 다. 이것을 $μ_{0}$ 에 대해 풀면

$\frac{100 - μ_{0}}{2} \leq - 1.645 ⟺ μ_{0} \geq 100 + 1.645 \times 2 = 103.29$

그러므로 기각되지 않는 $μ_{0}$ 는 $μ_{0} < 103.29$ 이고, 이것이 한쪽만 막힌 95% 신뢰구간이다.

$(- \infty, 103.29)$

양쪽 꼬리에서 얻었던 $(96.08, 103.92)$ 와 견주면 위쪽 끝이 103.92 에서 103.29 로 내려왔고 아래쪽 끝은 사라졌다. 5%를 한쪽에 몰아 주었으니 그쪽이 더 조여지는 것이 당연하다.

(나) $μ_{0} = 103.5$ 이면 $z = (100 - 103.5) / 2 = - 1.75$ 다.

양쪽 꼬리는 $| - 1.75 | = 1.75 < 1.96$ 이라 기각하지 못한다. 한쪽 꼬리는 $- 1.75 \leq - 1.645$ 라 기각한다. 같은 자료, 같은 유의수준인데 결론이 갈린다.

구간으로 봐도 같다. 103.5 는 $(96.08, 103.92)$ 안이지만 $(- \infty, 103.29)$ 밖이다 ✓

(다) 아니다. 한쪽 꼬리가 이득인 것은 방향을 미리 정했을 때뿐이다. 여기서 얻은 것은 '작은 쪽'에 대한 검정력이고, 대신 큰 쪽은 아무리 커도 기각하지 못한다. $μ_{0} = 90$ 이면 $z = 5$ 인데도 이 검정은 기각하지 않는다.

그래서 규칙이 하나 붙는다. 꼬리는 자료를 보기 전에 정해야 한다. 자료를 본 뒤 나온 방향으로 한쪽 꼬리를 고르면 실제 유의수준이 5%가 아니라 10%가 된다. 11장 마지막 절의 '셈에 들어가지 않은 검정'이 여기서도 그대로 벌어진다.

검정 목록

이제 상황별 검정통계량을 모은다. 하는 일은 모두 같다. $H_{0}$ 아래에서 분포를 아는 양을 만들어 관측값이 얼마나 드문지 재는 것이다.

<검정이 수십 개인 것처럼 보이지만 갈림길은 몇 개뿐이다. 무엇에 대한 주장인가, 표본이 몇 개인가, 모분산을 아는가 — 이 셋에 답하면 칸이 정해진다>[원본 보기]

무엇을	검정통계량	$H_{0}$ 아래의 분포
평균 하나, $σ$ 를 안다	$z = (\bar{x} - μ_{0}) / (σ / \sqrt{n})$	$N (0, 1)$
평균 하나, $σ$ 를 모른다	$t = (\bar{x} - μ_{0}) / (s / \sqrt{n})$	$t (n - 1)$
짝지어진 두 평균	$t = \bar{d} / (s_{d} / \sqrt{n})$	$t (n - 1)$
독립 두 평균, 등분산	$t = ({\bar{x}}_{1} - {\bar{x}}_{2}) / (s_{p} \sqrt{1 / n_{1} + 1 / n_{2}})$	$t (n_{1} + n_{2} - 2)$
독립 두 평균, 이분산	$t = ({\bar{x}}_{1} - {\bar{x}}_{2}) / \sqrt{s_{1}^{2} / n_{1} + s_{2}^{2} / n_{2}}$	$t (ν)$ , $ν$ 는 근사
비율 하나	$z = (\hat{p} - p_{0}) / \sqrt{p_{0} (1 - p_{0}) / n}$	$N (0, 1)$
분산 하나	$χ^{2} = (n - 1) s^{2} / σ_{0}^{2}$	$χ^{2} (n - 1)$
분산 두 개	$F = s_{1}^{2} / s_{2}^{2}$	$F (n_{1} - 1, n_{2} - 1)$
적합도·독립성	$χ^{2} = \sum (O - E)^{2} / E$	$χ^{2}$ , 자유도는 아래 참조

두 곳만 따로 짚는다. 비율 검정의 분모에는 $\hat{p}$ 가 아니라 $p_{0}$ 가 들어간다. $H_{0}$ 아래의 분포를 구하는 것이므로 $H_{0}$ 가 말하는 값을 써야 한다. 10장의 신뢰구간에서 $\hat{p}$ 를 썼던 것과 다르며, 여기서 둘을 섞는 것이 흔한 실수다.

그리고 이분산일 때의 자유도는 다음 근사식으로 정한다(웰치의 방법). 정수가 아니면 내림해 안전하게 쓴다.

$ν \approx \frac{{(\frac{s_{1}^{2}}{n_{1}} + \frac{s_{2}^{2}}{n_{2}})}^{2}}{\frac{(s_{1}^{2} / n_{1})^{2}}{n_{1} - 1} + \frac{(s_{2}^{2} / n_{2})^{2}}{n_{2} - 1}}$

평균에 대한 검정

예제 133

어떤 훈련의 효과를 보려고 8명에게 훈련 앞뒤로 같은 검사를 실시해 차이(뒤 − 앞)를 얻었다. $2, - 1, 3, 4, 0, 2, 5, 1$ 이다. 훈련이 점수를 올렸다고 말할 수 있는지 유의수준 5%에서 검정하라. $t_{0.05} (7) = 1.895$ , $t_{0.01} (7) = 2.998$ 이다.

풀이 보기

같은 사람을 두 번 재었으므로 짝지어진 자료다. 차이를 만들어 한 표본 문제로 줄인다. $H_{0} : μ_{d} = 0$ , $H_{1} : μ_{d} > 0$ 으로 한쪽 꼬리다.

$\sum d_{i} = 16 \Rightarrow \bar{d} = 2.0, \sum d_{i}^{2} = 60$

$s_{d}^{2} = \frac{\sum d_{i}^{2} - (\sum d_{i})^{2} / n}{n - 1} = \frac{60 - 32}{7} = 4 \Rightarrow s_{d} = 2$

$t = \frac{\bar{d}}{s_{d} / \sqrt{n}} = \frac{2.0}{2 / \sqrt{8}} = \frac{2.0}{0.707} = 2.83$

자유도 7 이고 한쪽 꼬리 5% 점이 1.895 이므로 $2.83 > 1.895$ , 기각한다. 1% 점 2.998 보다는 작으므로 $p$ 값은 0.01 과 0.05 사이다.

짝지음의 값어치를 확인해 두자. 만약 두 집단을 독립으로 보아 검정했다면 개인차가 분모의 흩어짐에 그대로 남아 훨씬 큰 표준오차를 얻었을 것이다. 짝지음은 개인차라는 잡음을 차를 만드는 순간 지운다.

다만 결론의 범위를 조심해야 한다. 대조군이 없으므로 이 2점이 훈련 때문인지 "같은 검사를 두 번 치러 익숙해진 것" 때문인지 이 자료로는 가릴 수 없다.

예제 134

10장에서 다룬 두 반의 자료다. 1반은 $n_{1} = 10, {\bar{x}}_{1} = 82.4, s_{1} = 4.2$ , 2반은 $n_{2} = 12, {\bar{x}}_{2} = 78.1, s_{2} = 3.8$ 이다. 두 모분산이 같다고 보고 $H_{0} : μ_{1} = μ_{2}$ 를 양쪽 꼬리로 검정하라. $t_{0.025} (20) = 2.086$ , $t_{0.005} (20) = 2.845$ 다.

풀이 보기

10장에서 합동분산과 표준오차를 이미 구했다. $s_{p} = 3.985$ , $SE = 1.706$ 이다.

$t = \frac{{\bar{x}}_{1} - {\bar{x}}_{2}}{SE} = \frac{4.3}{1.706} = 2.52$

자유도 20 이고 양쪽 2.5% 점이 2.086 이므로 $2.52 > 2.086$ , 기각한다. 0.5% 점 2.845 보다는 작으므로 $p$ 값은 0.01 과 0.05 사이다.

10장의 신뢰구간과 맞춰 보자. 그때 $μ_{1} - μ_{2}$ 의 95% 신뢰구간이 $(0.74, 7.86)$ 으로 0 을 품지 않았다. 같은 판정이다. 대응이 여기서도 성립한다.

그런데 신뢰구간이 알려 주는 것이 더 많다. 검정은 "차이가 0 은 아니다"까지만 말하지만 구간은 "0.7점에서 7.9점 사이"라고 말한다. 차이가 있다는 것만 알고 크기는 거의 모르는 상태임을 검정 결과만으로는 알 수 없다.

가정도 점검한다. $s_{1} / s_{2} = 1.11$ 로 등분산이 무리하지 않고, 두 표본이 독립이라는 것과 두 모집단이 정규분포라는 것이 남은 가정이다. $n$ 이 10과 12로 작으니 정규성이 크게 어긋나면 결론을 믿을 수 없다.

비율과 분산에 대한 검정

예제 135

어떤 정책에 대해 400명을 조사해 168명이 찬성했다. $H_{0} : p = 0.5$ , $H_{1} : p \neq 0.5$ 를 유의수준 1%에서 검정하라. 8장의 표준정규표를 쓴다.

풀이 보기

표본비율은 $\hat{p} = 168 / 400 = 0.42$ 다. 검정통계량의 분모에는 $H_{0}$ 가 말하는 $p_{0} = 0.5$ 를 넣는다.

${SE}_{0} = \sqrt{\frac{0.5 \times 0.5}{400}} = \sqrt{0.000625} = 0.025$

$z = \frac{0.42 - 0.50}{0.025} = - 3.2$

기각역은 $| z | \geq 2.576$ 이고 $3.2 > 2.576$ 이므로 기각한다. $p$ 값은 표에서 $Φ (3.00) = 0.9987$ 이므로 $2 (1 - Φ (3.2)) < 2 (0.0013) = 0.0026$ 다.

만약 분모에 $\hat{p}$ 를 넣었다면 $\sqrt{0.42 \times 0.58 / 400} = 0.0247$ 로 $z = - 3.24$ 가 되었을 것이다. 결론은 같지만 검정에서는 $p_{0}$ 를, 신뢰구간에서는 $\hat{p}$ 를 쓰는 것이 원칙이다. 검정은 $H_{0}$ 아래의 분포가 필요하고, 신뢰구간에는 그 기준이 없기 때문이다.

근사 조건은 $n p_{0} = n (1 - p_{0}) = 200$ 으로 넉넉하다. 그리고 이 결론이 말하는 것은 "찬성률이 정확히 0.5 는 아니다"까지다. 얼마인지는 10장에서 구한 구간 $(0.372, 0.468)$ 이 말해 준다.

예제 136

두 정규모집단에서 각각 크기 9와 13인 표본을 독립으로 뽑아 $s_{1}^{2} = 42$ , $s_{2}^{2} = 15$ 를 얻었다. 두 모분산이 같은지 유의수준 5%에서 양쪽 꼬리로 검정하라. $F (8, 12)$ 의 오른쪽 꼬리 5% 점은 2.85, 2.5% 점은 3.51 이다.

풀이 보기

9장에서 본 대로 $H_{0} : σ_{1}^{2} = σ_{2}^{2}$ 아래에서 두 표본분산의 비가 곧 검정통계량이 된다. 모수가 지워지기 때문이다.

$F = \frac{s_{1}^{2}}{s_{2}^{2}} = \frac{42}{15} = 2.80 \sim F (8, 12)$

여기가 이 검정의 함정이다. 큰 쪽을 분자에 두었으므로 오른쪽 꼬리만 보게 되는데, 양쪽 꼬리 검정이라면 견줄 값은 5% 점이 아니라 2.5% 점이다. 왼쪽 꼬리의 5% 절반을 이미 "큰 쪽을 분자에" 하는 관례로 처리해 버렸기 때문이다.

$2.80 < 3.51$ 이므로 기각하지 못한다. 두 모분산이 다르다고 말할 근거가 없다.

만약 대립가설이 $H_{1} : σ_{1}^{2} > σ_{2}^{2}$ 인 한쪽 꼬리 검정이었다면 견줄 값이 2.85 다. $2.80 < 2.85$ 로 이때도 간신히 기각하지 못한다. 두 판정이 갈리는 자료였다면 꼬리를 자료를 보고 정하는 것이 얼마나 위험한지 드러났을 것이다.

비가 2.8 이나 되는데 기각이 안 되는 것은 $F$ 분포의 오른쪽 꼬리가 길고 자유도가 작기 때문이다. 분산은 원래 심하게 흔들리는 양이다.

한 가지 덧붙인다. 등분산 검정은 정규성에 아주 민감하다. 그래서 " $F$ 검정으로 등분산을 확인한 뒤 합동분산 $t$ 검정을 쓴다"는 절차는 요즘 권하지 않는다. 애초에 웰치의 방법을 쓰는 편이 안전하다.

적합도와 독립성 검정

마지막 두 검정은 도수를 다룬다. 재료는 관측도수 $O$ 와 $H_{0}$ 아래의 기대도수 $E$ 이고, 검정통계량은 하나다.

$χ^{2} = \sum \frac{(O - E)^{2}}{E}$

기대도수로 나누는 이유는 같은 크기의 차이라도 기대도수가 작을 때 더 놀랍기 때문이다. 기대 10 에서 5 가 어긋나는 것과 기대 1000 에서 5 가 어긋나는 것은 다르다.

그리고 이 검정은 언제나 오른쪽 꼬리만 본다. $χ^{2}$ 이 크다는 것은 어느 쪽으로든 어긋났다는 뜻이므로 방향이 하나뿐이다. 자유도는 두 경우가 다르다.

적합도 검정 — 범주 $k$ 개의 도수가 주어진 분포와 맞는지 본다. 자유도는 $k - 1 - (자료로 추정한 모수의 수)$ 다.
독립성 검정 — $r \times c$ 분할표에서 두 분류가 독립인지 본다. 기대도수는 $E_{i j} = (행합) \times (열합) / (총합)$ 이고 자유도는 $(r - 1) (c - 1)$ 이다.

근사가 쓸 만한 조건도 알아 두어야 한다. 기대도수가 5 보다 작은 칸이 있으면 카이제곱 근사가 나빠진다. 그러면 칸을 합치거나 정확검정을 쓴다.

<두 검정 모두 관측도수와 기대도수의 차를 기대도수로 재서 더한다. 왼쪽은 눈마다 10회를 기대하고, 오른쪽은 행합과 열합에서 기대도수를 만든다>[원본 보기]

예제 137

주사위를 60번 던져 눈마다 나온 횟수를 얻었다. 이 주사위가 공정한지 유의수준 5%에서 검정하라. 8장에서 본 $χ^{2} (5)$ 의 오른쪽 꼬리 5% 점은 11.070 이다.

눈	1	2	3	4	5	6
관측	8	9	14	7	13	9

풀이 보기

$H_{0}$ 는 "여섯 눈의 확률이 모두 $1 / 6$ " 이다. 그 아래에서 기대도수는 눈마다 $60 / 6 = 10$ 이다.

$χ^{2} = \frac{(8 - 10)^{2} + (9 - 10)^{2} + (14 - 10)^{2} + (7 - 10)^{2} + (13 - 10)^{2} + (9 - 10)^{2}}{10} = \frac{4 + 1 + 16 + 9 + 9 + 1}{10} = 4.0$

자유도는 범주 6개에서 1을 뺀 5 다. 추정한 모수가 없으므로 더 뺄 것이 없다.

$4.0 < 11.070$ 이므로 기각하지 못한다. 공정한 주사위에서도 이만한 어긋남은 흔하다.

눈으로 보면 3번이 14회, 5번이 13회로 꽤 많아 보인다. 그런데 검정은 기각하지 않는다. 60번은 여섯 범주를 판정하기에 적은 표본이기 때문이다. 기대도수 10 에서 표준편차가 대략 $\sqrt{10 \times (5 / 6)} \approx 2.9$ 이므로 14회는 1.4 표준편차 정도일 뿐이다.

자유도를 왜 5로 잡는지도 짚어 두자. 여섯 도수의 합이 60 으로 고정되어 있으므로 다섯 개를 알면 나머지가 정해진다. 10장에서 표본분산의 자유도를 셀 때와 같은 논리다.

예제 138

두 집단에게 같은 질문을 해 찬반을 얻었다. 집단과 찬반이 서로 독립인지 유의수준 1%에서 검정하라. $χ^{2} (1)$ 의 오른쪽 꼬리 5% 점은 3.841, 1% 점은 6.635 다.

	찬성	반대	합
집단 A	50	50	100
집단 B	30	70	100
합	80	120	200

풀이 보기

$H_{0}$ 는 "집단과 찬반이 독립"이다. 3장의 독립 정의에 따르면 그때 각 칸의 확률이 주변확률의 곱이므로, 기대도수는 행합과 열합으로 만들어진다.

$E_{11} = \frac{100 \times 80}{200} = 40, E_{12} = 60, E_{21} = 40, E_{22} = 60$

$χ^{2} = \frac{10^{2}}{40} + \frac{10^{2}}{60} + \frac{10^{2}}{40} + \frac{10^{2}}{60} = 2.5 + 1.667 + 2.5 + 1.667 = 8.33$

자유도는 $(2 - 1) (2 - 1) = 1$ 이다. $8.33 > 6.635$ 이므로 1% 수준에서도 기각한다. 두 집단의 찬성률이 다르다.

자유도가 1 인 이유를 확인해 두자. 행합과 열합이 모두 고정되어 있으면 칸 하나만 정해도 나머지 세 칸이 저절로 정해진다. 자유롭게 움직이는 것이 하나뿐이다.

그리고 이 결론이 말하지 않는 것을 분명히 하자. 검정은 "두 집단의 찬성률이 다르다"까지만 말하고 왜 다른지는 아무것도 말하지 않는다. 집단을 어떻게 나눴는지에 따라 답이 완전히 달라지며, 그것이 12장의 "상관은 인과가 아니다"와 같은 문제다.

다중검정과 재현성

마지막으로 이 장 전체를 흔드는 문제 하나를 짚는다. 유의수준 5%는 검정 하나에 붙는 값이다. 검정을 여러 번 하면 전체로는 훨씬 헐렁해진다. 독립인 검정 $m$ 번에서 $H_{0}$ 가 모두 참인데도 적어도 하나가 유의할 확률은

$1 - (1 - α)^{m}$

이고 $m = 20$ , $α = 0.05$ 이면 $1 - {0.95}^{20} = 0.64$ 다. 아무 효과가 없는데도 "유의한 발견" 하나쯤은 거의 늘 나온다.

<귀무가설이 모두 참인 20번의 검정에서도 0.05 밑으로 내려가는 것이 나온다. 오른쪽 곡선이 검정 횟수에 따라 그 확률이 어떻게 커지는지 보인다>[원본 보기]

대책은 기준을 낮추는 것이다. 가장 단순한 방법이 본페로니 보정으로, 각 검정의 기준을 $α / m$ 로 내린다. $m = 20$ 이면 0.0025 다. 보수적이라 검정력을 크게 잃으므로, 발견을 여럿 건져야 하는 상황에서는 "유의하다고 고른 것들 가운데 위양성의 비율"을 조절하는 거짓발견율(FDR) 방식을 쓴다.

그런데 실제로 더 큰 문제는 셈에 들어가지 않은 검정이다. 자료를 보고 나서 가장 그럴듯해 보이는 하위집단을 고르거나, 결과가 나올 때까지 변수 조합을 바꿔 보거나, 유의한 것만 골라 보고하면 $m$ 이 몇인지 아무도 모른 채 $α$ 만 5%로 적힌다. 앞의 기저율 예제와 합치면 결과가 분명하다. 그럴듯하지 않은 가설을 많이 검정하고 유의한 것만 발표하면 문헌에 위양성이 쌓인다. 그것이 여러 분야에서 재현성 문제로 드러났다. 막는 방법도 정해져 있다. 가설과 분석 계획을 자료를 보기 전에 등록하고, 유의성만이 아니라 효과 크기와 신뢰구간을 보고하며, 검정력을 미리 계산해 표본을 정하고, 무엇보다 재현 연구를 값어치 있는 일로 대우하는 것이다.

예제 139

어떤 처리의 효과를 알아보는 연구에서 주된 결과가 유의하지 않았다. 그래서 자료를 나이·성별·지역 등으로 나눠 10가지 하위집단을 각각 검정했고, 그중 하나에서 $p = 0.03$ 을 얻어 "이 집단에서는 효과가 있다"고 보고했다. 무엇이 문제인가.

풀이 보기

문제는 10번 검정한 사실이 $p$ 값에 들어 있지 않다는 것이다.

하위집단 모두에서 실제로 효과가 없다고 해도 적어도 하나가 유의할 확률은

$1 - {0.95}^{10} = 1 - 0.599 = 0.401$

곧 40% 다. "10번 가운데 하나에서 $p = 0.03$ " 은 우연으로 흔히 벌어지는 일이며, 놀랄 만한 결과가 전혀 아니다.

본페로니로 보정하면 기준이 $0.05 / 10 = 0.005$ 가 되고 $0.03 > 0.005$ 이므로 유의하지 않다.

더 나쁜 점이 있다. 하위집단으로 쪼개면 표본이 작아져 검정력이 떨어진다. 검정력이 낮은 검정에서 나온 유의한 결과는 위양성일 확률이 오히려 높다. 앞의 기저율 계산에서 검정력이 낮아지면 참양성이 줄고 위양성 비율이 올라가는 것과 같은 이야기다.

그러면 이런 분석이 아무 쓸모가 없는가. 아니다. 가설을 만드는 데는 쓸 수 있다. 다만 그것은 "검증했다"가 아니라 "다음 연구에서 확인해 볼 후보를 찾았다"이며, 보고할 때 몇 번을 검정했는지 밝혀야 한다. 가설을 세우는 일과 검증하는 일을 같은 자료로 하면 안 된다는 것이 요점이다.

예제 140

$α = 0.05$ 로 독립인 검정을 $m$ 번 한다. $H_{0}$ 가 모두 참이라 하자. (가) 적어도 하나가 유의할 확률이 절반을 넘는 것은 $m$ 이 몇부터인가. (나) $m = 20$ 에서 본페로니 보정을 하면 그 확률이 정말 0.05 이하로 눌리는지 확인하라. (다) 본페로니가 대신 잃는 것은 무엇인가. $\ln 0.95 = - 0.0513$ , $\ln 2 = 0.693$ 을 쓴다.

풀이 보기

(가) 구하는 것은 $1 - {0.95}^{m} \geq 0.5$ , 곧 ${0.95}^{m} \leq 0.5$ 를 만족하는 가장 작은 $m$ 이다. 양변에 자연로그를 취하면 부등호가 뒤집힌다. $\ln 0.95$ 가 음수이기 때문이다.

$m \ln 0.95 \leq \ln 0.5 ⟺ m \geq \frac{- 0.6931}{- 0.0513} = 13.5$

정수이므로 $m = 14$ 부터다. 확인해 보면 ${0.95}^{14} = e^{- 0.718} = 0.488$ 이라 확률이 0.512 이고, ${0.95}^{13} = e^{- 0.667} = 0.513$ 이라 확률이 0.487 로 아직 절반이 안 된다 ✓

검정 열네 번이면 동전 던지기가 된다. 논문 하나에 표가 서너 개만 있어도 검정은 금세 열 번을 넘는다.

(나) 각 검정의 기준을 $α / m = 0.05 / 20 = 0.0025$ 로 내린다. 그러면 적어도 하나가 유의할 확률은

$1 - (1 - 0.0025)^{20} = 1 - e^{20 \times (- 0.0025)} = 1 - e^{- 0.05} = 1 - 0.9512 = 0.0488$

0.05 이하다 ✓ 보정하지 않았을 때의 0.64 와 견주면 하는 일이 분명하다. 정확히 0.05 가 아니라 조금 밑인 것은 본페로니가 "적어도 하나"를 각 확률의 합으로 위에서 눌러 잡는 방식이기 때문이고, 그래서 언제나 안전한 쪽으로 틀린다.

(다) 잃는 것은 검정력이다. 기준이 0.05 에서 0.0025 로 스무 배 엄해졌으므로 실제로 있는 효과도 함께 놓친다. 앞 절의 표본 크기 식에서 $z_{α}$ 가 1.645 에서 2.81 로 오르므로, 같은 검정력을 유지하려면 표본을 크게 늘려야 한다.

그래서 검정이 수백 수천 개인 상황(유전자 발현 같은)에서는 본페로니가 사실상 아무것도 찾지 못하게 만든다. 그때 쓰는 것이 "유의하다고 고른 것들 가운데 위양성의 비율"을 조절하는 거짓발견율 방식이다. 무엇을 지킬 것인가가 다르다. 본페로니는 위양성이 하나라도 나올 확률을 지키고, 거짓발견율은 발견 목록의 오염도를 지킨다.

11장 정리

이름	내용
귀무가설	등호를 담는 쪽. 이 가정 아래에서만 검정통계량의 분포를 구할 수 있다
결론의 표현	기각한다 / 기각하지 못한다. ‘채택한다’ 는 쓰지 않는다
1종 오류	$H_{0}$ 가 참인데 기각. 확률의 상한이 유의수준 $α$
2종 오류와 검정력	$H_{0}$ 가 거짓인데 기각 못함( $β$ ). 검정력은 $1 - β$
두 오류의 맞바꿈	기각역을 옮기면 반대로 움직인다. 둘을 함께 줄이는 길은 $n$ 을 늘리는 것뿐
$p$ 값	$H_{0}$ 가 참일 때 관측된 것과 같거나 더 극단적인 자료가 나올 확률
$p$ 값이 아닌 것	가설이 참일 확률, 효과의 크기, 재현 확률 — 셋 다 아니다
필요한 표본 크기	$n \geq σ^{2} (z_{α} + z_{β})^{2} / δ^{2}$ . $δ$ 는 잡고 싶은 차이
구간과 검정의 대응	신뢰구간은 기각되지 않는 $μ_{0}$ 들의 모음
평균 검정	$σ$ 를 알면 $z$ , 모르면 $t = (\bar{x} - μ_{0}) / (s / \sqrt{n})$ , 자유도 $n - 1$
두 평균 검정	짝지어졌으면 차이로 한 표본. 독립이면 등분산 여부에 따라 합동분산 또는 웰치
비율 검정	$z = (\hat{p} - p_{0}) / \sqrt{p_{0} (1 - p_{0}) / n}$ . 분모에 $p_{0}$ 를 쓴다
분산 검정	$χ^{2} = (n - 1) s^{2} / σ_{0}^{2}$ , 두 개면 $F = s_{1}^{2} / s_{2}^{2}$
$F$ 검정의 꼬리	큰 쪽을 분자에 두었으면 양쪽 검정에서도 오른쪽 꼬리를 보되 $α / 2$ 점과 견준다
적합도·독립성	$χ^{2} = \sum (O - E)^{2} / E$ . 자유도는 $k - 1 - (추정 모수)$ 와 $(r - 1) (c - 1)$
다중검정	적어도 하나가 유의할 확률 $1 - (1 - α)^{m}$ . 본페로니는 기준을 $α / m$ 로

꼭 챙겨 갈 것은 넷이다.

검정은 귀류법의 확률 버전이다. $H_{0}$ 를 참이라 놓고 자료가 얼마나 드문지 재며, 드물지 않으면 "기각하지 못한다"고만 말한다.
$p$ 값은 자료에 대한 확률이지 가설에 대한 확률이 아니다. 사전확률이 없으면 " $H_{0}$ 가 참일 확률"은 계산할 수 없고, 사전확률이 낮으면 유의한 결과의 대부분이 위양성이 된다.
유의하지 않다는 것은 차이가 없다는 뜻이 아니다. 검정력이 낮으면 있는 차이도 놓친다. 좁은 구간과 넓은 구간을 가르는 것은 검정 결과가 아니라 신뢰구간이다.
검정을 여러 번 하면 유의수준이 무의미해진다. 셈에 들어가지 않은 검정이 있는 순간 $α$ 는 적힌 값이 아니게 된다.

다음 장은 변수 하나에서 둘로 넘어간다. 두 변수가 함께 움직일 때 그 관계를 직선으로 요약하고, 그 직선의 기울기를 이 장의 방법으로 검정한다. 그리고 이 장의 마지막 경고와 같은 성격의 경고가 그 장의 한가운데에 놓인다. 관계를 찾은 것이 원인을 찾은 것은 아니다.

회귀와 상관

11장 마지막에 예고한 대로 이 장은 변수 하나에서 둘로 넘어간다. 지금까지 다룬 자료는 늘 수 하나의 목록이었다. 이제 관측 하나마다 수가 둘 딸려 온다. 학생 한 명에게 공부한 시간과 맞힌 문제 수가 함께 있고, 부품 하나에 온도와 수명이 함께 있다. 자료는 $(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{n}, y_{n})$ 처럼 짝지어진 점 $n$ 개다.

답할 질문은 다섯이다. 왜 두 변수의 관계를 직선으로 요약하려 하는가, 수많은 직선 가운데 어느 것을 고르는가, 고른 직선을 믿어도 되는지 어떻게 확인하는가, 그 직선으로 예측한 값은 얼마나 못 믿을 만한가, 그리고 관계를 찾은 것이 원인을 찾은 것인가. 마지막 물음이 이 장의 고비이고, 11장의 마지막 경고와 같은 성격의 경고가 그 자리에 놓인다.

앞에서 가져오는 것은 6장의 공분산과 상관계수, 그리고 10·11장 전부다. 특히 표준오차, 불편성, 신뢰구간, 11장의 p 값과 $t$ 검정을 그대로 쓴다. 8장의 t 분포와 정규분포도 계속 나온다. 새로 필요한 수학 도구는 미지수가 둘인 함수를 미분하는 것 하나이며, 10장의 최대가능도추정에서 쓴 편미분을 그 자리에서 다시 정의해 쓴다.

산점도에서 출발한다

두 변수 자료를 손에 넣었을 때 가장 먼저 하는 일은 그림을 그리는 것이다. 가로축에 $x$ , 세로축에 $y$ 를 두고 점 $n$ 개를 찍은 그림을 산점도(scatter plot)라 한다. 이 장 전체에서 다음 자료를 쓴다. 학생 다섯 명에게 시험 전날 공부한 시간과 다음날 맞힌 문제 수를 물어 만든 표라고 하자.

학생	A	B	C	D	E
공부 시간 $x$ (단위 $h$ )	1	2	3	4	5
맞힌 문제 수 $y$	3	5	4	8	10

점 다섯 개는 오른쪽 위로 올라가는 띠를 이루지만 한 직선 위에 놓이지는 않는다. $x = 3$ 인 학생만 유독 낮다. 여기서 두 가지를 할 수 있다. 점을 다 지나는 구불구불한 곡선을 그릴 수도 있고, 대세만 잡는 직선 하나를 그릴 수도 있다. 통계학은 뒤쪽을 택하며 이유가 셋이다.

요약이 목적이다. 점 다섯 개를 두 수(기울기와 절편)로 줄이면 관계를 말로 옮길 수 있다. 점을 다 지나는 곡선은 자료를 다시 적은 것일 뿐이어서 아무것도 요약하지 못한다.
기울기가 해석된다. 기울기는 " $x$ 가 1 늘 때 $y$ 가 평균 얼마나 변하는가"이고, 이 문장은 그대로 쓸모가 있으며 단위까지 붙는다(여기서는 시간당 문제 수).
좁은 구간에서는 어떤 매끄러운 관계도 직선에 가깝다. 곡선을 아주 짧게 잘라 보면 직선으로 보인다는 것이 미분의 출발점이었다. 자료 범위가 넓지 않다면 직선 근사가 대체로 쓸 만하다.

셋째 이유가 곧 경고이기도 하다. 자료 범위를 벗어나면 직선 근사가 깨진다. 이 이야기는 예측구간 절에서 다시 한다. 그리고 그림을 그리지 않고 곧장 계산으로 들어가는 것이 이 장에서 가장 흔한 잘못이다. 6장에서 상관계수 $ρ = 0$ 인데도 관계가 뚜렷한 자료를 보았고 회귀에서도 똑같은 일이 벌어진다. 뒤에서 볼 잔차 그림이 그것을 잡아내는 장치다. 이 장 전체가 어떤 순서로 흘러가는지 먼저 지도로 보아 두자.

<계수를 구하는 것은 다섯 단계 가운데 두 번째일 뿐이다. 진단을 건너뛰고 곧장 검정과 예측으로 가는 것이 가장 흔한 잘못이며, 가운데의 되돌아가는 화살표가 그 자리를 가리킨다>[원본 보기]

예제 141

위 표의 자료에서 (가) 직선으로 요약할 만한가, (나) 직선으로 요약하면 무엇을 얻고 무엇을 잃는가 답하라.

풀이 보기

(가) $x$ 가 1에서 5로 커지는 동안 $y$ 는 3에서 10으로 커진다. 중간에 한 번 내려앉지만( $x = 2$ 에서 5, $x = 3$ 에서 4) 점 다섯 개가 한 띠 안에 들어가고 굽은 방향이 한쪽으로 몰려 있지 않으므로 직선으로 요약할 만하다. 만약 점들이 위로 굽은 곡선을 그리고 있었다면 직선은 잘못된 요약이 된다.

(나) 얻는 것은 두 수다. 뒤에서 계산하면 기울기가 1.7 이 나오는데, 이는 "공부 시간이 한 시간 늘 때 맞힌 문제가 평균 1.7개 늘었다"는 문장이 된다. 잃는 것은 개별 학생이다. $x = 3$ 인 학생이 왜 처졌는지는 직선이 말해 주지 않는다.

미리 못 박아 둘 것이 하나 있다. 이 자료로는 "공부를 더 하면 점수가 오른다"는 말을 할 수 없다. 그 이야기는 이 장의 뒷부분에서 절 하나로 다룬다.

예제 142

세 자료가 있다. 모두 $x = 1, 2, 3, 4, 5$ 이고 $y$ 만 다르다. 그림을 그리지 않고 이웃한 두 값의 차이만 훑어서, 각각 직선으로 요약해도 될지 판정하라.

자료	$y$ 값
가	3	5	4	8	10
나	2	5	10	17	26
다	10	14	15	15.5	15.7

풀이 보기

$x$ 가 1씩 고르게 늘고 있으므로, 관계가 직선이라면 $y$ 의 차이도 일정한 값 주위에서 오르내려야 한다. 차이를 적는다.

자료	차이 1→2	2→3	3→4	4→5	판정
가	+2	−1	+4	+2	흔들리지만 방향이 몰려 있지 않다
나	+3	+5	+7	+9	한 방향으로 꾸준히 커진다
다	+4	+1	+0.5	+0.2	한 방향으로 꾸준히 작아진다

(가) 직선으로 요약할 만하다. 차이가 $- 1$ 에서 $+ 4$ 까지 흔들리지만 커지거나 작아지는 추세가 없다. 평균 차이는 $(10 - 3) / 4 = 1.75$ 이고 각 차이가 그 주위에 흩어져 있다. 이것이 이 장에서 쓰는 자료다.

(나) 직선으로 요약하면 안 된다. 차이가 3, 5, 7, 9 로 정확히 2씩 커진다. 이런 자료에 직선을 맞추면 가운데는 아래로, 양 끝은 위로 어긋나는 굽은 잔차가 남는다. 차이의 차이가 일정하다는 것은 이차식이라는 뜻이며, 이 자료는 뒤의 잔차 절에서 다시 만난다. 계산만 하고 그림을 건너뛰면 놓치는 것이 정확히 이런 자료다.

(다) 직선으로 요약하면 안 된다. 차이가 4, 1, 0.5, 0.2 로 줄어 어떤 값에 포화되어 간다. 성장 곡선이나 학습 곡선에서 흔한 모양이며, 직선을 맞추면 왼쪽 끝과 오른쪽 끝의 예측이 모두 크게 빗나간다.

답이 말이 되는지 점검하는 방법이 있다. 굽은 자료라도 범위를 좁히면 직선이 쓸 만해진다. (다)에서 $x = 3, 4, 5$ 만 보면 차이가 1, 0.5, 0.2 가 아니라 0.5 와 0.2 뿐이라 훨씬 평평하다. 앞에서 적은 셋째 이유가 이것이며, 반대로 범위를 벗어나면 깨진다는 경고와 같은 말이다.

다만 차이를 훑는 이 방법은 $x$ 가 고르게 놓여 있을 때만 쓸 수 있다. 일반적으로는 그림을 그리는 것이 언제나 맞는 방법이고, 자료가 많으면 그림 말고는 방법이 없다.

단순선형회귀 모형

직선으로 요약하겠다는 결심을 식으로 적으면 다음이 된다. 이것을 단순선형회귀 모형(simple linear regression model)이라 한다. '단순'은 설명변수가 하나라는 뜻이고 '선형'은 모수에 대해 일차라는 뜻이다.

$Y_{i} = β_{0} + β_{1} x_{i} + ε_{i}, i = 1, 2, \dots, n$

$y$ 쪽을 반응변수(response) 또는 종속변수, $x$ 쪽을 설명변수(explanatory variable) 또는 독립변수라 한다. 어느 쪽을 $y$ 로 둘지는 자료가 정해 주지 않는다. 무엇으로 무엇을 맞히려 하는지가 정한다.
$β_{0}$ (베타 제로)는 절편, $β_{1}$ 은 기울기다. 둘 다 모수이며 우리가 모르는 상수다. 10장의 $μ$ 나 $σ^{2}$ 와 같은 자리에 있다.
$ε_{i}$ (그리스 문자 엡실론)는 오차(error)다. 관측값이 직선에서 벗어난 몫이며 이것이 확률변수다. 오차가 있으므로 $Y_{i}$ 도 확률변수가 되어 대문자로 적는다.
$x_{i}$ 는 대문자로 적지 않는다. 설명변수는 우리가 정하거나 정확히 아는 값으로 본다. 실제로는 $x$ 도 흔들리지만 그 경우까지 다루면 이야기가 훨씬 복잡해지므로, 이 장은 $x$ 를 주어진 값으로 고정한다.

이 모형이 말하는 것을 한 문장으로 옮기면 이렇다. $x$ 가 정해지면 $Y$ 의 평균이 직선 위에 있고 개별 관측은 그 평균 주위로 흩어진다. 기호로는 $E (Y ∣ x) = β_{0} + β_{1} x$ 다. 직선이 지나는 곳은 점들의 한가운데이지 점들 자체가 아니다. 이제 오차에 대한 가정을 적는다. 네 가지이고 넷 다 뒤에서 잔차 그림으로 확인한다.

가정	식으로	깨지면 무엇이 틀리는가
직선성	$E (ε_{i}) = 0$ 이고 평균이 $β_{0} + β_{1} x_{i}$	모형 자체가 틀린다. 기울기 해석이 무의미해진다
등분산성	$V (ε_{i}) = σ^{2}$ 로 $x$ 에 무관하게 일정	추정값은 살아남지만 표준오차와 구간이 틀린다
독립성	$ε_{1}, \dots, ε_{n}$ 이 서로 독립	표준오차가 실제보다 작게 나와 유의성이 부풀려진다
정규성	$ε_{i} \sim N (0, σ^{2})$	$t$ 검정과 구간의 근거가 사라진다. $n$ 이 크면 덜 심각하다

넷을 한 줄로 묶으면 $ε_{i}$ 는 서로 독립이고 모두 $N (0, σ^{2})$ 를 따른다가 된다. 여기서 중요한 구별이 하나 있다. 최소제곱으로 계수를 구하는 데는 정규성이 필요하지 않다. 정규성은 $t$ 검정과 구간을 만들 때만 필요하고, $n$ 이 크면 9장의 중심극한정리가 그 자리를 대신 메워 준다. 등분산성이라는 낯선 말은 "흩어짐의 크기가 어디서나 같다"는 뜻이다. 공부 시간이 1시간인 학생들과 5시간인 학생들의 점수가 같은 폭으로 흩어져야 한다는 요구이며, 값이 커질수록 흩어짐도 커지는 형태로 깨지는 것이 가장 흔하다.

예제 143

어떤 기계에서 원료의 양 $x$ 와 산출량 $y$ 사이에 $Y = 2 + 3 x + ε$ , $ε \sim N (0, 4)$ 인 관계가 성립한다고 하자. (가) $x = 5$ 일 때 $Y$ 의 분포를 적어라. (나) $x$ 를 5에서 6으로 올리면 무엇이 얼마나 변하는가. (다) $β_{0} = 2$ 를 "원료를 넣지 않아도 2가 나온다"로 읽어도 되는가.

풀이 보기

(가) $x$ 를 고정하면 $2 + 3 x$ 는 상수이고 $ε$ 만 확률변수다. 5장의 $E (a X + b)$ · $V (a X + b)$ 규칙에 따라 상수를 더하면 평균은 옮겨지고 분산은 그대로다.

$E (Y ∣ x = 5) = 2 + 15 = 17, V (Y ∣ x = 5) = V (ε) = 4 \Rightarrow Y ∣ x = 5 \sim N (17, 4)$

(나) 평균이 17 에서 20 으로 3 만큼 오른다. 기울기는 평균의 변화량이다. 분산은 4 그대로이며 등분산 가정이 바로 이것을 말한다.

(다) 안 된다. 이유가 둘이다. 첫째, 자료에 $x = 0$ 근처가 없으면 그 자리의 직선은 본 적 없는 곳으로 늘린 것이다. 둘째, $β_{0}$ 는 자료에 맞춘 직선이 세로축을 만나는 높이일 뿐 물리적 뜻을 갖지 않을 때가 많다. 절편을 해석하려면 $x = 0$ 이 자료 범위 안에 있어야 한다.

예제 144

다음 세 상황에서 네 가정 가운데 어느 것이 의심되는지 말하라. (가) 같은 기계를 시간 순서대로 100번 관측했고 기계가 하루 종일 조금씩 더워졌다. (나) 소득 $x$ 로 소비 $y$ 를 설명하는데 소득이 큰 쪽에서 점들이 훨씬 넓게 퍼져 있다. (다) $x$ 를 넓은 범위로 바꿔 가며 관측했더니 산점도가 위로 굽은 활 모양이 되었다.

풀이 보기

(가) 독립성이다. 시간 순서가 있는 자료에서 앞의 오차가 뒤의 오차와 닮는 것을 자기상관(autocorrelation)이라 한다. 기계가 서서히 더워졌다면 앞뒤 관측이 함께 밀리고, 이때 표준오차가 실제보다 작게 나와 "유의하다"는 결론이 쉽게 나온다.

(나) 등분산성이다. 값이 커질수록 흩어짐이 커지는 전형적인 모양이며 잔차 그림에서 나팔이 벌어진 꼴로 나타난다.

(다) 직선성이고 가장 심각한 경우다. 나머지 세 가정이 깨지면 계수는 쓸 만하고 표준오차만 고치면 되지만, 직선성이 깨지면 계수 자체가 아무것도 뜻하지 않는다. 세 경우 모두 판정은 식이 아니라 그림으로 하며, (가)처럼 시간 순서가 있는 자료는 잔차를 관측 순서대로도 한 번 찍어 보아야 한다.

최소제곱 — 직선을 고르는 기준

직선 후보는 무한히 많다. 하나를 고르려면 "좋은 직선"의 뜻을 수로 정해야 한다. 후보 직선을 $y = b_{0} + b_{1} x$ 라 하고 각 점에서 세로 방향으로 얼마나 어긋났는지를 재어, 그 어긋남의 제곱을 모두 더한 것이 다음이다.

$Q (b_{0}, b_{1}) = \sum_{i = 1}^{n} {(y_{i} - b_{0} - b_{1} x_{i})}^{2}$

이 $Q$ 를 가장 작게 하는 $b_{0}, b_{1}$ 을 고르는 것이 최소제곱법(method of least squares)이고, 그렇게 얻은 값을 ${\hat{β}}_{0}$ , ${\hat{β}}_{1}$ 로 적는다. 모자표는 10장에서와 같은 뜻, 곧 "추정한 것"이다.

<최소제곱이 줄이는 것은 점과 직선 사이의 최단거리가 아니라 세로 거리다. x 로 y 를 맞히는 것이 목적이기 때문이며, 잔차의 합은 어느 직선에서든 0 이 되므로 그냥 더해서는 직선을 고를 수 없다>[원본 보기]

두 가지 선택을 왜 그렇게 했는지 짚어 둔다. 세로 거리를 쓰는 것은 우리 목적이 $x$ 로 $y$ 를 맞히는 것이고 $x$ 는 정확히 안다고 가정했기 때문이다. 틀릴 수 있는 것은 $y$ 뿐이므로 $y$ 방향으로만 재며, 이 선택 때문에 $x$ 와 $y$ 의 역할을 바꾸면 다른 직선이 나온다. 제곱을 쓰는 것은 어긋남을 그냥 더하면 양수와 음수가 서로 지워 어떤 직선에서도 거의 0 이 되기 때문이다. 절댓값을 더하는 방법도 쓰이지만 절댓값은 꺾인 점에서 미분되지 않아 답이 식으로 나오지 않는다. 제곱을 쓰면 미분이 되고 답이 닫힌 식으로 나오는데, 대가는 제곱이 큰 어긋남을 크게 벌준다는 것이며 이상점 하나에 직선이 끌려간다. 이 대가는 이 장의 뒤에서 그림으로 확인한다.

미분으로 유도한다

$Q$ 는 미지수가 둘인 함수다. 미지수가 하나였다면 미분해서 0 으로 놓으면 끝이었다. 둘일 때는 10장에서 쓴 방법을 그대로 쓴다. 한 미지수에 대해 미분할 때 나머지를 상수로 둔다. 이것을 편미분(partial derivative)이라 하고 $\partial Q / \partial b_{0}$ 처럼 적으며 계산 규칙은 보통 미분과 똑같다. 최소인 자리에서는 두 편미분이 모두 0 이어야 하므로 방정식이 둘 생긴다.

안쪽을 $u_{i} = y_{i} - b_{0} - b_{1} x_{i}$ 로 보면 $\partial u_{i} / \partial b_{0} = - 1$ 이고 $\partial u_{i} / \partial b_{1} = - x_{i}$ 이므로, 연쇄법칙으로 각각 다음을 얻는다.

$\frac{\partial Q}{\partial b_{0}} = \sum 2 u_{i} (- 1) = - 2 \sum (y_{i} - b_{0} - b_{1} x_{i}) = 0$

$\frac{\partial Q}{\partial b_{1}} = \sum 2 u_{i} (- x_{i}) = - 2 \sum x_{i} (y_{i} - b_{0} - b_{1} x_{i}) = 0$

양변을 $- 2$ 로 나누고 정리하면 미지수 둘에 방정식 둘인 연립방정식을 얻는다. 이것을 정규방정식(normal equations)이라 한다.

$\sum y_{i} = n b_{0} + b_{1} \sum x_{i}, \sum x_{i} y_{i} = b_{0} \sum x_{i} + b_{1} \sum x_{i}^{2}$

첫 식을 $n$ 으로 나누면 $\bar{y} = b_{0} + b_{1} \bar{x}$ 가 되어 곧바로 하나가 풀린다.

${\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}$

이것은 그 자체로 뜻이 있다. 최소제곱 직선은 반드시 점 $(\bar{x}, \bar{y})$ 를 지난다. 이제 이 식을 둘째 정규방정식에 넣는다.

$\sum x_{i} y_{i} = (\bar{y} - b_{1} \bar{x}) (n \bar{x}) + b_{1} \sum x_{i}^{2} = n \bar{x} \bar{y} + b_{1} (\sum x_{i}^{2} - n {\bar{x}}^{2})$

여기서 전개하면 확인되는 두 항등식 $\sum (x_{i} - \bar{x})^{2} = \sum x_{i}^{2} - n {\bar{x}}^{2}$ 와 $\sum (x_{i} - \bar{x}) (y_{i} - \bar{y}) = \sum x_{i} y_{i} - n \bar{x} \bar{y}$ 를 쓴다. 6장의 공분산 계산 공식과 같은 모양이다. 이 두 양에 $y$ 쪽의 짝까지 이름을 붙여 두면 식이 짧아지고, 이 장 내내 쓴다.

$S_{x x} = \sum (x_{i} - \bar{x})^{2}, S_{x y} = \sum (x_{i} - \bar{x}) (y_{i} - \bar{y}), S_{y y} = \sum (y_{i} - \bar{y})^{2}$

그러면 위 식이 $S_{x y} = b_{1} S_{x x}$ 로 줄어들어 답이 나온다.

${\hat{β}}_{1} = \frac{S_{x y}}{S_{x x}}$

이 값이 정말 최소인지도 확인해야 한다. $Q$ 는 제곱의 합이므로 어느 방향으로 가도 위로 열린 이차함수이고 실제로 $\partial^{2} Q / \partial b_{1}^{2} = 2 \sum x_{i}^{2} > 0$ 이다. 절편을 늘 최적으로 맞춰 둔다고 하면 남는 미지수가 기울기 하나뿐인데, 그때 제곱합은 $S (b_{1}) = S_{y y} - 2 b_{1} S_{x y} + b_{1}^{2} S_{x x}$ 라는 기울기의 이차함수가 된다.

<절편을 최적으로 맞춰 두면 잔차제곱합은 기울기의 이차함수가 된다. 위로 열린 포물선이므로 미분해서 0 인 자리가 최솟값 하나뿐이고, 그 값이 식으로 나온다>[원본 보기]

그림에서 두 후보 기울기의 제곱합이 똑같은 것에 주목하라. 포물선은 최소를 중심으로 좌우 대칭이므로 최소에서 같은 거리만큼 어긋난 두 기울기는 벌점이 같다. 그림의 라벨은 모자를 씌우기 어려워 ${\hat{β}}_{0}, {\hat{β}}_{1}$ 을 $b_{0}, b_{1}$ 로 적었다.

예제 145

이 장의 자료로 ${\hat{β}}_{0}$ 과 ${\hat{β}}_{1}$ 을 구하고 회귀직선을 적어라. 그리고 기울기의 뜻을 단위와 함께 말하라.

풀이 보기

필요한 것은 두 평균과 $S_{x x}$ , $S_{x y}$ 다. $\bar{x} = 15 / 5 = 3$ , $\bar{y} = 30 / 5 = 6$ 이고 편차를 표로 만들어 두면 실수가 줄어든다.

	A	B	C	D	E	합
$x_{i} - \bar{x}$	−2	−1	0	1	2	0
$y_{i} - \bar{y}$	−3	−1	−2	2	4	0
두 편차의 곱	6	1	0	2	8	$S_{x y} = 17$
$(x_{i} - \bar{x})^{2}$	4	1	0	1	4	$S_{x x} = 10$

${\hat{β}}_{1} = \frac{17}{10} = 1.7, {\hat{β}}_{0} = 6 - 1.7 \times 3 = 0.9$

회귀직선은 $\hat{y} = 0.9 + 1.7 x$ 다. 모자는 "직선이 내놓는 값"이라는 뜻이며 관측된 $y$ 와 구별해야 한다. 기울기의 뜻은 공부 시간이 한 시간 늘 때 맞힌 문제 수가 평균 1.7개 늘었다이고 단위는 시간당 문제 수다.

답이 말이 되는가. $y$ 가 3에서 10까지, $x$ 가 1에서 5까지 움직였으니 대략 $7 / 4 = 1.75$ 정도의 기울기를 짐작할 수 있고 1.7 은 거기에 맞는다. 앞의 이차함수로 검산하면 $S (1.7) = 34 - 57.8 + 28.9 = 5.1$ 인데 $b_{1}$ 을 1.0 이나 2.4 로 두면 둘 다 10.0 으로 더 크다. 최소가 1.7 에 있다. 편차의 합이 두 줄 모두 0 인 것도 확인해 두자. 편차의 합은 언제나 0 이고 이것이 다음 예제의 출발점이다.

증명

최소제곱 추정량의 세 가지 성질을 증명하라. (가) 잔차 $e_{i} = y_{i} - {\hat{y}}_{i}$ 의 합은 0 이다. (나) $\sum x_{i} e_{i} = 0$ 이다. (다) ${\hat{β}}_{1}$ 은 $β_{1}$ 의 불편추정량이다.

풀이 보기

(가)와 (나)는 정규방정식을 다시 읽은 것일 뿐이다. 첫 정규방정식은 $\sum (y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i}) = 0$ 이었고 괄호 안이 바로 $e_{i}$ 이므로 $\sum e_{i} = 0$ 이다. 둘째 정규방정식은 $\sum x_{i} (y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i}) = 0$ 이므로 $\sum x_{i} e_{i} = 0$ 이다. ■ (가)가 말하는 것은 잔차의 크기를 재려면 제곱하거나 절댓값을 씌워야 한다는 것이다. 그냥 더하면 무조건 0 이므로 정보가 없다. 두 성질은 뒤에서 분산 분해의 교차항이 0 임을 보일 때 그대로 쓰인다.

(다)를 보이려면 ${\hat{β}}_{1}$ 을 $Y_{i}$ 들의 일차식으로 다시 적는 것이 요령이다. $\sum (x_{i} - \bar{x}) \bar{Y} = \bar{Y} \sum (x_{i} - \bar{x}) = 0$ 이므로

${\hat{β}}_{1} = \frac{\sum (x_{i} - \bar{x}) (Y_{i} - \bar{Y})}{S_{x x}} = \frac{\sum (x_{i} - \bar{x}) Y_{i}}{S_{x x}} = \sum c_{i} Y_{i}, c_{i} = \frac{x_{i} - \bar{x}}{S_{x x}}$

가중치 $c_{i}$ 는 $x$ 만으로 만들어진 상수이고 $\sum c_{i} = 0$ , $\sum c_{i} x_{i} = S_{x x} / S_{x x} = 1$ 이다. 기댓값의 선형성으로

$E ({\hat{β}}_{1}) = \sum c_{i} E (Y_{i}) = \sum c_{i} (β_{0} + β_{1} x_{i}) = β_{0} \sum c_{i} + β_{1} \sum c_{i} x_{i} = β_{1}$

그러므로 불편이다. ■ 여기서 쓴 가정은 직선성뿐이고 정규성은 쓰지 않았다. 같은 표현으로 분산도 곧 얻는다. 관측이 독립이고 분산이 모두 $σ^{2}$ 이므로 6장의 "독립이면 분산이 더해진다"에 따라

$V ({\hat{β}}_{1}) = \sum c_{i}^{2} σ^{2} = σ^{2} \frac{\sum (x_{i} - \bar{x})^{2}}{S_{x x}^{2}} = \frac{σ^{2}}{S_{x x}}$

이 식이 기울기 검정의 출발점이며, 분모에 $S_{x x}$ 가 있다는 사실이 뒤에서 실험 설계의 지침이 된다.

잔차로 가정을 확인한다

계수를 구했으니 이제 믿어도 되는지를 본다. 그 재료가 잔차이며 용어를 먼저 구별한다. 오차 $ε_{i} = Y_{i} - (β_{0} + β_{1} x_{i})$ 는 참 직선에서 벗어난 몫이고 모수가 들어 있으므로 볼 수 없다. 잔차 $e_{i} = y_{i} - {\hat{y}}_{i}$ 는 적합한 직선에서 벗어난 몫이고 계산할 수 있다.

잔차는 오차의 추정값이므로 오차에 대한 가정은 잔차를 보고 판정한다. 방법은 그림이다. 가로축에 ${\hat{y}}_{i}$ (또는 $x_{i}$ ), 세로축에 $e_{i}$ 를 찍는다. 가정이 다 맞다면 이 그림은 0 을 중심으로 폭이 일정한, 아무 패턴 없는 구름이어야 한다. 패턴이 보이면 그 모양이 어느 가정이 깨졌는지 알려 준다.

<왼쪽 위가 좋은 잔차다. 나머지 네 그림은 각각 곡선 · 나팔 · 이상점 · 추세이며, 어느 것도 잔차제곱합이나 결정계수만 보아서는 드러나지 않는다>[원본 보기]

나쁜 잔차는 네 유형이고 그림의 오른쪽 아래에 처방까지 적혀 있다. 곡선 추세가 보이면 직선성이 깨진 것이므로 $x^{2}$ 항을 더하거나 $\log x$ 등으로 변수를 바꾼다. 오른쪽으로 갈수록 퍼지면(나팔) 등분산성이 깨진 것이므로 $y$ 를 변환하거나 가중최소제곱을 쓴다. 점 하나가 멀리 튀면 이상점이거나 기록 오류이므로 자료를 되짚어 보고 섣불리 지우지 않는다. 관측 순서에 따라 밀리면 독립성이 깨진 것이므로 빠진 변수를 찾거나 시계열 방법으로 옮긴다.

흩어짐의 크기 $σ^{2}$ 도 잔차에서 추정한다. 잔차제곱합을 $n - 2$ 로 나눈다.

$SSE = \sum e_{i}^{2}, s^{2} = \frac{SSE}{n - 2}$

왜 $n - 2$ 인가. 10장에서 표본분산이 $n - 1$ 로 나누는 이유를 증명했다. 편차를 평균에서 재는 순간 "합이 0"이라는 제약이 하나 생겨 자유롭게 움직이는 수가 하나 줄었기 때문이다. 여기서는 잔차에 제약이 둘 걸려 있다. 앞 예제에서 증명한 $\sum e_{i} = 0$ 과 $\sum x_{i} e_{i} = 0$ 이다. 달리 말하면 모수 두 개를 자료에서 추정했으므로 자유도가 둘 줄었다. 그렇게 나누면 $E (s^{2}) = σ^{2}$ 가 되어 불편추정량이 된다. $s$ 를 잔차표준오차라 부르며 $y$ 와 같은 단위를 갖는다.

예제 147

이 장의 자료에서 잔차를 모두 구하고, 합이 0 인지 확인한 뒤 $s^{2}$ 과 $s$ 를 구하라.

풀이 보기

회귀직선 $\hat{y} = 0.9 + 1.7 x$ 에 $x$ 를 넣어 $\hat{y}$ 를 만들고 관측값에서 뺀다.

	A	B	C	D	E	합
$\hat{y}$	2.6	4.3	6.0	7.7	9.4	30.0
$e = y - \hat{y}$	0.4	0.7	−2.0	0.3	0.6	0.0
$e^{2}$	0.16	0.49	4.00	0.09	0.36	5.10

잔차의 합이 0 이므로 앞의 증명이 맞다. 그리고 $SSE = 5.10$ 이므로

$s^{2} = \frac{5.10}{5 - 2} = 1.70, s = \sqrt{1.70} = 1.304$

답이 말이 되는가. $s$ 는 "직선 주위로 문제 수가 대략 1.3개 폭으로 흩어진다"는 뜻이며 단위는 문제 수다. 관측된 $y$ 가 3에서 10까지 퍼져 있으니 그보다 훨씬 작은 값이 나온 것이 맞다.

잔차를 눈으로 보면 넷은 $+ 0.3$ 에서 $+ 0.7$ 사이인데 하나만 $- 2.0$ 이다. 점이 다섯뿐이라 판정하기 어렵지만 자료가 더 있다면 이 점을 되짚어 볼 만하다. 이 한 점이 $SSE$ 의 4.00/5.10, 곧 78%를 혼자 만들고 있다.

예제 148

다음은 다른 실험에서 얻은 자료다. 회귀직선을 구하고 잔차를 계산한 뒤, 결정계수가 0.96 으로 매우 높은데도 이 모형을 쓰면 안 되는 이유를 말하라. $S_{y y} = 374$ 임을 이용해도 된다.

$x$	1	2	3	4	5
$y$	2	5	10	17	26

풀이 보기

$\bar{x} = 3$ , $\bar{y} = 60 / 5 = 12$ 이므로

$S_{x y} = (- 2) (- 10) + (- 1) (- 7) + 0 (- 2) + 1 (5) + 2 (14) = 60, S_{x x} = 10 \Rightarrow {\hat{β}}_{1} = 6, {\hat{β}}_{0} = 12 - 18 = - 6$

$\hat{y} = - 6 + 6 x$ 이므로 $\hat{y}$ 가 차례로 $0, 6, 12, 18, 24$ 이고 잔차는 $2, - 1, - 2, - 1, 2$ 다. 따라서 $SSE = 4 + 1 + 4 + 1 + 4 = 14$ 이고 결정계수는 $1 - 14 / 374 = 0.963$ 으로 매우 높다.

그런데 잔차를 보라. 양수 · 음수 · 음수 · 음수 · 양수로 U 자를 그린다. 무작위한 구름이 아니라 뚜렷한 패턴이며 직선성 가정이 깨졌다는 신호다. 실제로 이 자료는 $y = x^{2} + 1$ 을 정확히 따른다. 직선이 그 곡선을 자른 것이므로 가운데는 아래로, 양쪽 끝은 위로 어긋난다.

여기서 이 절의 결론이 나온다. 결정계수가 크다는 것이 모형이 옳다는 뜻이 아니다. 굽은 관계에 직선을 맞춰도 방향만 맞으면 결정계수는 얼마든지 커진다. 이 모형으로 $x = 6$ 을 예측하면 30 이 나오는데 참값은 37 이다. 처방은 잔차 그림이 알려 준 대로다. $x^{2}$ 항을 더하거나, 여기서는 $y$ 를 $x^{2}$ 에 대해 회귀하면 잔차가 0 인 완전한 적합을 얻는다. '선형'회귀는 모수에 대해 일차라는 뜻이므로 설명변수를 $x^{2}$ 로 바꾸는 것은 여전히 선형회귀다.

결정계수와 분산 분해

직선이 자료를 얼마나 잘 설명했는지를 하나의 수로 재고 싶다. 출발점은 $y$ 가 애초에 얼마나 흩어져 있었는가다. 그 흩어짐이 $S_{y y}$ 이고 회귀에서는 이것을 총제곱합 $SST$ 라 부른다. 이제 한 점의 편차를 두 조각으로 쪼갠다.

$\underset{전체}{\underset{⏟}{y_{i} - \bar{y}}} = \underset{직선이 설명한 몫}{\underset{⏟}{({\hat{y}}_{i} - \bar{y})}} + \underset{남은 몫}{\underset{⏟}{(y_{i} - {\hat{y}}_{i})}}$

양변을 제곱해서 모두 더하면 놀라운 일이 벌어진다. 교차항이 사라진다.

$\sum (y_{i} - \bar{y})^{2} = \sum ({\hat{y}}_{i} - \bar{y})^{2} + \sum (y_{i} - {\hat{y}}_{i})^{2} + 2 \sum ({\hat{y}}_{i} - \bar{y}) e_{i}$

마지막 항을 보자. 직선이 $(\bar{x}, \bar{y})$ 를 지나므로 ${\hat{y}}_{i} - \bar{y} = {\hat{β}}_{1} (x_{i} - \bar{x})$ 이고

$\sum ({\hat{y}}_{i} - \bar{y}) e_{i} = {\hat{β}}_{1} \sum (x_{i} - \bar{x}) e_{i} = {\hat{β}}_{1} (\sum x_{i} e_{i} - \bar{x} \sum e_{i}) = 0$

두 정규방정식이 그대로 쓰였다. 그래서 제곱합이 깔끔하게 둘로 쪼개진다.

$SST = SSR + SSE$

$SSR = \sum ({\hat{y}}_{i} - \bar{y})^{2}$ 은 회귀제곱합으로 직선이 설명한 몫이고, $SSE = \sum e_{i}^{2}$ 은 잔차제곱합으로 설명하지 못한 몫이다. 그러면 "설명한 비율"을 정의할 수 있고 이것이 결정계수(coefficient of determination)다.

$R^{2} = \frac{SSR}{SST} = 1 - \frac{SSE}{SST}$

계산에는 $SSR = {\hat{β}}_{1} S_{x y} = S_{x y}^{2} / S_{x x}$ 를 쓰는 것이 빠르다. 성질은 셋이다. $0 \leq R^{2} \leq 1$ , 단위가 없다, 그리고 $R^{2} = 1$ 은 모든 점이 직선 위에 있다는 뜻이다.

<한 점의 편차가 두 조각으로 쪼개지고, 제곱해 더해도 교차항이 0 이어서 그대로 쪼개진다. 오른쪽 아래 띠에서 초록이 차지하는 몫이 결정계수다>[원본 보기]

해석에서 조심할 것을 미리 적어 둔다. $R^{2}$ 가 크다는 것은 (1) 인과를 뜻하지 않고, (2) 모형이 옳다는 뜻도 아니며, (3) 예측이 정확하다는 뜻도 아니다. 앞 절의 곡선 자료가 (2)의 반례였다. 거꾸로 $R^{2}$ 가 작아도 모형은 옳을 수 있다. 그때는 관계가 없는 것이 아니라 개체마다 흩어짐이 클 뿐이며, 기울기는 여전히 뜻을 갖고 유의할 수도 있다.

예제 149

이 장의 자료에서 $SST, SSR, SSE$ 를 구해 분해가 성립하는지 확인하고 $R^{2}$ 을 해석하라.

풀이 보기

$y$ 의 편차가 $- 3, - 1, - 2, 2, 4$ 였으므로 $SST = 9 + 1 + 4 + 4 + 16 = 34$ 이고, 회귀제곱합은 빠른 식으로 구한다. 잔차제곱합은 앞 예제에서 5.10 이었다.

$SSR = {\hat{β}}_{1} S_{x y} = 1.7 \times 17 = 28.9 \Rightarrow SSR + SSE = 28.9 + 5.1 = 34.0 = SST$

분해가 성립한다. 그러므로 $R^{2} = 28.9 / 34 = 0.85$ 이고 해석은 이렇다. 맞힌 문제 수의 흩어짐 가운데 85%가 공부 시간의 차이로 설명된다. 남은 15%는 이 모형이 담지 못한 것들이며, 앞에서 본 대로 그 대부분이 $x = 3$ 인 학생 한 명에게서 온다.

하지 말아야 할 해석도 분명히 하자. "공부 시간이 점수의 85%를 결정한다"는 틀린 문장이다. 이 자료는 관측자료이고, 설명된다는 것과 원인이라는 것은 다르다.

예제 150

(가) 이 장의 자료에서 공부 시간의 단위를 시간에서 분으로 바꾸면 기울기와 $R^{2}$ 이 각각 어떻게 되는가. (나) $x = 1, 2, 3, 4$ 에 $y = 3, 5, 5, 3$ 인 자료의 $R^{2}$ 을 구하고, 그 값을 "관계가 없다"로 읽어도 되는지 답하라.

풀이 보기

(가) 단위를 바꾸는 것은 $x^{'} = 60 x$ 다. 편차도 60배가 되므로

$S_{x^{'} x^{'}} = 60^{2} S_{x x} = 3600 \times 10 = 36 000, S_{x^{'} y} = 60 S_{x y} = 60 \times 17 = 1020$

${\hat{β}}_{1}^{'} = \frac{1020}{36 000} = 0.0283 = \frac{1.7}{60}$

기울기는 60분의 1이 되었다. 당연하다. "시간당 1.7문제"와 "분당 0.0283문제"는 같은 말이다. 이제 결정계수를 보자.

$SSR = \frac{S_{x^{'} y}^{2}}{S_{x^{'} x^{'}}} = \frac{1020^{2}}{36 000} = \frac{1 040 400}{36 000} = 28.9$

$SST = S_{y y} = 34$ 은 $y$ 만 쓰므로 그대로다. 따라서 $R^{2} = 28.9 / 34 = 0.85$ 로 변하지 않았다 ✓ 분자와 분모에서 60이 서로 지워진 것이며, 이것이 " $R^{2}$ 은 단위가 없다"는 성질이다. 기울기는 단위에 딸려 있고 결정계수는 그렇지 않다.

(나) $\bar{x} = 2.5$ , $\bar{y} = 4$ 이므로

$S_{x y} = (- 1.5) (- 1) + (- 0.5) (1) + (0.5) (1) + (1.5) (- 1) = 1.5 - 0.5 + 0.5 - 1.5 = 0$

${\hat{β}}_{1} = 0$ 이라 회귀직선이 $\hat{y} = 4$ 인 수평선이다. 그러면 모든 ${\hat{y}}_{i}$ 가 $\bar{y}$ 와 같으므로 $SSR = 0$ 이고

$SST = 1 + 1 + 1 + 1 = 4, SSE = 4, R^{2} = 0$

그런데 자료를 보라. $y$ 가 3, 5, 5, 3 으로 가운데가 솟은 뚜렷한 모양이다. 관계가 없기는커녕 아주 규칙적이다. 직선이 잡지 못했을 뿐이다.

그러므로 $R^{2} = 0$ 은 '관계가 없다'가 아니라 '직선 관계가 없다'는 뜻이다. 6장에서 상관계수 $ρ = 0$ 인데 관계가 뚜렷한 자료를 본 것과 같은 이야기이며, 여기서도 처방은 같다. 잔차를 그려 보면 아래·위·위·아래로 굽은 패턴이 그대로 드러난다.

기울기를 검정한다

기울기 1.7 을 얻었다. 그런데 참 기울기가 0 인데도 표본이 우연히 이런 모양이 될 수 있으니 11장의 방법이 필요하다. 재료는 앞에서 이미 다 모았다. $E ({\hat{β}}_{1}) = β_{1}$ 이고 $V ({\hat{β}}_{1}) = σ^{2} / S_{x x}$ 이며, ${\hat{β}}_{1} = \sum c_{i} Y_{i}$ 은 정규분포를 따르는 확률변수들의 일차결합이므로 8장에서 본 대로 그 자체가 정규분포를 따른다. 남은 문제는 $σ^{2}$ 를 모른다는 것이고 이 상황은 10·11장에서 이미 겪었다. $σ$ 를 $s$ 로 바꾸면 정규분포가 $t$ 분포로 바뀐다.

$SE ({\hat{β}}_{1}) = \frac{s}{\sqrt{S_{x x}}}, t = \frac{{\hat{β}}_{1} - β_{1}^{(0)}}{SE ({\hat{β}}_{1})} \sim t (n - 2), 신뢰구간은 {\hat{β}}_{1} \pm t_{α / 2} (n - 2) SE ({\hat{β}}_{1})$

여기서 $β_{1}^{(0)}$ 은 $H_{0}$ 이 주장하는 값이며, 11장에서 $μ_{0}$ 를 쓴 자리에 해당한다. 11장의 꼴 그대로이고 다른 것은 자유도가 $n - 2$ 라는 점뿐이다. $s^{2}$ 를 만들 때 자유도를 둘 썼기 때문이다. 거의 항상 검정하는 것은 $H_{0} : β_{1} = 0$ 이다. 기울기가 0 이라는 것은 $x$ 가 $y$ 의 평균에 대해 아무 말도 해 주지 않는다는 뜻이므로 이 귀무가설은 "직선 관계가 없다"에 해당하며, 11장에서 본 대로 등호가 있는 쪽이 계산의 발판이 되는 자리다. 절편도 같은 방식으로 검정할 수 있고 $SE ({\hat{β}}_{0}) = s \sqrt{1 / n + {\bar{x}}^{2} / S_{x x}}$ 다. 다만 절편의 검정은 대개 쓸모가 없다. $x = 0$ 이 자료 범위 밖이면 그 자리의 값은 애초에 뜻이 없기 때문이다.

표준오차의 식에서 실험 설계의 지침도 읽힌다. 분모에 $S_{x x}$ 가 있으므로 $x$ 를 넓게 벌려 놓을수록 기울기가 정확히 재진다. 다섯 번 관측할 때 $x = 1, 2, 3, 4, 5$ 로 고르면 $S_{x x} = 10$ 이지만 $x = 1, 1, 3, 5, 5$ 로 고르면 $S_{x x} = 16$ 이 되어 표준오차가 $\sqrt{10 / 16} = 0.79$ 배, 곧 21% 줄어든다. 지렛대를 길게 잡는 셈이다. 대신 가운데에 점이 거의 없으면 관계가 직선인지 확인할 길이 없어진다. 그래서 실제 설계는 둘을 절충한다.

예제 151

이 장의 자료에서 $H_{0} : β_{1} = 0$ 을 유의수준 5%에서 양쪽 꼬리로 검정하고 $β_{1}$ 의 95% 신뢰구간을 구하라. $t_{0.025} (3) = 3.182$ , $t_{0.005} (3) = 5.841$ 다.

풀이 보기

앞에서 $s = 1.304$ , $S_{x x} = 10$ 을 구했으므로 표준오차부터 계산한다.

$SE ({\hat{β}}_{1}) = \frac{1.304}{\sqrt{10}} = 0.412, t = \frac{1.7 - 0}{0.412} = 4.12$

자유도는 $n - 2 = 3$ 이다. 양쪽 2.5% 점이 3.182 이므로 $4.12 > 3.182$ , 기각한다. 0.5% 점 5.841 보다는 작으므로 $p$ 값은 0.01 과 0.05 사이다(계산기로 구하면 0.026 이다).

$1.7 \pm 3.182 \times 0.412 = 1.7 \pm 1.312 \Rightarrow (0.39, 3.01)$

구간이 0 을 품지 않으니 11장에서 본 구간과 검정의 대응이 여기서도 성립한다. 그리고 구간이 알려 주는 것이 더 많다. 기울기가 0.39 일 수도 3.01 일 수도 있다는 것, 곧 여덟 배 가까이 벌어진 범위라는 사실이 검정 결과만 보아서는 드러나지 않는다. 점이 다섯뿐이면 이렇게 된다.

절편도 확인해 보자. $SE ({\hat{β}}_{0}) = 1.304 \sqrt{1 / 5 + 9 / 10} = 1.368$ 이므로 $t = 0.9 / 1.368 = 0.66$ 이고 전혀 유의하지 않다. 그런데 이것으로 "절편이 0 이다"라고 말할 이유는 없다. $x = 0$ 은 자료 밖이고 애초에 검정할 값어치가 없는 가설이었다.

예제 152

앞 절에서 본 굽은 자료( $x = 1, \dots, 5$ , $y = 2, 5, 10, 17, 26$ )에서 $H_{0} : β_{1} = 0$ 을 검정하라. ${\hat{β}}_{1} = 6$ , $SSE = 14$ , $S_{x x} = 10$ 이고 $t_{0.025} (3) = 3.182$ , $t_{0.005} (3) = 5.841$ 이다. 그리고 얻은 결과를 어떻게 읽어야 하는지 밝혀라.

풀이 보기

절차는 앞 예제와 한 글자도 다르지 않다.

$s^{2} = \frac{SSE}{n - 2} = \frac{14}{3} = 4.667, s = 2.160, SE ({\hat{β}}_{1}) = \frac{2.160}{\sqrt{10}} = 0.683$

$t = \frac{6 - 0}{0.683} = 8.78$

자유도 3 에서 0.5% 점이 5.841 인데 $8.78 > 5.841$ 이므로 $p < 0.01$ 이다. 아주 강하게 기각된다. 95% 신뢰구간도 적어 보면

$6 \pm 3.182 \times 0.683 = 6 \pm 2.17 \Rightarrow (3.83, 8.17)$

이 장의 원래 자료에서 얻은 $t = 4.12$ 보다 두 배 넘게 큰 값이다. 숫자만 보면 훨씬 좋은 결과처럼 보인다.

그런데 이 자료는 앞에서 직선으로 요약하면 안 된다고 판정한 그 자료다. 잔차가 $2, - 1, - 2, - 1, 2$ 로 U 자를 그렸다. 그러면 이 $t = 8.78$ 은 무엇을 말하는가.

말할 수 있는 것은 하나뿐이다. $y$ 가 $x$ 와 함께 커진다. 말할 수 없는 것이 둘이다. 첫째, " $x$ 가 1 늘 때 $y$ 가 평균 6 늘어난다"는 문장은 어디서도 맞지 않는다. 실제 증가폭은 3 에서 9 까지 자리마다 다르다. 둘째, 신뢰구간 $(3.83, 8.17)$ 이 무엇을 덮고 있다고 말할 수 없다. 모형이 틀렸으므로 '참 기울기 $β_{1}$ ' 이라는 모수 자체가 없다.

여기서 챙길 원칙은 이것이다. 검정과 구간은 모형 가정이 맞다는 전제 아래에서만 뜻을 갖는다. $t$ 값이 크다는 것은 " $β_{1} = 0$ 이 아니다"를 말할 뿐 "직선이 맞다"를 말하지 않으며, 직선성은 검정이 아니라 잔차 그림으로 판정한다. 순서를 뒤집으면 안 되는 이유가 이것이다.

예측 — 두 가지 물음, 두 가지 구간

$x_{0} = 4$ 인 학생에 대해 무엇을 예측하는가. 점추정값은 어느 쪽이든 ${\hat{y}}_{0} = {\hat{β}}_{0} + {\hat{β}}_{1} x_{0}$ 로 같다. 그런데 물음이 둘로 갈리고 이 둘을 섞는 것이 회귀에서 가장 흔한 실수다.

평균에 대한 물음 — "네 시간 공부한 학생들의 평균 점수는 얼마인가". 대상은 모수 $E (Y ∣ x_{0}) = β_{0} + β_{1} x_{0}$ 이고 답은 신뢰구간이다.
개체에 대한 물음 — "네 시간 공부한 이 학생 한 명은 몇 문제를 맞힐까". 대상은 확률변수 $Y_{0}$ 이고 답은 예측구간(prediction interval)이다.

두 구간의 폭은 다음과 같다. 차이는 뿌리 안의 $1 +$ 하나뿐이다.

$평균: {\hat{y}}_{0} \pm t_{α / 2} (n - 2) s \sqrt{\frac{1}{n} + \frac{(x_{0} - \bar{x})^{2}}{S_{x x}}}, 개체: {\hat{y}}_{0} \pm t_{α / 2} (n - 2) s \sqrt{1 + \frac{1}{n} + \frac{(x_{0} - \bar{x})^{2}}{S_{x x}}}$

그 $1$ 이 어디서 왔는지가 이 절의 핵심이다. 개체를 맞힐 때 우리는 두 가지를 모른다. 직선이 어디 있는지 모르고, 그 직선에서 개체가 얼마나 벗어날지도 모른다. 두 불확실성은 독립이므로 분산이 더해진다.

$V (Y_{0} - {\hat{y}}_{0}) = \underset{개체의 흔들림}{\underset{⏟}{σ^{2}}} + \underset{직선 위치의 불확실성}{\underset{⏟}{σ^{2} (\frac{1}{n} + \frac{(x_{0} - \bar{x})^{2}}{S_{x x}})}}$

그래서 예측구간은 언제나 신뢰구간보다 넓다. 결정적인 차이가 하나 더 있다. 표본을 늘리면 신뢰구간은 0 으로 줄어들지만 예측구간은 $\pm t s$ 근처로 줄어들다 멈춘다. 개체의 흔들림 $σ^{2}$ 는 자료를 아무리 모아도 사라지지 않는다. 두 식에 공통으로 들어 있는 $(x_{0} - \bar{x})^{2} / S_{x x}$ 도 읽어 둘 것이 있다. $x_{0}$ 가 $\bar{x}$ 에서 멀어질수록 이 항이 커져 구간이 벌어진다. 직선을 가운데를 축으로 조금 기울여 보면 왜 그런지 보인다. 끝에서 더 크게 움직인다.

<두 띠 모두 x̄ 에서 가장 좁다. 넓은 띠가 예측구간이며 개체 자체의 흔들림을 담기 때문에 표본을 늘려도 좁아지지 않는 몫이 남는다>[원본 보기]

예제 153

이 장의 자료에서 (가) $x_{0} = 4$ 일 때 평균의 95% 신뢰구간과 개체의 95% 예측구간을 구해 견주어라. (나) $x_{0} = 8$ 에 대해 같은 것을 구하고 그 답을 써도 되는지 판단하라. $t_{0.025} (3) = 3.182$ , $s = 1.304$ 다.

풀이 보기

(가) 점추정값은 ${\hat{y}}_{0} = 0.9 + 1.7 \times 4 = 7.7$ 이다. $\bar{x} = 3$ , $S_{x x} = 10$ , $n = 5$ 이므로 뿌리 안이 $1 / 5 + 1 / 10 = 0.3$ 이고 개체 쪽은 여기에 1 을 더한다.

$평균: 7.7 \pm 3.182 \times 1.304 \sqrt{0.3} = 7.7 \pm 2.27 \Rightarrow (5.43, 9.97)$

$개체: 7.7 \pm 3.182 \times 1.304 \sqrt{1.3} = 7.7 \pm 4.73 \Rightarrow (2.97, 12.43)$

폭이 두 배 넘게 벌어졌다. 뜻을 옮기면 "네 시간 공부한 학생들의 평균은 5.4개에서 10.0개 사이"이지만 "다음에 만날 학생 한 명은 3개에서 12개 사이"다. 평균은 꽤 좁혀졌는데 개인은 거의 못 맞힌다. 이것이 회귀로 개인을 예측할 때의 현실이다.

(나) ${\hat{y}}_{0} = 0.9 + 1.7 \times 8 = 14.5$ 이고 뿌리 안이 $0.2 + 25 / 10 = 2.7$ 로 훌쩍 커진다.

$평균: 14.5 \pm 3.182 \times 1.304 \sqrt{2.7} = 14.5 \pm 6.82, 개체: 14.5 \pm 3.182 \times 1.304 \sqrt{3.7} = 14.5 \pm 7.98$

계산은 되지만 이 답을 써서는 안 된다. 자료의 $x$ 는 1에서 5까지였고 8 은 그 밖이다. 자료 범위 밖으로 직선을 늘리는 것을 외삽(extrapolation)이라 하며, 이때 구간의 폭이 커지는 것은 "직선이 그 자리에서도 맞다면"이라는 조건 아래의 이야기일 뿐이다. 직선이 그곳에서 굽었을 가능성은 구간에 전혀 담겨 있지 않다. 상식으로 확인하면 더 분명하다. 문제가 10개뿐인 시험이었다면 14.5개는 불가능한 값인데 식은 그것을 모른다.

예제 154

이 장의 자료에서 $x_{0} = 3$ (곧 $\bar{x}$ )에 대한 평균의 신뢰구간과 개체의 예측구간을 구하고, 앞 예제의 $x_{0} = 4$ · $x_{0} = 8$ 결과와 나란히 놓아 두 구간의 폭이 어떻게 달라지는지 정리하라. $t_{0.025} (3) = 3.182$ , $s = 1.304$ 다.

풀이 보기

${\hat{y}}_{0} = 0.9 + 1.7 \times 3 = 6.0$ 이다. $x_{0} = \bar{x}$ 이므로 뿌리 안의 둘째 항이 0 으로 사라진다.

$\frac{1}{n} + \frac{(x_{0} - \bar{x})^{2}}{S_{x x}} = \frac{1}{5} + 0 = 0.2$

$t s = 3.182 \times 1.304 = 4.149$ 이므로

$평균: 6.0 \pm 4.149 \sqrt{0.2} = 6.0 \pm 1.86 \Rightarrow (4.14, 7.86)$

$개체: 6.0 \pm 4.149 \sqrt{1.2} = 6.0 \pm 4.55 \Rightarrow (1.45, 10.55)$

세 자리를 표로 모은다.

$x_{0}$	평균 구간의 반폭	개체 구간의 반폭	개체 ÷ 평균
3 (= $\bar{x}$ )	1.86	4.55	2.45
4	2.27	4.73	2.08
8 (자료 밖)	6.82	7.98	1.17

읽을 것이 셋이다.

첫째, 두 구간 모두 $\bar{x}$ 에서 가장 좁다. $(x_{0} - \bar{x})^{2}$ 항이 0 이 되기 때문이며, 직선을 가운데를 축으로 조금 기울여 보면 그 자리만 거의 움직이지 않는다는 것이 보인다.

둘째, 멀어질수록 두 구간이 함께 벌어지지만 평균 쪽이 훨씬 빠르게 벌어진다. 마지막 열이 2.45 에서 1.17 로 줄어드는 것이 그 뜻이다. 가까운 곳에서는 개체의 흔들림 $σ^{2}$ 가 폭을 지배하고, 먼 곳에서는 직선이 어디 있는지 모른다는 불확실성이 지배한다.

셋째, $x_{0} = 8$ 의 두 구간이 거의 같아졌다는 것은 좋은 신호가 아니라 경고다. 개체를 맞히는 일과 평균을 맞히는 일이 똑같이 어려워졌다는 뜻이고, 그것은 애초에 그 자리를 예측할 자료가 없다는 말이다. 앞 예제에서 그 답을 쓰지 말라고 한 이유가 표에도 나타난다.

마지막으로 표본을 늘리면 어떻게 되는지 짚어 두자. $x_{0} = \bar{x}$ 에서 평균 쪽 반폭은 $t s / \sqrt{n}$ 이라 $n$ 이 커지면 0 으로 간다. 개체 쪽은 $t s \sqrt{1 + 1 / n}$ 이라 $t s$ 근처에서 멈춘다. 여기서는 대략 $\pm 2.6$ 인데( $n$ 이 크면 $t \approx 2$ ), 자료를 아무리 모아도 개체 예측은 이보다 좁아지지 않는다.

상관계수와 회귀는 같은 것을 다르게 적은 것이다

6장에서 두 변수의 직선 관계를 재는 수를 이미 배웠다. 그때의 $ρ$ 는 모수였고, 자료에서 계산하는 표본상관계수는 $r = S_{x y} / \sqrt{S_{x x} S_{y y}}$ 로 적는다. 이제 회귀와의 관계를 적는다. 세 가지이고 셋 다 앞에서 나온 식을 다시 배열한 것뿐이다.

$R^{2} = r^{2}$ . 앞에서 $SSR = S_{x y}^{2} / S_{x x}$ 였으므로 $R^{2} = SSR / S_{y y} = S_{x y}^{2} / (S_{x x} S_{y y}) = r^{2}$ 이다. 그래서 결정계수를 '대문자 알 제곱'으로 적는다.
${\hat{β}}_{1} = r s_{y} / s_{x}$ . 여기서 $s_{x}, s_{y}$ 는 표본표준편차다. $s_{y} / s_{x} = \sqrt{S_{y y} / S_{x x}}$ 이므로 $r s_{y} / s_{x} = \frac{S_{x y}}{\sqrt{S_{x x} S_{y y}}} \sqrt{\frac{S_{y y}}{S_{x x}}} = \frac{S_{x y}}{S_{x x}}$ 로 곧 확인된다.
$β_{1} = 0$ 검정과 $ρ = 0$ 검정은 같은 검정이다. $t = r \sqrt{n - 2} / \sqrt{1 - r^{2}}$ 로 적으면 앞 절의 $t$ 와 정확히 같은 값이 나온다.

둘째 관계가 뜻하는 것이 크다. 기울기는 단위에 딸려 있고 상관계수는 단위가 없다. 시간을 분으로 바꾸면 기울기는 60분의 1이 되지만 $r$ 는 그대로다. 그래서 "관계가 얼마나 센가"를 말할 때는 $r$ 를, " $x$ 가 늘면 $y$ 가 얼마나 변하나"를 말할 때는 기울기를 쓴다.

그리고 이 관계에서 회귀(regression)라는 이름의 유래가 나온다. $(\bar{x}, \bar{y})$ 를 지나며 기울기가 $s_{y} / s_{x}$ 인 직선을 SD 선이라 하자. 두 변수가 각자의 표준편차만큼씩 함께 움직이는 직선이다. 회귀직선의 기울기는 그것의 $r$ 배이고 $| r | \leq 1$ 이므로 회귀직선은 언제나 SD 선보다 완만하다. 표준화한 단위로 적으면 ${\hat{z}}_{y} = r z_{x}$ 로 더 분명해진다. $x$ 가 평균보다 2 표준편차 높으면 예측되는 $y$ 는 2 표준편차가 아니라 $2 r$ 표준편차이므로 예측은 언제나 평균 쪽으로 눌린다. 이것을 평균으로의 회귀(regression toward the mean)라 하며 이 방법이 그 현상에서 이름을 얻었다.

<같은 자료에 회귀직선이 두 개 있고 둘 다 (x̄, ȳ) 를 지난다. 표준화한 축에서는 기울기가 곧 r 이며, 그래서 예측은 언제나 평균 쪽으로 눌린다>[원본 보기]

그림의 왼쪽이 보이는 것이 하나 더 있다. $y$ 를 $x$ 로 회귀한 직선과 $x$ 를 $y$ 로 회귀한 직선은 다르다. 최소제곱이 세로 거리를 줄이므로 어느 쪽을 '세로'로 두었는지가 답을 바꾼다. 두 직선이 겹치는 것은 $r^{2} = 1$ 일 때, 곧 모든 점이 정확히 한 직선 위에 있을 때뿐이다.

예제 155

이 장의 자료에서 (가) $r$ 를 구해 $r^{2} = R^{2}$ 를 확인하라. (나) $s_{x}, s_{y}$ 를 구해 ${\hat{β}}_{1} = r s_{y} / s_{x}$ 를 확인하라. (다) $x$ 를 $y$ 로 회귀한 직선의 기울기를 구하고 두 기울기의 곱이 무엇인지 말하라.

풀이 보기

(가) $S_{x y} = 17$ , $S_{x x} = 10$ , $S_{y y} = 34$ 이므로

$r = \frac{17}{\sqrt{10 \times 34}} = \frac{17}{18.439} = 0.922 \Rightarrow r^{2} = 0.850$

앞에서 구한 $R^{2} = 0.85$ 와 같고, $r$ 는 기울기와 같은 부호를 갖는다.

(나) 표본표준편차는 $n - 1$ 로 나눈다. $s_{x}^{2} = 10 / 4 = 2.5$ , $s_{y}^{2} = 34 / 4 = 8.5$ 이므로

$s_{x} = 1.581, s_{y} = 2.915, r \frac{s_{y}}{s_{x}} = 0.922 \times 1.844 = 1.70$

기울기와 같다. SD 선의 기울기 1.844 가 회귀직선의 1.7 보다 급한 것도 확인된다.

(다) 역할을 바꾸면 $x$ 방향으로 잰 기울기가 되므로 분모가 $S_{y y}$ 로 바뀌어 $S_{x y} / S_{y y} = 17 / 34 = 0.50$ 이다. 두 기울기의 곱은 $1.7 \times 0.5 = 0.85$ 로 $R^{2}$ 이다. 실제로 $\frac{S_{x y}}{S_{x x}} \cdot \frac{S_{x y}}{S_{y y}} = \frac{S_{x y}^{2}}{S_{x x} S_{y y}} = r^{2}$ 이니 우연이 아니고, 두 직선이 겹치려면 곱이 1 이어야 하므로 $r^{2} = 1$ 일 때뿐이다.

0.50 은 "문제를 한 개 더 맞힌 학생은 평균 0.5시간 더 공부했다"는 뜻이며 $1 / 1.7 = 0.59$ 가 아니다. 역함수를 취한 것이 아니라 다른 최소제곱 문제를 푼 것이기 때문이다.

예제 156

한 학급이 같은 과목 시험을 두 번 봤다. 두 시험 모두 평균 60점, 표준편차 10점이고 두 점수의 상관계수는 $r = 0.6$ 이다. (가) 1차에서 80점을 받은 학생의 2차 점수를 예측하라. (나) 40점을 받은 학생은 어떤가. (다) 거꾸로 2차에서 80점을 받은 학생의 1차 점수를 예측하라. (라) 1차 하위권만 모아 특별 수업을 하고 2차에 점수가 올랐다면 수업의 효과인가.

풀이 보기

먼저 회귀직선을 세운다. $s_{x} = s_{y} = 10$ 이므로

${\hat{β}}_{1} = r \frac{s_{y}}{s_{x}} = 0.6 \times 1 = 0.6, {\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x} = 60 - 0.6 \times 60 = 24$

$\hat{y} = 24 + 0.6 x$ 다. SD 선의 기울기는 $s_{y} / s_{x} = 1$ 인데 회귀직선은 0.6 이므로 더 완만하다 ✓

(가) $\hat{y} = 24 + 0.6 \times 80 = 72$ . 1차는 평균보다 20점 위였는데 2차 예측은 12점 위다. 표준화해 보면 ${\hat{z}}_{y} = 0.6 \times 2 = 1.2$ 로, 2 표준편차가 1.2 표준편차로 눌렸다.

(나) $\hat{y} = 24 + 0.6 \times 40 = 48$ . 이번에는 평균보다 20점 아래였던 것이 12점 아래로 올라왔다. 눌리는 방향은 언제나 평균 쪽이지 위쪽도 아래쪽도 아니다.

(다) 두 시험의 평균과 표준편차가 같으므로 역방향 회귀직선도 $\hat{x} = 24 + 0.6 y$ 로 같은 꼴이다. 2차에서 80점이면 1차 예측은 72점이다.

이 답이 이 예제의 고비다. 시간을 거슬러 예측해도 똑같이 평균 쪽으로 눌린다. 그러므로 평균으로의 회귀는 "시간이 지나면 재능이 평균으로 돌아간다" 같은 힘이 아니다. 두 번 재면 반드시 흔들림이 섞이고, 한쪽에서 극단이었던 값은 그 극단의 일부가 운이었을 가능성이 높다는 사실의 산술적 귀결일 뿐이다. $| r | < 1$ 이면 언제나 일어난다.

(라) 말할 수 없다. 하위권만 골랐다는 것은 극단값을 골랐다는 뜻이고, 그 집단은 아무 처치를 하지 않아도 2차에 평균 쪽으로 올라간다. 40점 집단이라면 예측이 48점이므로 8점은 그냥 오른다.

그래서 필요한 것이 대조군이다. 1차 하위권을 무작위로 둘로 나눠 한쪽만 수업하고 두 집단의 2차 점수를 견주면, 회귀로 오르는 몫이 양쪽에 똑같이 들어 있으므로 차이만 남는다. 11장에서 짝지어진 자료에 대조군이 없으면 훈련 효과와 학습 효과를 가릴 수 없다고 한 것과 같은 이야기다.

상관은 인과가 아니다

이제 이 장에서 가장 중요한 절이다. 기울기가 유의하고 $R^{2}$ 이 0.85 라고 하자. 그래도 "공부를 한 시간 더 하면 1.7문제를 더 맞힌다"고 말할 수 없다. 이유는 셋이다.

방향이 반대일 수 있다. 회귀는 어느 변수를 $y$ 로 두었는지만 알고 무엇이 먼저인지는 모른다. 원래 잘하는 학생이 공부도 더 오래 했을 수 있다.
교란변수가 있을 수 있다. 두 변수 모두에 영향을 주는 제3의 변수 $Z$ 가 있으면 $X$ 와 $Y$ 사이에 직접 연결이 전혀 없어도 상관이 생긴다. 이때 $Z$ 를 교란변수(confounder)라 한다.
우연일 수 있다. 관계없는 변수쌍을 많이 조사하면 그중 몇몇은 강한 상관을 보인다. 11장의 다중검정과 정확히 같은 구조다.

<왼쪽에서는 두 변수가 함께 커지는데 숨은 변수로 층을 나눈 오른쪽에서는 층마다 상관이 0 이다. 두 변수를 함께 움직인 것은 X 가 아니라 Z 였다>[원본 보기]

그림의 왼쪽만 보면 상관계수가 0.92 로 매우 강한데, 숨은 변수로 층을 나누면 층 안에서는 상관이 0 이다. 두 변수를 함께 움직인 것은 $X$ 가 아니라 $Z$ 였다. 3장에서 본 심슨의 역설이 바로 이 구조이며 거기서는 층을 나눌 때 부호까지 뒤집혔다. 그러면 인과는 어떻게 말하는가. 길은 둘뿐이다. 무작위 배정 실험은 $x$ 를 우리가 동전을 던져 정하는 것이다. 그러면 어떤 교란변수도 두 집단에 고르게 섞이므로 $y$ 의 차이를 $x$ 탓으로 돌릴 수 있다. 공부 시간을 제비뽑기로 배정했다면 이 자료는 인과를 말할 수 있었다. 실험할 수 없을 때는 교란변수를 찾아 통제한다. 의심되는 변수를 재서 모형에 넣거나 층을 나누는 것이며 다음 절의 다중회귀가 그 도구다. 한계도 분명하다. 재지 않은 교란변수는 통제할 수 없다.

이것이 11장 마지막 경고와 같은 성격이라는 점을 못 박아 둔다. 11장에서는 " $p$ 값이 작다"가 "가설이 참"을 뜻하지 않았다. 여기서는 " $R^{2}$ 이 크다"가 " $x$ 가 원인"을 뜻하지 않는다. 둘 다 계산이 답해 줄 수 없는 것을 계산에 물은 경우이며, 답은 자료가 어떻게 얻어졌는지에 있다.

예제 157

어떤 도시에서 동네마다 '도서관 수' $x$ 와 '평균 소득' $y$ 를 조사해 강한 양의 상관을 얻었다. (가) 이 결과를 설명하는 세 가지 가능성을 앞의 셋에 맞춰 각각 적어라. (나) 어떤 자료를 더 모으면 가능성을 좁힐 수 있는가.

풀이 보기

(가) 방향이 반대 — 도서관이 소득을 올린 것이 아니라 소득이 높은 동네가 예산이 넉넉해 도서관을 더 지었다. 교란변수 — 동네의 인구가 두 변수 모두를 밀어 올렸을 수 있다. 인구가 많으면 도서관도 많고 상권도 커지므로 여기서 인구가 $Z$ 다. 우연 — 동네가 열 곳뿐이었다면 아무 관계 없는 두 변수에서도 $| r | \geq 0.7$ 이 나올 확률이 2%를 넘는다. 변수쌍을 스무 번 훑으면 그런 것이 적어도 하나 나올 확률이 40%에 가깝다.

(나) 교란변수 쪽은 인구를 재는 것이다. 인구 1만 명당 도서관 수와 소득을 다시 보거나, 인구가 비슷한 동네끼리 층을 나눠 상관이 남는지 확인한다. 그림의 오른쪽이 하는 일이 그것이다.

방향 쪽은 시간이다. 도서관이 생기기 전과 후의 소득 변화를 보면 순서를 알 수 있다. 물론 그 사이에 다른 일도 일어났을 수 있으므로 완전하지는 않다. 우연 쪽은 표본 크기와 사전 계획이다. 동네를 더 조사하고, 무엇보다 "여러 변수쌍을 훑어 상관이 센 것을 골랐는지"를 밝혀야 한다. 골라낸 것이라면 11장의 다중검정 문제가 그대로 붙는다.

가장 강한 답은 여전히 실험이다. 그러나 동네에 도서관을 제비뽑기로 지을 수는 없다. 실험이 불가능한 물음이 많다는 것이 관측자료로 인과를 다루는 방법들이 따로 발달한 이유다.

예제 158

어떤 병원의 환자 자료에서 입원 기간 $x$ (단위 $d$ )이 길수록 퇴원 시 회복 점수 $y$ 이 낮았다. $r = - 0.7$ 이고 $s_{x} = 5$ , $s_{y} = 10$ 이다. (가) 기울기를 구하고 그 값을 말로 옮겨 보라. (나) 이 상관을 설명하는 세 가지 가능성을 적고 어느 것이 가장 그럴듯한지 판단하라. (다) "입원 기간을 줄이면 회복이 좋아진다"는 정책을 이 자료로 정당화할 수 있는가. (라) 입원 시점의 중증도로 층을 나누었더니 층마다 $r$ 이 0 에 가까웠다. 무엇을 뜻하는가.

풀이 보기

(가) ${\hat{β}}_{1} = r s_{y} / s_{x} = - 0.7 \times (10 / 5) = - 1.4$ 다. 말로 옮기면 "입원이 하루 길수록 회복 점수가 평균 1.4점 낮다"이다. 여기까지는 자료가 말해 주는 사실이고, 문장에 원인이라는 말이 들어 있지 않다는 점을 눈여겨보라.

(나) 셋을 차례로 본다.

방향이 반대일 수 있다. 입원이 회복을 나쁘게 만든 것이 아니라, 회복이 더딘 환자가 오래 입원한 것이다. 병원은 나을 때까지 붙잡아 두므로 인과의 화살이 $y$ 에서 $x$ 로 간다.

교란변수가 있을 수 있다. 입원 시점의 중증도가 두 변수 모두를 밀었다. 중증일수록 오래 입원하고 중증일수록 퇴원 점수도 낮다. 이때 $x$ 와 $y$ 사이에 직접 연결이 전혀 없어도 상관이 생긴다.

우연일 수 있다. 환자가 많다면 $r = - 0.7$ 이 우연히 나올 확률은 낮으므로, 이 경우 셋 중 가장 약한 설명이다.

가장 그럴듯한 것은 앞의 둘이고, 둘은 사실 한 이야기의 두 얼굴이다. 어느 쪽이든 '입원 기간'은 원인이 아니라 환자 상태의 표시다.

(다) 정당화할 수 없다. 이 자료로 정책을 세우면 어떤 일이 벌어지는지 생각해 보면 분명하다. 중증 환자를 일찍 내보낸다고 그 환자가 갑자기 회복하지는 않는다. $- 1.4$ 는 "입원을 하루 줄이면 1.4점 오른다"가 아니라 "입원이 하루 짧은 환자는 평균 1.4점 높더라"일 뿐이다. 계수를 개입의 효과로 읽는 순간 틀린다.

(라) 층 안에서 상관이 사라졌다는 것은 중증도가 교란변수였다는 뜻이다. 같은 중증도의 환자들끼리 견주면 입원 기간과 회복 점수 사이에 관계가 없다. 앞 그림의 오른쪽이 정확히 이 상황이고, 3장의 심슨의 역설과 같은 구조다.

그러면 이제 인과를 말할 수 있는가. 아직 아니다. 중증도 하나를 통제했을 뿐이고, 나이·기저질환·병원의 퇴원 기준처럼 재지 않은 교란변수는 여전히 남아 있다. 가장 강한 답은 입원 기간을 무작위로 배정하는 실험인데, 여기서는 윤리적으로 불가능하다. 관측자료로 인과를 다루는 방법들이 따로 발달한 이유가 이런 물음들이다.

이상점과 영향점

최소제곱은 큰 잔차를 제곱해서 벌주므로 멀리 있는 점 하나에 크게 끌려간다. 여기서 세 용어를 구별해야 한다. 자주 뒤섞여 쓰이는데 뜻이 다르다.

이상점(outlier) — 잔차가 유별나게 큰 점. $y$ 방향으로 튀어 있다.
레버리지(leverage)가 큰 점 — $x$ 가 자료 뭉치에서 멀리 떨어진 점. 잔차와는 무관한 개념이며 지렛대가 길어 직선을 움직일 힘이 크다.
영향점(influential point) — 실제로 빼고 다시 적합했을 때 결론이 달라지는 점. 레버리지가 크고 동시에 추세에서 벗어나 있을 때 생긴다.

셋의 관계를 한 문장으로 적으면 이렇다. 레버리지는 힘이고 잔차는 어긋남이며, 둘이 함께 클 때 영향이 된다. 자료 가운데에 있는 이상점은 잔차가 커도 직선을 별로 못 움직이고, 추세를 그대로 따르는 먼 점은 레버리지가 커도 해가 없다.

<x 가 자료 뭉치에서 멀리 떨어진 점 하나가 기울기와 결정계수를 모두 바꿔 놓는다. 계수를 읽기 전에 그림을 보아야 하는 이유다>[원본 보기]

판정 방법은 단순하다. 의심되는 점을 빼고 다시 적합해 계수가 얼마나 달라지는지 본다. 발견했을 때 무엇을 할지가 더 중요한데 순서가 정해져 있다. 먼저 기록 오류인지 확인한다. 단위를 잘못 적었거나 자리를 밀려 쓴 것이면 고친다. 오류가 아니라면 지우지 않는다. 그 점이야말로 가장 많은 정보를 담고 있을 수 있다. 대신 그 점을 넣은 결과와 뺀 결과를 함께 보고한다. 결론이 점 하나에 달려 있다는 사실 자체가 독자가 알아야 할 정보다.

예제 159

어떤 자료에 점 아홉 개가 거의 한 직선 위에 있어 ${\hat{β}}_{1} = 0.99$ , $R^{2} = 0.99$ 를 얻었다. 여기에 $x$ 가 훨씬 큰 곳에 있으면서 추세에서 아래로 벗어난 점 하나를 더하니 ${\hat{β}}_{1} = 0.26$ , $R^{2} = 0.18$ 이 되었다. (가) 이 점은 이상점인가 레버리지가 큰 점인가 영향점인가. (나) $R^{2}$ 이 떨어진 이유를 분해로 설명하라. (다) 어떻게 보고해야 하는가.

풀이 보기

(가) 셋 다다. $x$ 가 멀리 있으므로 레버리지가 크고, 추세에서 벗어났으므로 잔차가 크며, 빼고 다시 적합했을 때 기울기가 네 배 가까이 달라지므로 영향점이다. 앞의 그림이 이 상황이다.

(나) $R^{2} = 1 - SSE / SST$ 에서 두 조각이 함께 나빠졌다. 점을 더하면 $y$ 의 흩어짐 $SST$ 도 커지지만, 직선이 그 점을 향해 끌려가는 바람에 원래 잘 맞던 아홉 점의 잔차가 모두 커진다. 그래서 $SSE$ 가 훨씬 크게 늘어 비율이 무너진다. 점 하나가 자기 잔차만 키운 것이 아니라 다른 점들의 잔차까지 키웠다는 것이 요점이다.

(다) 세 가지를 함께 적는다. 첫째 산점도를 싣는다. 표의 수만으로는 이 사정이 드러나지 않는다. 둘째 넣은 결과와 뺀 결과를 나란히 적는다. 셋째 그 점이 무엇이었는지 자료를 되짚어 밝힌다. 가장 나쁜 처리는 "결과가 예쁘지 않으니 지운다"다. 그 판단이 결론을 정하는데도 보고서에는 흔적이 남지 않으며, 11장에서 본 "셈에 들어가지 않은 검정"과 같은 문제다.

예제 160

이 장의 자료에서 잔차가 가장 큰 점은 $x = 3$ 인 학생이었다( $e = - 2.0$ , $SSE$ 의 78%). 이 점을 빼고 다시 적합해 기울기·절편· $R^{2}$ · $SE ({\hat{β}}_{1})$ 이 어떻게 달라지는지 구하고, 이 점을 무엇이라 불러야 하는지 판정하라. 원래 값은 ${\hat{β}}_{1} = 1.7$ , ${\hat{β}}_{0} = 0.9$ , $R^{2} = 0.85$ , $SE ({\hat{β}}_{1}) = 0.412$ 다.

풀이 보기

남은 네 점은 $(1, 3), (2, 5), (4, 8), (5, 10)$ 이다. $\bar{x} = 12 / 4 = 3$ , $\bar{y} = 26 / 4 = 6.5$ .

$S_{x x} = 4 + 1 + 1 + 4 = 10, S_{x y} = (- 2) (- 3.5) + (- 1) (- 1.5) + (1) (1.5) + (2) (3.5) = 7 + 1.5 + 1.5 + 7 = 17$

${\hat{β}}_{1} = \frac{17}{10} = 1.7, {\hat{β}}_{0} = 6.5 - 1.7 \times 3 = 1.4$

기울기가 소수점까지 그대로다. 우연이 아니다. 빠진 점의 $x$ 가 정확히 $\bar{x}$ 였으므로 그 점이 $S_{x y}$ 에 보태던 몫이 $(3 - 3) (y - \bar{y}) = 0$ 이었고, $S_{x x}$ 에 보태던 몫도 0 이었다. 지렛대의 길이가 0 이라 아무리 무거워도 직선을 돌리지 못한다. 절편만 $0.9$ 에서 $1.4$ 로 올라갔는데, 이는 직선이 돌지 않고 평행하게 올라간 것이다.

나머지를 계산한다. 새 적합값은 $3.1, 4.8, 8.2, 9.9$ 이므로 잔차가 $- 0.1, 0.2, - 0.2, 0.1$ 이고

$SSE = 0.10, S_{y y} = 12.25 + 2.25 + 2.25 + 12.25 = 29, R^{2} = 1 - \frac{0.10}{29} = 0.997$

$s^{2} = \frac{0.10}{4 - 2} = 0.05, s = 0.224, SE ({\hat{β}}_{1}) = \frac{0.224}{\sqrt{10}} = 0.071$

판정. 이 점은 잔차가 크므로 이상점이지만, $x$ 가 자료 한가운데에 있으므로 레버리지는 가장 작고( $x = \bar{x}$ 에서 최소다), 빼도 기울기가 바뀌지 않으므로 영향점이 아니다. 앞 절 그림의 먼 점과는 성격이 정반대다.

그렇다고 해가 없는 것은 아니다. $R^{2}$ 이 0.85 에서 0.997 로, 표준오차가 0.412 에서 0.071 로 여섯 배 가까이 좋아졌다. 곧 이 점은 기울기를 비틀지는 않지만 정밀도를 크게 갉아먹는다. 세 용어를 다시 새기면 이렇다. 레버리지는 힘, 잔차는 어긋남, 둘이 함께 클 때만 영향이다. 여기서는 힘이 0 이라 어긋남이 흩어짐으로만 나타났다.

그러면 지워야 하는가. 아니다. 판정이 "영향점이 아니다"로 났으므로 결론이 이 점에 달려 있지 않고, 지울 이유가 더욱 없다. 이 학생이 왜 처졌는지는 오히려 새로 물어볼 거리이며, 보고할 때는 잔차 그림과 함께 그 사실을 적으면 된다.

다중회귀 — 개념과 행렬 형태

교란변수를 통제하려면 설명변수가 여럿이어야 한다. 설명변수 $k$ 개로 늘린 것이 다중회귀(multiple regression)이고 $Y_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{k} x_{i k} + ε_{i}$ 다. 오차에 대한 가정 네 가지는 그대로이고 달라지는 것은 계수의 해석인데, 이것이 다중회귀에서 가장 자주 틀리는 곳이다. $β_{j}$ 는 다른 설명변수를 모두 고정한 채 $x_{j}$ 가 1 늘 때 $y$ 의 평균 변화다. 그래서 같은 변수의 계수가 어떤 변수와 함께 들어갔는지에 따라 크기도 부호도 달라진다. 단순회귀의 계수와 다중회귀의 계수는 이름이 같아도 다른 양이다.

추정은 원리가 똑같다. 제곱합을 각 $b_{j}$ 로 편미분해 0 으로 놓으면 미지수 $k + 1$ 개에 방정식 $k + 1$ 개인 정규방정식이 나온다. 손으로 풀기는 벅차므로 행렬로 적는다. 관측 $n$ 개를 세로로 쌓고 첫 열을 1 로 채운 행렬을 $X$ 라 하면

$y = X β + ε, X^{T} X \hat{β} = X^{T} y, \hat{β} = (X^{T} X)^{- 1} X^{T} y$

$k = 1$ 을 넣으면 이 장에서 손으로 유도한 두 식이 그대로 나온다. 이 식을 제대로 읽으려면 행렬과 역행렬, 그리고 '열공간으로의 정사영'이라는 그림이 필요하다. 그 이야기는 /posts/fundamental/linear-algebra.html > 최소제곱에서 이어지며 이 문서는 여기서 멈춘다. 다중회귀에서 새로 생기는 문제도 이름만 적어 둔다.

조정된 결정계수 — $R^{2}$ 은 변수를 넣을수록 반드시 커진다. 쓸모없는 변수를 넣어도 오르므로 그대로 쓰면 안 되고, 자유도로 벌점을 준 ${\bar{R}}^{2} = 1 - \frac{SSE / (n - k - 1)}{SST / (n - 1)}$ 를 쓴다.
다중공선성(multicollinearity) — 설명변수끼리 강하게 상관되어 있으면 '다른 것을 고정한 채'라는 조건을 자료가 거의 담지 못한다. 계수의 표준오차가 커지고 부호가 표본마다 뒤집힌다.
변수 선택 — 변수를 넣고 빼며 유의한 조합을 찾는 것은 11장의 다중검정 그 자체다. $p$ 값이 적힌 대로의 뜻을 잃는다.

예제 161

다음 자료에서 $y$ 를 $x_{1}$ 하나로 회귀한 기울기와, 집단을 나타내는 변수 $x_{2}$ 를 함께 넣은 모형의 $x_{1}$ 계수를 견주어라. $x_{2}$ 는 집단 P 에서 0, 집단 Q 에서 1 이다.

집단	P	P	P	Q	Q	Q
$x_{1}$	1	2	3	4	5	6
$y$	5	4	3	11	10	9

풀이 보기

먼저 $x_{1}$ 하나로 회귀한다. ${\bar{x}}_{1} = 3.5$ , $\bar{y} = 42 / 6 = 7$ 이다.

$S_{x_{1} y} = 5 + 4.5 + 2 + 2 + 4.5 + 5 = 23, S_{x_{1} x_{1}} = 6.25 + 2.25 + 0.25 + 0.25 + 2.25 + 6.25 = 17.5 \Rightarrow {\hat{β}}_{1} = \frac{23}{17.5} = 1.31$

양수다. $x_{1}$ 이 늘면 $y$ 도 늘어 보인다. 이제 집단 안에서 따로 본다. 집단 P 는 $x_{1} = 1, 2, 3$ 에 $y = 5, 4, 3$ 이므로 $S_{x y} = - 2$ , $S_{x x} = 2$ 로 기울기가 $- 1$ 이고, 집단 Q 도 $x_{1} = 4, 5, 6$ 에 $y = 11, 10, 9$ 이므로 똑같이 $- 1$ 이다. 두 집단의 기울기가 같으므로 $β_{1} = - 1$ 로 두면 잔차 없이 맞는다. 집단 P 에서 $5 = β_{0} - 1$ 이므로 $β_{0} = 6$ 이고, 집단 Q 에서 $11 = 6 + β_{2} - 4$ 이므로 $β_{2} = 9$ 다.

$\hat{y} = 6 - x_{1} + 9 x_{2}$

확인해 보면 여섯 점 모두 정확히 맞는다. 단순회귀는 $+ 1.31$ , 다중회귀는 $- 1$ 로 부호가 뒤집혔다. 무엇이 벌어졌는가. 집단 Q 가 $x_{1}$ 도 크고 $y$ 도 크다. 그래서 두 집단을 뭉쳐 보면 " $x_{1}$ 이 클 때 $y$ 도 크다"는 관계가 나타나는데, 그것은 집단의 차이일 뿐이고 집단 안에서는 정반대다. 여기서 $x_{2}$ 가 교란변수이고 앞 절 그림의 구조와 같다.

그러므로 계수를 읽을 때는 언제나 "무엇을 고정한 채인가"를 함께 말해야 한다. $- 1$ 은 "같은 집단 안에서"의 관계이고 $+ 1.31$ 은 "집단을 섞은 채"의 관계다. 어느 쪽이 답인지는 자료가 아니라 묻고 있는 질문이 정한다.

예제 162

(가) 관측 20개, $SST = 1000$ 인 자료에 설명변수 하나를 넣어 $SSE = 400$ 을 얻었다. 여기에 쓸모없는 변수 셋을 더 넣었더니 $SSE$ 가 380 으로 줄었다. 두 모형의 $R^{2}$ 과 조정된 결정계수를 견주어라. (나) 앞 예제의 자료에서 $x_{1}$ 과 $x_{2}$ 의 상관계수를 구하고 그것이 무엇을 뜻하는지 밝혀라.

풀이 보기

(가) 먼저 $R^{2}$ 이다.

$R_{1개}^{2} = 1 - \frac{400}{1000} = 0.600, R_{4개}^{2} = 1 - \frac{380}{1000} = 0.620$

올랐다. 쓸모없는 변수를 넣었는데도 오른 것이 아니라, 넣으면 반드시 오른다. 최소제곱은 새 변수의 계수를 0 으로 두는 선택지를 이미 갖고 있으므로 $SSE$ 가 늘어날 수 없기 때문이다. 그래서 $R^{2}$ 로는 변수 개수가 다른 두 모형을 견줄 수 없다.

이제 자유도로 벌점을 준다. $n = 20$ 이고 $k$ 는 각각 1 과 3 이므로

${\bar{R}}_{1개}^{2} = 1 - \frac{400 / 18}{1000 / 19} = 1 - \frac{22.22}{52.63} = 0.578$

${\bar{R}}_{4개}^{2} = 1 - \frac{380 / 16}{1000 / 19} = 1 - \frac{23.75}{52.63} = 0.549$

떨어졌다. 분모의 자유도가 18 에서 16 으로 줄어드는 손해가 $SSE$ 400 → 380 의 이득보다 크기 때문이다. 조정된 결정계수가 하는 일이 정확히 이 저울질이고, 그래서 변수를 넣을지 말지를 $R^{2}$ 이 아니라 이 값으로 본다.

답이 말이 되는가. 변수 셋을 넣어 흩어짐의 2%만 더 설명했다면 변수 하나당 0.7%다. 아무 관계 없는 변수라도 자료의 요철에 우연히 걸려 그 정도는 설명한다. 벌점이 그 몫을 걷어 낸 것이다.

(나) $x_{1} = 1, \dots, 6$ 이고 $x_{2} = 0, 0, 0, 1, 1, 1$ 이므로 ${\bar{x}}_{1} = 3.5$ , ${\bar{x}}_{2} = 0.5$ 다.

$S_{12} = (- 2.5) (- 0.5) + (- 1.5) (- 0.5) + (- 0.5) (- 0.5) + (0.5) (0.5) + (1.5) (0.5) + (2.5) (0.5) = 4.5$

$S_{11} = 17.5, S_{22} = 6 \times 0.25 = 1.5 \Rightarrow r = \frac{4.5}{\sqrt{17.5 \times 1.5}} = \frac{4.5}{5.124} = 0.878$

두 설명변수의 상관이 0.878 로 매우 높다. 이것이 다중공선성이다. 뜻을 새기면 이렇다. $β_{1}$ 은 " $x_{2}$ 를 고정한 채 $x_{1}$ 을 1 늘렸을 때"의 변화인데, 자료에는 $x_{2}$ 를 고정한 채 $x_{1}$ 이 크게 변한 관측이 집단마다 세 개씩밖에 없다. 자료가 그 물음에 답할 재료를 거의 갖고 있지 않은 것이다.

그래서 앞 예제의 $- 1$ 은 "집단 안에서 점 세 개로 잰 기울기"에 지나지 않는다. 점을 몇 개만 바꿔도 크게 흔들릴 수 있고, 그 흔들림이 계수의 표준오차로 나타난다. 극단으로 밀어 $x_{2}$ 가 $x_{1}$ 으로 완전히 정해진다면(예: $x_{1} \leq 3$ 이면 반드시 P) 두 계수를 따로 정할 수 없어 $X^{T} X$ 가 역행렬을 갖지 못한다.

정리하면 다중공선성은 계산이 틀리게 만드는 것이 아니라 자료가 답할 수 없는 것을 묻게 만드는 문제다. 처방도 계산이 아니라 설계 쪽이다. 두 변수가 함께 움직이지 않는 관측을 더 모으거나, 물음을 바꿔 둘을 묶어 하나로 다룬다.

12장 정리

이름	내용
회귀모형	$Y_{i} = β_{0} + β_{1} x_{i} + ε_{i}$ . $x$ 는 고정된 값, $Y$ 와 $ε$ 이 확률변수
오차의 네 가정	직선성 · 등분산 · 독립 · 정규성. 계수 추정에는 앞의 셋만, 검정과 구간에는 정규성까지
세 제곱합	$S_{x x} = \sum (x_{i} - \bar{x})^{2}$ , $S_{x y} = \sum (x_{i} - \bar{x}) (y_{i} - \bar{y})$ , $S_{y y} = \sum (y_{i} - \bar{y})^{2}$
최소제곱 추정량	${\hat{β}}_{1} = S_{x y} / S_{x x}$ , ${\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}$ . 편미분 둘을 0 으로 놓은 결과
잔차의 두 성질	$\sum e_{i} = 0$ , $\sum x_{i} e_{i} = 0$ . 직선은 $(\bar{x}, \bar{y})$ 를 지난다
오차분산의 추정	$s^{2} = SSE / (n - 2)$ . 모수 둘을 추정했으므로 자유도가 둘 줄었다
잔차 그림	곡선이면 직선성, 나팔이면 등분산, 순서에 따른 추세면 독립성이 깨졌다
분산 분해	$SST = SSR + SSE$ . 교차항이 0 인 것은 두 정규방정식 때문
결정계수	$R^{2} = SSR / SST = r^{2}$ . $y$ 의 흩어짐 가운데 $x$ 로 설명되는 몫이고 인과와 무관
기울기의 추론	$SE ({\hat{β}}_{1}) = s / \sqrt{S_{x x}}$ , $t = {\hat{β}}_{1} / SE$ , 자유도 $n - 2$ . $x$ 를 넓게 벌리면 정확해진다
평균의 신뢰구간	${\hat{y}}_{0} \pm t_{α / 2} s \sqrt{1 / n + (x_{0} - \bar{x})^{2} / S_{x x}}$ . $\bar{x}$ 에서 가장 좁다
개체의 예측구간	뿌리 안에 1 을 더한다. 개체의 흔들림 $σ^{2}$ 는 $n$ 을 늘려도 남는다
상관과 회귀	$r = S_{x y} / \sqrt{S_{x x} S_{y y}}$ , ${\hat{β}}_{1} = r s_{y} / s_{x}$ , 표준화하면 ${\hat{z}}_{y} = r z_{x}$
평균으로의 회귀	$\| r \| \leq 1$ 이므로 예측은 평균 쪽으로 눌린다. 회귀직선은 SD 선보다 완만하다
이상점 · 레버리지 · 영향점	잔차가 큼 · $x$ 가 멂 · 빼면 결론이 바뀜. 앞의 둘이 겹칠 때 영향이 된다
다중회귀	$\hat{β} = (X^{T} X)^{- 1} X^{T} y$ . 계수는 ‘다른 변수를 고정한 채’ 의 변화

꼭 챙겨 갈 것은 넷이다.

최소제곱은 세로 거리의 제곱합을 미분해서 얻는다. 미지수가 둘이므로 편미분 둘을 0 으로 놓고, 그 결과가 ${\hat{β}}_{1} = S_{x y} / S_{x x}$ 와 ${\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}$ 다. 제곱을 쓴 대가로 이상점에 약하다.
계수를 읽기 전에 잔차 그림을 본다. $R^{2}$ 이 0.96 이어도 잔차가 U 자를 그리면 그 모형은 틀렸다. 가정은 식이 아니라 그림으로 확인한다.
평균을 묻는지 개체를 묻는지 구별한다. 예측구간은 신뢰구간보다 넓고, 표본을 늘려도 개체의 흔들림만큼은 남는다. 그리고 자료 범위 밖은 예측하지 않는다.
상관은 인과가 아니다. 방향이 반대일 수도, 교란변수가 있을 수도, 우연일 수도 있다. 인과를 말하려면 무작위 배정이나 교란변수 통제가 필요하며 이것은 계산으로 메울 수 없는 자리다.

여기까지가 이 문서의 본문이다. 확률의 공리에서 출발해 분포와 표본분포를 거쳐 추정·검정·회귀에 이르렀다. 마지막 장은 여기서 갈라지는 길들을 정리한다. 어느 길로 가든 이 문서가 되풀이한 물음 하나는 그대로 남는다. 이 수는 어떤 가정 아래에서 나온 것이고, 그 가정이 깨지면 무엇이 무너지는가.

더 공부할 것

이 문서는 학사 과정 확률·통계의 골격까지다. 여기서 갈라지는 길을 정리해 둔다. 각 분야가 이 문서의 어느 부분을 확장한 것인지 함께 적었다.

이 사이트 안에서 이어지는 문서

선형대수 — 12장의 최소제곱이 그 문서 9장에서 "열공간으로의 정사영"으로 다시 설명된다. 다중회귀를 행렬로 다루려면 그쪽이 먼저다.
기초 수학 — 이 문서가 기대고 있는 문서다. 적분과 확률의 기초에서 막히면 돌아가면 된다.
이산수학 — 3장의 셈 문제와 7장의 이산분포가 조합론 쪽으로 이어진다. 확률적 방법과 무작위 알고리즘이 그 문서의 뒷부분이다.
일반생물학 — 11장의 검정이 실제로 쓰이는 자리를 보고 싶다면 그 문서의 멘델 유전학 장(카이제곱 검정)과 집단유전학 장을 보면 된다.
알고리즘 — 9장의 극한정리가 알고리즘의 평균 수행시간 분석과 무작위화의 근거다.

학부 전공 과정

확률론(probability theory) — 3장의 공리를 측도론 위에 다시 세운다. 이 문서는 "확률은 넓이 같은 것"이라고 넘겼지만, 그 "넓이"를 어떤 집합에까지 정의할 수 있는지가 실제 문제다. 시그마 대수, 르베그 적분, 수렴의 네 가지 뜻(개별·확률·분포·평균), 그리고 큰 수의 법칙과 중심극한정리의 엄밀한 증명.
수리통계학(mathematical statistics) — 10·11장의 정밀화. 충분통계량과 완비성, 라오-블랙웰 정리, 크라메르-라오 하한("더 좋은 추정량이 있을 수 없는 한계"), 네이만-피어슨 보조정리("가장 센 검정이 왜 우도비인가"), 우도비 검정의 일반이론.
회귀분석과 선형모형 — 12장의 본격 전개. 다중회귀를 행렬로, 다중공선성, 변수 선택, 가중최소제곱, 일반화선형모형(로지스틱·포아송 회귀), 혼합효과모형.
실험계획법(design of experiments) — 11장에서 "검정력과 표본 크기"로만 다룬 것을 앞단으로 옮긴다. 무작위화·블록화·요인설계·분산분석(ANOVA). 데이터를 얻기 전에 정해야 하는 것들이며, 실무에서 통계가 실패하는 가장 큰 원인이 여기에 있다.
베이즈 통계학(Bayesian statistics) — 3장의 베이즈 정리를 추론 전체의 틀로 삼는다. 사전분포와 사후분포, 켤레사전분포, 신용구간(10장의 신뢰구간과 해석이 다르다는 것이 핵심), 마르코프 연쇄 몬테카를로.
표본조사론(survey sampling) — 9장이 "확률표본"이라고 가정한 것을 실제로 어떻게 얻는가. 층화·집락·다단추출, 무응답 보정, 가중치.

더 나아가는 주제

시계열 분석 — 이 문서는 관측이 서로 독립이라고 가정했다. 시간 순서가 있으면 그 가정이 깨진다. 정상성, 자기상관, ARIMA, 상태공간모형.
생존분석 — 8장의 지수·감마분포에서 이어진다. 관측이 끝나기 전에 잘린 자료(중도절단)를 다루는 법. 카플란-마이어 곡선, 콕스 비례위험모형.
비모수통계 — 분포를 가정하지 않는 방법들. 순위 검정, 커널 밀도추정, 그리고 부트스트랩. 부트스트랩은 9장의 표본분포를 수식이 아니라 재표본추출로 얻는 방법이며, 컴퓨터가 있으면 손 계산보다 넓게 쓸 수 있다.
인과추론(causal inference) — 12장이 "상관은 인과가 아니다"로 끝낸 자리에서 시작한다. 그렇다면 인과는 어떻게 말할 수 있는가. 잠재결과, 성향점수, 도구변수, 인과 그래프와 백도어 기준.
통계적 학습(statistical learning) — 10장의 편향-분산 분해가 이 분야의 중심 개념이다. 교차검증, 정규화(라쏘·릿지), 앙상블. 12장의 회귀가 예측을 목표로 바뀌면 여기가 된다.
확률과정(stochastic processes) — 7장의 푸아송 과정을 일반화한다. 마르코프 연쇄, 대기행렬, 브라운 운동.
다중검정과 재현성 — 11장 마지막 절의 확장. 본페로니와 FDR, 사전등록, 메타분석, 출판편향.

공부 방식에 대한 조언

계산보다 해석을 확인하라. 이 과목에서 답이 맞는데도 결론이 틀리는 일이 흔하다. $p = 0.03$ 을 옳게 구하고 "귀무가설이 참일 확률이 3%"라고 적으면 계산은 만점이고 이해는 0점이다.
가정을 먼저 적는 습관을 들여라. 어떤 검정을 쓰든 정규성·독립성·등분산 중 무엇을 가정했는지 적고 나서 계산하면, 나중에 결론의 한계를 스스로 알 수 있다.
그림을 먼저 그려라. 산점도를 보지 않고 상관계수만 구하면 12장의 함정에 그대로 걸린다. 같은 $r$ 값에 전혀 다른 모양의 자료가 대응할 수 있다.
모의실험으로 확인하라. 중심극한정리나 신뢰구간의 포함률처럼 말로는 헷갈리는 것들은 난수를 만들어 수천 번 돌려 보면 눈으로 확인된다. 이 문서의 그림 몇 장이 그렇게 만들어졌다.
"표본이 어떻게 얻어졌는가"를 항상 먼저 물어라. 9장 이후의 모든 방법이 "확률표본"을 가정한다. 그 가정이 깨진 자료에는 어떤 정교한 검정도 의미가 없다. 실무에서 통계가 틀리는 가장 흔한 이유는 계산 실수가 아니라 여기다.

이 문서를 읽는 방법

무엇을 알고 있어야 하는가

이 문서가 지키려는 약속

권장 순서와 장별 난이도

이 문서의 표기 규약

참고문서

교재와 강의

표준과 데이터

계산과 확인

확률을 다시 세운다

표본공간과 사건을 집합으로 다시 적는다

콜모고로프 공리 — 세 줄에서 나머지가 나온다

확률을 어떻게 배정하는가

셀 수 있으면 세어서 나눈다

셀 수 없으면 재서 나눈다

조건부확률은 표본공간을 줄이는 일이다

전확률 정리와 베이즈 정리를 나무로 본다

독립 — 두 사건, 그리고 셋 이상

확률에 대한 흔한 오해

도박사의 오류 — 동전은 과거를 기억하지 않는다

기저율 무시 — 드문 것을 찾을 때는 정확도만으로 판단할 수 없다

심슨의 역설 — 나눠 보면 이기는데 합치면 진다

3장 정리

확률변수와 분포

확률변수는 함수다

이산확률변수와 확률질량함수

연속확률변수 — 밀도는 확률이 아니다

누적분포함수 — 두 경우를 하나로 다루는 언어

분위수와 중앙값

확률변수의 변환

역변환 표본추출 — 균등난수 하나로 어떤 분포든 만든다

4장 정리

기댓값, 분산, 적률

기댓값 — 긴 안목의 평균

E[g(X)] — 무의식적 통계학자의 법칙

분산과 표준편차

마르코프와 체비쇼프 — 모양을 몰라도 말할 수 있는 것

적률 — 분포의 모양을 수로 재기

적률생성함수 — 분포를 함수 하나로 압축한다

5장 정리

결합분포와 독립

두 변수를 함께 적는다

이중적분 — 안쪽부터 차례로 한다

주변분포와 조건부분포

조건부 기댓값과 전체기댓값 법칙

확률변수의 독립

공분산과 상관계수

선형결합의 기댓값과 분산

변수가 셋 이상이면 — 다항분포와 이변량정규분포

6장 정리

주요 이산분포

어떤 상황이 어떤 분포를 낳는가

이산균등분포와 베르누이 시행

이산균등분포

베르누이 시행

이항분포

적률생성함수로 평균과 분산을 얻는다

초기하분포 — 도로 넣지 않을 때

기하분포와 음이항분포 — 기다리는 쪽을 센다

기하분포

무기억성

음이항분포

푸아송 분포

분포 사이의 관계

7장 정리

주요 연속분포

연속균등분포

지수분포와 무기억성

무기억성 — 그리고 그것이 뜻하는 한계

감마함수 — 계승을 넓힌다

점화식과 계승

Γ(1/2)Γ(1/2) 는 얼마인가

감마분포와 푸아송 과정

푸아송 과정에서 감마분포가 나오는 자리

베타분포 — 비율 자체를 다룬다

정규분포

적률생성함수와 선형결합

표준정규표 읽는 법

정규분포에서 태어나는 세 분포

카이제곱분포

$Γ (1 / 2)$ 는 얼마인가

정규모집단에서 $\bar{X}$ 와 $S^{2}$

$σ$ 를 모를 때 — $t$ 통계량

두 표본분산의 비 — $F$ 통계량

표본분산은 왜 $n - 1$ 로 나누는가

모평균의 신뢰구간 — $σ$ 를 알 때와 모를 때

검정통계량, 기각역, 그리고 $p$ 값

$p$ 값의 정확한 뜻

$p$ 값에 대한 흔한 오해 셋