- 확률과 확률변수 개념

표본공간(Sample space, $\Omega$ )과 사건(Event, $A$ )

실험(experiment): 결과가 다르게 나타날 수 있는 실험이나 현상

표본공간(sample space): 실험에서 나올 수 있는 모든 결과의 집합, 주로

\Omega

로 표기함.

사건(event): 표본공간의 부분집합

확률(Probability)

확률

P: \mathcal{A} \rightarrow [0,1]

은 사건에 음이 아닌 실수를 매기는 함수로, 다음 세가지 공리를 만족하는 함수이다.

P(A)≥0, ∀A∈AP(A) \geq 0, \ \forall A \in \mathcal{A}P(A)≥0, ∀A∈A

P(Ω)=1P(\Omega) = 1P(Ω)=1

(무한 가법성) 임의의 배반사건 A1,A2,...A_1,A_2,...A1​,A2​,...에 대하여, P(⋃i=1∞Ai)=∑i=1∞P(Ai)P(\bigcup_{i=1}^{\infin} A_i) = \sum_{i=1}^{\infin}P(A_i)P(⋃i=1∞​Ai​)=∑i=1∞​P(Ai​)

확률의 공리로부터 나오는 특징

A⊂BA \subset BA⊂B인 두 사건 A,BA,BA,B에 대해 P(A)≤P(B)P(A) \leq P(B)P(A)≤P(B)이다.

P(Ac)=1−P(A)P(A^c) = 1-P(A)P(Ac)=1−P(A)

(유한 가법성) 임의의 배반사건 A1,A2,...,AnA_1,A_2,...,A_nA1​,A2​,...,An​에 대하여, P(⋃i=1nAi)=∑i=1nP(Ai)P(\bigcup_{i=1}^{n} A_i) = \sum_{i=1}^{n}P(A_i)P(⋃i=1n​Ai​)=∑i=1n​P(Ai​)이다.

(가법정리) P(A∪B)=P(A)+P(B)−P(A∩B)P(A \cup B) = P(A) + P(B) - P(A \cap B)P(A∪B)=P(A)+P(B)−P(A∩B)

P(A)≤1P(A) \leq 1P(A)≤1

An→AA_n \rightarrow AAn​→A이면, P(An)→P(A) as n→∞P(A_n) \rightarrow P(A) \ \text{as} \ n \rightarrow \infinP(An​)→P(A) as n→∞

확률변수(Random variable)와 확률 분포(Probability distribution)

표본공간에서 실수로 가는 함수

X: \Omega \rightarrow \mathbb{R}

를 확률변수라고 한다. 확률 모형

(\Omega, P)

에 대해 확률변수를 통해 새로운 표본공간

S = \{ X(w):w\in \Omega \}

을 만들 수 있다.

확률 모형

(\Omega, P)

X: \Omega \rightarrow \mathbb{R}

에 대해 다음을 만족하는 확률

P_X

를 확률변수

X

의 확률 분포라고 한다.

X \sim P_X: P_X(A) = P_X(X\in A) = P_X(\{ w \in \Omega: X(w) \in A \}

Note. 확률변수

X

의 확률분포

P_X

는 표본공간

S

에서 정의된 확률이다.

확률질량함수(Probability mass function, PMF)

확률변수

X

가

x_1,x_2,..

와 같이 가산일 경우,

X

를 이산확률변수(discrete random variable)이라고 한다.

이산확률변수

X

에 대해 확률질량함수는 다음과 같이 정의한다.

p_X(x) = p(x) =p(X=x)

0≤p(xi)≤1, ∀i=1,2,...0 \leq p(x_i) \leq 1, \ \forall i=1,2,...0≤p(xi​)≤1, ∀i=1,2,...

∑i=1∞p(xi)=1\sum_{i=1}^{\infin}p(x_i) = 1∑i=1∞​p(xi​)=1

누적분포함수(Cumulative distribution function, CDF)

확률변수

X: \Omega \rightarrow \mathbb{R}

의 누적분포함수

F: \mathbb{R} \rightarrow [0,1]

은 다음과 같이 정의한다.

F_X(x) = F(x) = P(X\leq x), \ x\in\mathbb{R}

x<yx<yx<y에 대하여, F(x)≤F(y)F(x) \leq F(y)F(x)≤F(y)이다.

모든 xxx에 대해 0≤F(x)≤10 \leq F(x) \leq 10≤F(x)≤1이고, lim⁡x→−∞F(x)=0, lim⁡x→∞F(x)=1\lim_{x \rightarrow -\infin} F(x) = 0, \ \lim_{x \rightarrow \infin} F(x) = 1limx→−∞​F(x)=0, limx→∞​F(x)=1

F(x)=F(x+)=lim⁡h→0,h>0F(x+h), ∀xF(x) = F(x+) = \lim_{h \rightarrow 0, h>0} F(x+h), \ \forall xF(x)=F(x+)=limh→0,h>0​F(x+h), ∀x. 즉 FFF는 우연속이다.

확률밀도함수(Probability density function, PDF)

확률변수

X: \Omega \rightarrow \mathbb{R}

의 누적분포함수

F

가 모든

x \in \mathbb{R}

에서 연속일 때,

X

를 연속 확률변수라고 한다.

연속확률 변수

X: \Omega \rightarrow \mathbb{R}

의 누적분포함수

F

에 대해 다음을 만족하는 함수

f

를

X

의 확률밀도함수라고 한다.

F(x) = P(X \leq x) = \int_{-\infin}^x f(t)dt, \ \forall x \in \mathbb{R}

확률밀도함수가 존재하는 연속 확률변수를 절대연속 확률변수라고 한다.

f(x)≥0, ∀x∈Rf(x) \geq 0, \ \forall x \in \mathbb{R}f(x)≥0, ∀x∈R

∫−∞∞f(x)dx=1\int_{-\infin}^{\infin} f(x)dx = 1∫−∞∞​f(x)dx=1

기댓값(Expected value)

연속확률변수

X: \Omega \rightarrow \mathbb{R}

에 대해,

\mathbb{E}(g(X)) = \int_{-\infin}^{\infin}g(x)p(x)dx

이산확률변수

X: \Omega \rightarrow \mathbb{R}

에 대해,

\sum_ig(x_i)p(x_i)

조건부 기댓값(Conditional expectation)

\mathbb{E}(Y|X=x) = \int yp(y|x)dy, \ p(y|x) = \frac{p(x,y)}{p(y)}

Law of Iterative Expectation(LIE)

\mathbb{E}(Y) = \mathbb{E}(\mathbb{E}(Y|X)) = \int \mathbb{E}(Y|X=x)p_X(x)dx

Law of Total Variance(LTV)

Var(Y) = Var(\mathbb{E}(Y|X)) + \mathbb{E}(Var(Y|X))