'''random variable'''
Sub:
[[이산확률변수,discrete_RV]]
[[연속확률변수,continuous_RV]]
[[균등확률변수,uniform_RV]]
[[가우스확률변수Gaussian(Normal)_RV]]
{
https://blastic.tistory.com/185
}
----
[[TableOfContents]]
= 먼저 =
초보자에게 헷갈리는 것
* 확률변수는 사실 변수가 아니고 함수다.
함수이지만 변수처럼 다룬다고 해서 이름이 확률변수인가?
* 확률변수는 보통 알파벳 X를 쓴다. 이름이 변수인데다 문자도 X로 쓰고 소문자 x도 같이 나오니 혼란스럽다.
* 대문자 X, Y, Z 등은 확률변수(즉 함수)고, 그것이 가질 수 있는 값?(치역의 원소? 정의역의 원소? 무엇?) CHK 을 소문자 x, y, z등으로 쓰는 것 같다.
= Definition of RV =
A RV $X$ is a real-valued function of the experimental outcome.
$X:\mathbb{\Omega}\to\mathbb{R}$
여기서
$\mathbb{\Omega}$ = [[VG:표본공간,sample_space]]
= Discrete RV (DRV) =
A RV $X$ is discrete if its range is finite or countably infinite.
여기서, range $r(X)=\left{x\middle|\exists\omega\in\mathbb{\Omega}\textrm{ such that }X(\omega)=x\right}$
즉 sample $\omega$ 를 $x$ 라는 값으로 대응시키는?
그런 함수가 $X$ 이고 그것을 독립변수(or 정의역)로 하는 대응관계가 range r? 조건제시법 이해가 잘...
ex. two fair coin tosses
X = # of heads
Ω = {HH, HT, TH, TT}
X(HH) = 2
X(TT) = 0
r(X) = {0, 1, 2}
ex. sampling a number ω from [-1,1]
$X(\omega)=\begin{cases}1,&\textrm{ if }\omega>0\\0,&\textrm{ if }\omega=0\\-1,&\textrm{ if }\omega<0\end{cases}$
페이지: [[이산확률변수,discrete_RV]]
= Probability mass function (PMF) =
The PMF $p_X(x)$ of a DRV $X$ is defined as:
$p_X(x)=P(X=x)=P\left(\left{\omega\in\mathbb{\Omega}\middle|X(\omega)=x\right}\right)$
위의 동전던지기를 예로 들면
$p_X(x)=$
¼ if x=0 TT
½ if x=1 HT TH
¼ if x=2 HH
= Mean or expectation =
평균 or 기대값
$E[X]=\sum_x x\cdot P_X(x)$
위 동전던지기를 예로 들면 앞면이 나오는 횟수의 기대값은
E[X]= 0·¼ + 1·½ + 2·¼ = 1
= Variance =
분산
$V[X]=E[(X-E[X])^2]=\sum_x(x-E[X])^2P_X(x)$
Properties 특징
i) $E[aX+b]=aE[X]+b$
ii) ${\rm Var}[aX+b]=a^2{\rm Var}(X)$
= Conditioning RV on event =
Given an event $A$ with $P(A)>0,$ the conditional PMF $P_{X|A}$ of a DRV $X$ is defined as
$P_{X|A}(x)=P(X=x|A)=\frac{P(\left{X=x\right}\cap A)}{P(A)}$
Conditioning X on Y:
$P_{X|Y}(x|y)=P(X=x|Y=y)$
$=\frac{P(X=x,Y=y)}{P(Y=y)}$
$=\frac{P_{X,Y}(x,y)}{P_Y(y)}$
$=P(\{X=x\}\cap\{Y=y\})$
$=P(\{\omega\in\mathbb{\Omega}|X(\omega)=x\textrm{ and }Y(\omega)=y\})$
= Conditional expectation =
$E[X|A]=\sum_x x\cdot P_{X|A}(x)$
= Joint PMF of two DRVs =
X, Y: DRVs
$P_{X,Y}(x,y)=P(X=x,Y=y)$
= Independence =
Two DRVs $X$ and $Y$ are independent if
$P_{X,Y}(x,y)=P_X(x)P_Y(y)\;\;\;\forall x,y$
= Continuous RV (CRV) =
A RV $X$ is continuous if there exists a non-negative function $f_X()$ such that
$P(X\in B)=\int_B f_X(x)dx,\;\;\forall B\subset\mathbb{R}$
interval B가 $B=[a,b]$ 라면
$P(a\le X\le b)=\int_a^b f_X(x)dx$
페이지: [[연속확률변수,continuous_RV]]
= DRV and CRV =
|| || DRV || CRV ||
||PF || PMF [[br]] $P_X(x)=P(X=x)$ || PDF [[br]] $f_X(x),P(X\in B)=\int_B f_X(x)dx$ ||
||DF || CDF [[br]] $F_X(k)=P(X\le k)=\sum_{x\le k} P_X(x)$ || CDF [[br]] $F_X(x)=P(X\le x)=\int_{-\infty}^x f_X(t)dt$ ||
||Mean || $E[X]=\sum_x xP_X(x)$ || $E[X]=\int_{-\infty}^{\infty} xf_X(x)dx$ ||
||Var || $V(X)=\sum(x-E[X])^2P_X(x)$ || $V(X)=\int_{-\infty}^{\infty}(x-E[X])^2dx$ ||
= 독립 and Joint =
discrete에 independence가 있다면
continuous에 joint가 있다?
raised comma=⸴
||Independence ||P,,X⸴Y,,(x,y)=P,,X,,(x)·P,,Y,,(y) ||f,,X⸴Y,,(x,y)=f,,X,,(x)·f,,Y,,(y), ∀x,y ||
||Conditioning ||P,,X|Y,,(x|y)=P,,X⸴Y,,(x,y) / P,,Y,,(y) ||f,,X|Y,,(x|y)=f,,X⸴Y,,(x,y) / f,,Y,,(y) ||
이제부터 $P$ 와 $\mathbb{P}$ 를 구분하겠음
= Total expectation theorem =
A,,1,,, … A,,n,,: partition of Ω
$\mathbb{P}(A_i)>0$
$E[X]=\sum_{i=1}^n \mathbb{P}(A_i)E[X|A_i]$
$=\sum_{i} \mathbb{P}(A_i) \sum_x x P_{X|A_i}(x)$
$=\sum_{i} \mathbb{P}(A_i) \sum_x x\cdot \mathbb{P}(X=x|A_i)$
$=\sum_x x \sum_i \mathbb{P}(A_i) \mathbb{P}(X=x|A_i)$
전확률정리에 의해
$=\sum_x x \mathbb{P}(X=x)$
= Markov inequality =
대충 RV가 얼마 이상일 확률의 상한을 제시하는 그런 것인듯
그 상한은 평균에 비례.
Let $X$ be a nonnegative RV. Then $\forall a>0,$
$\mathbb{P}(X\ge a)\le \frac{E[X]}a$
Proof)
$1_{\{x\ge a\}}=\begin{cases}1,&\text{ if }x\ge a\\0,&\text{ if }x0)$ then,
$P(X\ge a)\le\frac{E(X)}{a}$
왜냐하면, 연속확률변수(c.r.v.) X에 대해,
$E(X)=\int_0^{\infty}xf_X(x)dx$
$=\int_0^a xf_X(x)dx+\int_a^{\infty}xf_X(x)dx$
$\ge\int_a^{\infty}xf_X(x)dx$
그런데 $a\le x<\infty$ 이므로,
$\ge\int_a^{\infty}af_X(x)dx$
$=a\int_a^{\infty}f_X(x)dx$
$=aP(X\ge a)$
따라서
$P(X\ge a)\le\frac{E(X)}{a}$
from 경북대 최영숙 확률과정 13. The Markov and Chebyshev Inequalities Multiple Random Variables http://www.kocw.net/home/search/kemView.do?kemId=1279832
= Chebyshev inequality =
체비셰프 부등식
For a RV $X$ with mean $\mu$ and variance $\sigma^2,\forall a>0,$
$\mathbb{P}(|X-\mu|\ge a)\le\frac{\sigma^2}{a^2}$
좌변을 다르게 표현하면
$\mathbb{P}(X-\mu>a\textrm{ or }X-\mu\le-a)$
아울러 다음도 당연히 성립
$\mathbb{P}(X-\mu\ge a)\le \mathbb{P}(X-\mu>a\textrm{ or }X-\mu\le-a)$
see also [[VG:부등식,inequality]]
Proof)
$\mathbb{P}(|X-\mu|\ge a)=\mathbb{P}((X-\mu)^2\ge a^2)$
Markov ineq.를 적용하면
$=\frac{E[(X-\mu)^2]}{a^2}$
from 건국대
----
Def.
Let $E(X)=m$ and $Var(X)=\sigma^2$ of R.V. $X.$
then, $P(|X-m|\ge a)\le\frac{\sigma^2}{a^2}\;(a>0)$
이유:
Let $D^2=(X-m)^2.$
By M.I.(Markov ineq.),
$P(D^2\ge a^2)\le\frac{E(D^2)}{a^2}=\frac{\sigma^2}{a^2}$
위 좌변의 괄호 안의 $D^2\ge a^2$ 은,
$\Leftrightarrow D\ge a,D\le -a$
$\Leftrightarrow |D|\ge a$
$\Leftrightarrow |X-m|\ge a$
Note 1.
$P(|X-m|0).$
$P(|X-m|\ge k\sigma)\le\frac{\sigma^2}{(k\sigma)^2}=\frac1{k^2}.$
좌변 괄호 안을 생각하면
For Gaussian random variable $X,$
$\left|\frac{X-m}{\sigma}\right|\ge k$
$Z:$ standard Gaussian random variable.
ex.
If continuous RV X with E(X)=15 and σ=3, find the upper bound for P(|X-m|>5).
sol.
By Chebyshev ineq, $P(|X-m|>5)\le\frac9{25}=0.36$
from 경북대 최영숙 확률과정 13. The Markov and Chebyshev Inequalities Multiple Random Variables http://www.kocw.net/home/search/kemView.do?kemId=1279832
= Chernoff bound =
Let $X_1,\cdots,X_n$ be [[i.i.d.]] Bernoulli RVs with parameter $p.$
Let
$S_n=\sum_{i=1}^n X_i,$
$\mu=E[S_n]=np.$
Then,
$\mathbb{P}(S_n\ge(1+\varepsilon)\mu)\le\left(\frac{e^{-\varepsilon}}{1+\varepsilon}\right)^{1+\varepsilon},\;\;\;\;\forall\varepsilon>0$
$\mathbb{P}$ 안의 내용
$S_n\ge(1+\varepsilon)\mu$ 을 다시 쓰면
$S_n-\mu\ge\varepsilon\mu$
즉, 평균에서 $\varepsilon\mu$ 만큼 벗어날 확률이 오른쪽 식만큼 bound가 된다.
또 다른 theorem:
$\mathbb{P}(S_n\le(1-\varepsilon)\mu)\le\left(\frac{e^{-\varepsilon}}{1-\varepsilon}\right)^{1-\varepsilon},\quad\quad 0<\varepsilon<1.$
증명에 앞서
(independent하면)
$E[XY]=E[X]E[Y]$
일반적으로
$E\left[\prod_i X_i\right]=\prod_i E[X_i]$
곱하기의 평균 = 평균의 곱하기
Proof)
$\mathbb{P}(S_n\ge(1+\epsilon)\mu)$
$=\mathbb{P}(tS_n\ge(1+\epsilon)\mu t)$
$=\mathbb{P}(e^{tS_n}\ge e^{(1+\epsilon)\mu t})$ Markov ineq.를 적용하면,
$\le\frac{E[e^{tS_n}]}{e^{(1+\epsilon)\mu t}}$
우변을 풀어서 써보면
$=e^{-(1+\epsilon)\mu t}E\left[\prod_{i=1}^n e^{tX_i}\right]$ 위의 independent 성질을 이용하면
$=e^{-(1+\epsilon)\mu t}\prod_{i=1}^n E[e^{tX_i}]$ (∵ independence of X,,i,,'s)
$=e^{-(1+\epsilon)\mu t}\prod_{i=1}^n\left( p\cdot e^t + (1-p) \right)$
$=e^{-(1+\epsilon)\mu t}\prod_{i=1}^n\left( 1+(e^t-1)p \right)$
부등식 $1+x\le e^x$ 를 이용하면
$\le e^{-(1+\epsilon)\mu t}\prod_{i=1}^n e^{(e^t-1)p}$
$=e^{-(1+\epsilon)\mu t}e^{(e^t-1)\mu}$
$=e^{-(1+\epsilon)\mu t+e^t\mu-\mu$
이 값을 최소화하려면, upper bound가 작으면 작을수록 좋으니까, t에 대해 미분해서 값이 0이 될 때를 생각하면
minimized at $t=\log(1+\epsilon)$
$=e^{(-(1+\epsilon)\log(1+\epsilon)+1+\epsilon-1)\mu}$
$=e^{(\log(1+\epsilon)^{-(1+\epsilon)}+\epsilon)\mu}$
$=e^{\mu\log((1+\epsilon)^{-(1+\epsilon)}e^{\epsilon})$
$=\left(\frac{e^{\epsilon}}{(1+\epsilon)^{1+\epsilon}}\right)^{\mu}$
$\mathbb{P}(S_n\ge(1+\epsilon)\mu)\le\left(\frac{e^{ \epsilon}}{(1+\epsilon)^{1+\epsilon}}\right)^{\mu}\le e^{-\frac{\epsilon^2\mu}{3}}$
$\mathbb{P}(S_n\ge(1-\epsilon)\mu)\le\left(\frac{e^{-\epsilon}}{(1-\epsilon)^{1-\epsilon}}\right)^{\mu}\le e^{-\frac{\epsilon^2\mu}{2}}$
$(1-\epsilon)^{1-\epsilon}>\exp(-\epsilon+\frac12\epsilon^2)$
$(1-\epsilon)\log(1-\epsilon)>-\epsilon+\frac12\epsilon^2$
(from 이향원 건대강의)
----
(from 이향원 [[http://kocw.net/home/search/kemView.do?kemId=991018 건대강의]])
----
MV TO [[VG:확률변수,random_variable]]
Up: [[확률및랜덤프로세스,probability_and_random_process]]