期望
- 设离散型随机变量 $X$ 的分布律为： $\displaystyle P\lbrace X=x_k\rbrace = p_k,\hskip 1em k=1,2,\cdots$。若级数 $\displaystyle \sum_{k=1}^\infty x_kp_k$ 绝对收敛，则称级数 $\displaystyle \sum_{k=1}^\infty x_kp_k$ 为变量 $X$ 的数学期望，记为 $E(X)$，即 $\displaystyle E(X)=\sum_{k=1}^\infty x_kp_k$
- 设连续性随机变量 $X$ 的概率密度为： $f(x)$。若积分 $\displaystyle \int_{-\infty}^{+\infty} xf(x)dx$ 绝对收敛，则称积分 $\displaystyle \int_{-\infty}^{+\infty} xf(x)dx$ 的值为随机变量 $X$ 的数学期望，记为 $E(X)$
定理
设 $Y$ 是随机变量 $X$ 的连续函数：$Y=g(X)$
- 如果 $X$ 是离散型随机变量，它的分布律为 $P\lbrace X=x_k\rbrace = p_k,\hskip 1em k=1,2,\cdots$；若 $\displaystyle \sum_{k=1}^{\infty} g(x_k)p_k$ 绝对收敛，则有 $$\displaystyle E(Y)=E\big[g(X)\big]=\sum_{k=1}^{\infty} g(x_k)p_k$$
- 如果 $X$ 是连续型随机变量，它的概率密度为 $f(x)$，若 $\displaystyle \int_{-\infty}^{+\infty} g(x)f(x)dx$ 绝对收敛，则有
$$\displaystyle E(Y)=E\big[g(X)\big]=\int_{-\infty}^{+\infty} g(x)f(x)dx$$
性质
设 $C$ 是常数，$X,Y$ 是两个随机变量，
$E(C) = C$
$E(CX)=CE(X)$，$E(CY)=CE(Y)$
$E(X+Y)=E(X)+E(Y)$
- 若 $X$ 和 $Y$ 相互独立，则 $E(XY)=E(X)E(Y)$
设二维随机变量 (X,Y) 的概率密度为 $f(x,y)$，其边缘概率密度为 $f_X(x)$，$f_Y(y)$ 所以，
\begin{align}
E(X+Y) &= \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} (x+y)f(x,y)dxdy \
&= \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} xf(x,y)dxdy + \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} yf(x,y)dxdy \
&= E(X)+E(Y)
\end{align}
又若 $X$ 和 $Y$ 相互独立，则
\begin{align}
E(XY) &= \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} xyf(x,y)dxdy \
&= \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} xyf_X(x)f_Y(y)dxdy \
&= \left[ \int_{-\infty}^{+\infty} xf_X(x)dx \right]\left[ \int_{-\infty}^{+\infty} yf_Y(y)dy \right] = E(X)E(Y)
\end{align}
方差
设 $X$ 是一个随机变量，若 $E\big\lbrace [X-E(X)]^2 \big\rbrace$ 存在，则称 $E\big\lbrace [X-E(X)]^2 \big\rbrace$ 为 $X$ 的方差，记为 $D(X)$ 或 $Var(X)$。
实际上，方差就是随机变量 $X$ 的函数 $g(X)=(X-E(X))^2$ 的数学期望。
- 若 $X$ 是一个离散型随机变量，且 $X$ 的分布律为： $\displaystyle P\lbrace X=x_k\rbrace = p_k,\hskip 1em k=1,2,\cdots$。则 $\displaystyle D(X)=\sum_{k=1}^{\infty} \big[ x_k-E(X) \big]^2p_k$
- 若 $X$ 是一个连续型随机变量，且 $X$ 的概率密度为： $f(x)$。则 $\displaystyle D(X)=\int_{-\infty}^{+\infty} \big[ x_k-E(X) \big]^2f(x)dx$
定理
设 $X$ 是一个随机变量
$\displaystyle D(X) = E(X^2)-\big[ E(X) \big]^2$
\begin{align}
D(X) &= E\big\lbrace [X-E(X)]^2 \big\rbrace = E\big\lbrace X^2 - 2XE(X) + [E(X)]^2 \big\rbrace \
&= E(X^2) - 2E(X)E(X) + [E(X)]^2 \
&= E(X^2) - [E(X)]^2
\end{align}
性质
设 $C$ 是常数，$X,Y$ 是两个随机变量，
- $D(C)=0$
- $D(CX) = C^2D(X)$，$D(X+C) = D(X)$
- $D(X)=0$ 的充要条件是 $X$ 以概率 1 取常数 $E(X)$，即 $P\big\lbrace X=E(X) \big\rbrace=1$
- $D(X+Y) = D(X)+D(Y)+2E\big\lbrace [X-E(X)][Y-E(Y)] \big\rbrace$
- 若 $X$ 和 $Y$ 相互独立，则 $D(X+Y)=D(X)+D(Y)$
\begin{align}
D(X+Y) &= E\big\lbrace [(X+Y)-E(X+Y)]^2 \big\rbrace \
&= E\big\lbrace [(X-E(X))+(Y-E(Y))]^2 \big\rbrace \
&= E\big\lbrace [X-E(X)]^2\big\rbrace + E\big\lbrace [Y-E(Y)]^2 \big\rbrace + 2E\big\lbrace [X-E(X)][Y-E(Y)] \big\rbrace \
&= D(X)+D(Y) + 2E\big\lbrace [X-E(X)][Y-E(Y)] \big\rbrace \
\end{align} 若 $X$ 和 $Y$ 相互独立，则
\begin{align}
& E\big\lbrace [X-E(X)][Y-E(Y)] \big\rbrace \
=& E\big\lbrace XY-XE(Y)-YE(X)+E(X)E(Y) \big\rbrace \
=& E\big\lbrace E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y) \big\rbrace \
=& E\big\lbrace E(XY)-E(X)E(Y) \big\rbrace = 0
\end{align} 故 $D(X+Y)= D(X)+D(Y) + 2E\big\lbrace [X-E(X)][Y-E(Y)] \big\rbrace $
- 若 $X$ 和 $Y$ 相互独立，则 $D(X+Y)=D(X)+D(Y)$
协方差
$E\big\lbrace [X-E(X)][Y-E(Y)] \big\rbrace$ 称为随机变量 $X$ 和 $Y$ 的协方差，记为 $Cov(X,Y)$，即
$$Cov(X,Y)=E\big\lbrace [X-E(X)][Y-E(Y)] \big\rbrace$$ 而 $\displaystyle \rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$ 称为随机变量 $X$ 和 $Y$ 的相关系数
性质
- $Cov(X,Y)=Cov(Y,X)$，$Cov(X,X)=D(X)$
- $Cov(X,Y)=E(XY)-E(X)E(Y)$
\begin{align}
Cov(X,Y) &=E\big\lbrace [X-E(X)][Y-E(Y)] \big\rbrace \
&=E\big\lbrace XY-XE(Y)-YE(X)+E(X)E(Y) \big\rbrace \
&= E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y) \
&= E(XY)-E(X)E(Y)
\end{align} - 若 $a$ 和 $b$ 是常数，则 $Cov(aX,bY)=abCov(X,Y)$
$$Cov(aX,bY) = E(aXbY)-E(aX)E(bY) = abE(XY)-abE(X)E(Y) = abCov(X,Y)$$
- $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
\begin{align}
Cov(X,Y) &= E\big\lbrace (X_1+X_2)Y\big\rbrace - E(X_1+X_2)E(Y) \
&= E(X_1Y)+E(X_2Y) - E(X_1)E(Y) - E(X_2)E(Y) \
&= \big\lbrace E(X_1Y)-E(X_1)E(Y) \big\rbrace + \big\lbrace E(X_2Y)-E(X_2)E(Y) \big\rbrace \
&= Cov(X_1,Y)+Cov(X_2,Y)
\end{align}
矩
设 $X$ 和 $Y$ 是随机变量，$k\in N^+$
- 若 $E(X^k)$ 存在，称它为 $X$ 的 $k$ 阶原点矩，简称 $k$ 阶矩
- 若 $E\big\lbrace [X-E(X)]^k \big\rbrace$ 存在，称它为 $X$ 的 $k$ 阶中心矩
- 若 $E(X^kY^l)$ 存在，称它为 $X$ 和 $Y$ 的 $k+l$ 阶混合矩
- 若 $E\big\lbrace [X-E(X)]^k[Y-E(Y)]^l \big\rbrace$ 存在，称它为 $X$ 和 $Y$ 的 $k+l$ 阶混合中心矩
协方差矩阵
设 $n$ 维随机变量 $(X_1,X_2,\cdots,X_n)$ 的二阶混合中心矩
$$c_{ij}=Cov(X_i,X_j)=E\big\lbrace [X_i-E(X_i)][X_j-E(X_j)] \big\rbrace, \hskip 1em i,j\in N^+$$
都存在，则称矩阵
\begin{align}
\mathbf C=\left(\begin{matrix}
c_{11} & c_{12} & \cdots & c_{1n} \
c_{21} & c_{22} & \cdots & c_{2n} \
\vdots & \vdots & & \vdots \
c_{n1} & c_{n2} & \cdots & c_{nn} \
\end{matrix}\right)
\end{align} 为 $n$ 维随机变量 $(X_1,X_2,\cdots,X_n)$ 的 协方差矩阵。
