概率论 (1) 学习 (3) 多元正态分布 (1)

多元正态分布的定义

变量

$$\xi {\rm{ = }}\left[ \begin{array}{l} {\xi _1}\\ {\xi _2}\\ \vdots \\ {\xi _n} \end{array} \right]$$

参数

$$\mu {\rm{ = }}\left[ \begin{array}{l} {\mu _1}\\ {\mu _2}\\ \vdots \\ {\mu _n} \end{array} \right]$$ $$\sum = \left( {\begin{array}{*{20}{c}} \sigma _{11}& \ldots &\sigma _{1n}\\ \vdots & \ddots & \vdots \\ \sigma _{n1}& \cdots &\sigma _{nn} \end{array}} \right)$$

其中$\mu _n $表示$E\xi _n$ ,$\sigma _{ij}$表示$cov(\xi_i,\xi_j)$，因此矩阵$\Sigma$是正定对称矩阵，且被称作协方差矩阵。

二维情况

对于二元正态分布$N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$,根据协方差矩阵的定义，二元协方差矩阵可表示为

$$\Sigma=\left( {\begin{array}{*{20}{c}} {\sigma _1}^2&\rho \sigma _1\sigma _2\\ \rho \sigma _1\sigma _2&{\sigma _2}^2 \end{array}} \right)$$

密度函数

$$p(x) = \frac{1}{(2\pi )^{n/2}{(\det \sum )}^\frac{1}{2}}\exp \{ - \frac{1}{2}{(x - \mu )^T}{\Sigma ^{ - 1}}(x - \mu )\}$$

注：一元情形$p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

因此当$det\Sigma=0$时，密度函数不存在，此时该正态函数称为退化正态分布。

其中向量为列向量。可简记为$N(\mu,\Sigma)$

特征函数

$$f(t)=exp\{i\mu^T t-\frac{1}{2}t^T\Sigma t\}$$

注：一元情形$f(t)=e^{i\mu t-\frac{1}{2}\sigma^2t^2}$ 可以做一个对照

性质

独立性

二元正态分布$\xi_1,\xi_2$相互独立的充要条件是他们两两不相关（$\rho=0$）

对于n元正态分布，$\xi_1,\xi_2,\xi_3,…\xi_n$它们相互独立的充要条件是两两不相关,即$\sigma_{jk}=0=\rho_{jk}$ ,即矩阵$\Sigma$是对角矩阵，此时

$$t^T\Sigma t=\sigma_{11}t_1^{2}+\sigma_{22}t_2^{2}+..+\sigma_{nn}t_n^{2}$$

即$f(t_1,t_2,…t_n)=\prod\limits_{k = 1}^{n} f_{\xi _k}(t_k)$根据特征函数的性质可得

线性变换

对于n元正态分布，考虑线性组合$\varsigma=\sum\limits_{j=1}^{n}l_j\xi_j=l^T\xi$

此时，显然$E\varsigma=\sum\limits_{j=1}^{n}l_j\mu_j=l^T\mu$,$D\varsigma=\sum\limits_{j=1}^{n}\sum\limits_{k=1}^{n}l_jl_k\sigma_{jk}=l^T\Sigma l$

而对于n元正态分布转化为m元正态分布，即$\eta=C\xi$,$C$是一个$m\times n$矩阵，则

$E\eta=C\mu,D\eta=C\Sigma C^T$,即$\eta \sim N(C\mu,C^T\Sigma C)$

线性变换不变性

对于$n$元正态分布，存在一个正交变换$U$,则$\eta=U\xi$满足独立正态分布，且它的方差分量是$\Sigma$的特征值。

正态变量在线性变换下保持其正态性不变。

例题：$(\xi,\eta)$服从$N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$，而$U=a\xi+b\eta,V=c\xi+d\eta$

解: 由上面公式得

$$\Sigma=\left( {\begin{array}{*{20}{c}} {\sigma _1}^2&\rho \sigma _1\sigma _2\\ \rho \sigma _1\sigma _2&{\sigma _2}^2 \end{array}} \right) ， C = \left( {\begin{array}{*{20}{c}} a&b\\ c&d \end{array}} \right)$$

则$EU=a\mu_1+b\mu_2,EV=c\mu_1+d\mu_2,DU=a\sigma_1^2+b\sigma_2^2+2ab\rho \sigma_1\sigma_2,DV=c\sigma_1^2+d\sigma_2^2+2cd\rho \sigma_1\sigma_2$

$cov(U,V)=\Sigma^{‘}_{12}=ac\sigma_1^2+ad\rho\sigma_1\sigma_2+bc\rho\sigma_1\sigma_2+bd\sigma_2^2$

$\therefore \rho_{UV}=cov(U,V)/\sqrt{DUDV}$

条件分布

首先对于n元正态分布，有两个子向量$(\xi_1,\xi_2)$，构造一个正交变换$U$生成两个相互独立的子向量。

设线性变换为 $\eta_1=\xi_1;\\ \qquad\eta_2=T\xi_1+\xi_2;$

带入得$T=-\Sigma_{21}\Sigma_{11}^{-1}$,所以线性变换为

$$\left( \begin{array}{l} \eta _1\\ \eta _2 \end{array} \right) = \left( {\begin{array}{*{20}{c}} I&0\\ {-\Sigma _{21}\Sigma _{11}^{ - 1}}&I \end{array}} \right)\left( \begin{array}{l} \xi _1\\ \xi _2 \end{array} \right)$$

有$E\eta_1=E\xi_1,D\eta_1=D\xi_1,E\eta_2=\mu_2-\Sigma_{21}\Sigma_{11}^{-1}\mu_1,D\eta_2=\Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12}$

$detU=1,\therefore det\Sigma^{‘}=det\Sigma,\therefore p_\eta(y_1,y_2)=p_\xi(x_1,x_2)$

因为$\eta_1,\eta_2$独立，所以

$$p(x_2|\xi_1=x_1)=\frac{p\xi(x_1,x_2)}{p{\xi_1}(x_1)}=\frac{p{\eta_1}(x_1)p{\eta_2}(y_2)}{p{\eta_1}(y_1)}=p{\eta_2}(y_2)=p{\eta_2}(x_2-\Sigma{21}\Sigma_{11}^{-1}x_1)$$

所以条件分布即$\eta_2\sim N(\mu_2-\Sigma_{21}\Sigma_{11}^{-1}\mu_1,\Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12})$

在二元场合即为$N(\mu_2-\rho\frac{\sigma_2}{\sigma_1}(x_1-\mu_1),\sigma_2^{2}(1-\rho^2))$

本文由 Xdmegumi 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为:2018-06-19 14:08:32