多変量正規分布

　正規分布に従う確率変数をベクトルの形でまとめたものは、多変量正規分布（multivariate normal distribution）に従います。具体的には正規分布に従う確率変数\(X_{i}\sim N(\mu_{i},\sigma_{i}^{2})\)（\(i=1,\cdots,p\)）を、ひとつのベクトル\(X={}^{T}(X_{1},\cdots,X_{p})\)にまとめたものが、多変量正規分布に従います。このとき、\(X_{i},X_{j}\)（\(i\neq j\)）は互いに独立でなくても構いません。そこで、\(X_{i}\)と\(X_{j}\)（\(i\neq j\)）の共分散を\(\sigma_{ij}\)とおきます。多変量正規分布のパラメータは期待値\(\mu_{i}\)、分散\(\sigma_{i}^{2}\)、共分散\(\sigma_{ij}\)（\(i\neq j\)）をまとめた

\begin{align}
\mu = \left(\begin{array}{c}
\mu_{1} \\
\vdots \\
\mu_{p}
\end{array}\right),\ \ \ \ \Sigma=\left(\begin{array}{cccc}
\sigma_{1}^{2} & \sigma_{12} & \cdots & \sigma_{1p} \\
\sigma_{21} & \sigma_{2}^{2} & \cdots & \sigma_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
\sigma_{p1} & \sigma_{p2} & \cdots & \sigma_{p}^{2}
\end{array}\right)
\end{align}

を用いて表されます。多変量正規分布に従う\(p\)次変量確率変数は記号で\(X\sim N_{p}(\mu,\Sigma)\)と表されます。特に\(p=1\)のとき、多変量正規分布は正規分布と同じものになります。

※正規分布については以下のリンクからお願いします。

正規分布（ガウス分布）

　正規分布（ガウス分布、normal distribution）は、連続型の確率分布です。正規分布は数学的にも便利な性質をたくさん持っているため…

1 多変量正規分布の基本情報
2 多変量正規分布と正規分布
3 多変量正規分布と確率変数の独立性
4 多変量正規分布に従う確率変数の線形関数
5 多変量正規分布とウィシャート分布
6 条件付き正規分布
7 多変量正規分布と関連深い確率分布

多変量正規分布の基本情報

※　表は横にスクロールできます。

パラメータ	\(\mu,\ \ \ 0 < \Sigma\) ただし、\(\Sigma >0\)は\(\Sigma\)が正定値行列を表します。
確率変数の範囲	\(-\infty< x_{i} <\infty \),（\(i=1,\cdots,p\)）
確率密度関数	\(\displaystyle \frac{1}{\sqrt{(2\pi)^{p}\|\Sigma\|}}\exp\left[ -\frac{1}{2}{}^{T}\!(x-\mu)\Sigma^{-1}(x-\mu) \right] \)
積率母関数	\(\displaystyle \exp\left[ {}^{T}\!\mu t+\frac{1}{2}{}^{T}\!t\Sigma t \right] \)
特性関数	\(\displaystyle \exp\left[ i{}^{T}\!\mu t-\frac{1}{2}{}^{T}\!t\Sigma t \right] \)
キュムラント母関数	\(\displaystyle {}^{T}\!\mu t+\frac{1}{2}{}^{T}\!t\Sigma t\)
\(r\)次キュムラント	\(\kappa_{r}=0（r>2）\)
期待値	\( \displaystyle \mu \)
分散共分散行列	\( \displaystyle \Sigma \)

多変量正規分布と正規分布

　\(p\)次の多変量正規分布に従う確率変数\(X\sim N_{p}(\mu,\Sigma)\)について、\(p=1\)としたときの分布\(X\sim N(\mu,\sigma^{2})\)は正規分布と一致します。このことは、多変量正規分布の確率密度関数で\(p=1\)とすると

\begin{align}
f(x) &= \frac{1}{\sqrt{2\pi\sigma^{2}}}\exp\left[ -\frac{1}{2\sigma^{2}}(x-\mu)^{2} \right]
\end{align}

となることから、正規分布と一致することが確認できます。

正規分布（ガウス分布）

　正規分布（ガウス分布、normal distribution）は、連続型の確率分布です。正規分布は数学的にも便利な性質をたくさん持っているため…

多変量正規分布と確率変数の独立性

　\(p\)次の多変量正規分布に従う確率変数\(X\sim N_{p}(\mu,\Sigma)\)について、もし分散共分散行列にあたる\(\Sigma\)が対角行列

\begin{align}
\Sigma &= \left(\begin{array}{cccc}
\sigma_{1}^{2} & 0 & \cdots & 0 \\
0 & \sigma_{2}^{2} & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \sigma_{p}^{2}
\end{array}\right)
\end{align}

となっているとき、確率変数\(X_{i}\)と\(X_{j}\)（\(i\neq j\)）の共分散が\(0\)となっているので、共分散の性質から\(X_{i}\)と\(X_{j}\)（\(i\neq j\)）は互いに独立となることを意味します。

※共分散については以下のリンクからお願いします。

共分散の定義【確率変数の共分散を知る】

学習レベル：高校生　難易度：★☆☆☆☆ 共分散は、データ同士の相関関係を表します。これは2組の確率変数を入手した時、2組の確率変数の間にどのよう…

多変量正規分布に従う確率変数の線形関数

　\(p\)次の多変量正規分布に従う確率変数\(X\sim N_{p}(\mu,\Sigma)\)について、
行列\(A\)を\(p\times p\)の非特異行列、ベクトル\(b\)を\(p\)次のベクトルとすると、
\begin{align}
Y = AX+b \sim N_{p}(A\mu+b,A\Sigma\ {}^{T}\!A)
\end{align}
が成り立ちます。
　
　\(p\)次の多変量正規分布に従う確率変数\(X\sim N_{p}(\mu,\Sigma)\)について、行列\(A\)を\(q\times p\)の\(\mathrm{rank}(A)=q\leq p\)が成り立つとき、
\begin{align}
Z = AX \sim N_{q}(A\mu,A\Sigma\ {}^{T}\!A)
\end{align}
となります。

多変量正規分布とウィシャート分布

　\(p\)次の多変量正規分布に従う確率変数\(X_{i}\sim N_{p}(0,\Sigma)\)（\(i=1,\cdots,n\)）について、それぞれの確率変数が互いに独立だった場合

\begin{align}
X_{1}\ {}^{T}X_{1} + \cdots + X_{n}\ {}^{T}X_{n} \sim W_{p}(n,\Sigma)
\end{align}

が成り立ちます。ここで\(W_{p}(n,\Sigma)\)は自由度\(n\)のウィシャート分布を表します。
　期待値\(0\)でない場合の確率変数\(X_{i}\sim N_{p}(\mu_{i},\Sigma)\)（\(i=1,\cdots,n\)）でも同様のことが成り立ち、

\begin{align}
X_{1}\ {}^{T}X_{1} + \cdots + X_{n}\ {}^{T}X_{n} \sim W_{p}\left(n\ ,\ \Sigma\ ;\ \sum_{i=1}^{n}\mu_{i}\ {}^{T}\mu_{i}\right)
\end{align}

となります。ただし、\( W_{p}\left(n\ ,\ \Sigma\ ;\ \sum_{i=1}^{n}\mu_{i}\ {}^{T}\mu_{i}\right) \)は非心ウィシャート分布を表します。

条件付き正規分布

　\(p\)次の多変量正規分布に従う確率変数を\(X = {}^{T}(X_{1}\ X_{2})\sim N_{p}(\mu,\Sigma)\)と分割します。ただし、\(X_{1}\)は\(p_{1}\)次の確率変数、\(X_{2}\)は\(p_{2}\)次の確率変数であり\(p_{1}+p_{2}=p\)が成り立っています。
　\(X\)が多変量正規分布に従っていることから、\(X_{1}\)と\(X_{2}\)も多変量正規分布に従います。よって

\begin{align}
X_{1}\sim N_{p_{1}}(\mu_{1},\Sigma_{11}),\ \ X_{2} \sim N_{p_{2}}(\mu_{2},\Sigma_{22})
\end{align}

と表すことができます。ただし、\(\mu\)と\(\mu_{1},\ \mu_{2}\)、\(\Sigma\)と\(\Sigma_{11},\ \Sigma_{22}\)とはつぎのような関係があります。

\begin{align}
\mu = \left( \begin{array}{c}
\mu_{1} \\
\mu_{2}
\end{array}\right), \Sigma = \left( \begin{array}{cc}
\Sigma_{11} & \Sigma_{12}\\
\Sigma_{21} & \Sigma_{22}
\end{array}\right)
\end{align}

このとき、\(X_{1}\)が与えられたとき、\(X_{2}\)の条件付き分布も正規分布に従い、

\begin{align}
X_{2}\,|\,X_{1} \sim N_{p_{2}} \left( \mu_{2}+\Sigma_{21}\Sigma_{11}^{-1}(x_{2}-\mu_{2}),\ \Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12} \right)
\end{align}

となります。つまり、条件付き期待値、条件付き分散が

\begin{align}
\mathrm{E}[X_{2}|X_{1}] &= \mu_{2}+\Sigma_{21}\Sigma_{11}^{-1}(x_{2}-\mu_{2}) \\
\mathrm{Var}[X_{2}|X_{1}] &= \Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12}
\end{align}

となる、条件付き正規分布に従います。

上では\(X_{1}\)を与えた下で\(X_{2}\)の条件付き正規分布を紹介していますが、逆に\(X_{2}\)を与えた下で\(X_{1}\)の条件付き正規分布を与えることもあります。このとき、条件付き期待値と条件付き分散は

\begin{align}
\mathrm{E}[X_{1}|X_{2}] &= \mu_{1}+\Sigma_{12}\Sigma_{22}^{-1}(x_{1}-\mu_{1}) \\
\mathrm{Var}[X_{1}|X_{2}] &= \Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}
\end{align}

となります。

証明は行列変量正規分布で行います（行列変量正規分布の証明のなかで、\(n=1\)で置き換えるとこの証明は完了します）。