协方差和协方差矩阵的应用范围特别广泛，常用于多元高斯分布、高斯过程、卡尔曼滤波等算法中。本文从协方差和协方差矩阵入手，着重介绍协方差矩阵。高斯分布的用法和意义也是解释高斯过程和贝叶斯优化的基础。

求和中使用两个随机变量X和Y的协方差来衡量两个变量的总体。用于描述两个随机变量之间的相关性：

假设我们不知道底层的概率分布，我们取n个样本来计算：

分别计算这n个样本的两个变量的均值，这两个变量的协方差可以是用于计算：

因为所有的变量都是有维度的，如果剔除每个维度的影响，用协方差除以两个变量的标准差，就可以得到相关系数：

随机向量：

我们计算所有元素的成对协方差，形成一个协方差矩阵：

这是一个对称矩阵，对角线是每个变量的方差。如果是对角矩阵，

协方差矩阵的形式如下：

协方差矩阵与多元高斯分布

概率的推导 density of multivariate Gaussian distribution

设置多元高斯分布如下：均值向量为μ，协方差矩阵为 Σ

与单变量高斯分布，概率密度函数的形式发生了变化，这种变化是怎么来的呢？我们通过二元高斯分布推导出这个密度函数的由来。

对于二元高斯分布，我们设：

现在推导出二元高斯分布的密度函数公式：

这个联合概率密度函数是各自概率密度函数的乘积，表明两个变量是独立的。这种独立性体现在我们的协方差矩阵中，即只有对角线元素不为零，两个变量是独立的，所以联合概率密度可以表示为两个变量概率密度的乘积。

二维高斯分布函数图

我们看两个自变量投影在XoY平面上的二维高斯分布图的函数表达式

Order :

Get:

显然这是一个椭圆曲线的表达式。

我们看两种情况，一种是协方差矩阵是对角矩阵（变量之间相互独立），另一种是协方差矩阵是非对角矩阵（变量之间相互独立）有关系）。

我们用matlab直观地展示一下：

下图展示两个变量的均值为零，协方差矩阵为：

其三维曲面如下：

在XOY平面上的投影如下：

本文主要讲解协方差矩阵及其在高斯分布中的意义和用法，协方差矩阵在高斯过程中有着非常重要的意义。如果不能很好地理解协方差矩阵，就无法很好地理解高斯过程。