正态分布是高斯概率分布。 高斯概率分布是反映中心极限定理原理的函数,该定理指出当随机样本足够大时,总体样本将趋向于期望值,而离期望值越远的值将越少出现 频繁地。 高斯积分是高斯函数在整条实数线上的定积分。 这三个主题,高斯函数、高斯积分和高斯概率分布是如此交织在一起,以至于我认为最好同时尝试解决这三个主题(但我错了,这是本文的另一个主题)。 在这篇文章中,我们将首先研究高斯函数的一般定义是什么,然后我们将研究高斯积分,其结果对于确定正态分布的归一化常数是必要的。 最后,我们将使用收集到的信息来理解和推导正态分布方程。
首先,让我们了解一下高斯函数到底是什么。 高斯函数是结合指数函数 exp(x) 和凹二次函数的函数,例如 -(ax^2 bx c) 或 -(ax^2 bx) 或只是 -ax^2。 其结果是一系列形状为“形曲线”的A函数。
两个高斯函数的绘图。 对于第一个高斯(绿色),λ=1 和 a=1。 第二个(橙色)具有 λ=2 和 a=1.5。 这两个功能都没有标准化。 也就是说,曲线下的面积不等于 1。
大多数人都熟悉这些类型的曲线,因为它们在概率和统计中被广泛使用,尤其是作为正态分布随机变量的概率密度函数 . 在这些情况下,该函数的系数和参数都可以缩放“钟形”的幅度、改变其标准偏差(宽度)并移动均值,所有这些都由曲线下的面积归一化(缩放钟形以使面积 这样做时,曲线下始终等于 1)。 结果是一个高斯函数,其中包含一大堆影响结果的参数。
将其视为均值 = μ 且标准差 = σ 的正态分布方程。 将此与高斯λexp(-ax^2)的一般形式进行对比,我们可以看出:
首项系数λ有时表示为1/Z,其中Z=√2πσ^2,正好为一 这样的结果把我们带到了本文的一个要点:√2πσ^2 有时被称为自变量正态分布的归一化常数,1/√2πσ2 被称为归一化常数。 在这两种情况下,公式中都有 π,它是从哪里来的? 它通常与圆形、径向对称和/或极坐标相关联。 单个变量的函数如何将 π 作为其主要系数中的归一化参数之一?
可以参考我们之前的文章,里面有很详细的描述
高斯积分
不定积分 ∫ exp(x^2) dx 不能用初等函数求解 . 有什么积分方法可以用来求解不定积分吗?
如上所述,可以计算定积分,方法是首先对高斯函数求平方,以在 x 和 y 中生成具有径向对称二维图的双变量函数。 这会将笛卡尔坐标系转换为极坐标,从中可以使用更熟悉的积分方法(例如排列)执行积分。 然后,简单地取结果的平方根(因为我们在开始时对积分求平方)就得到了我们的答案,顺便说一句,结果是√π。
对高斯积分求平方
该方法的第一步是对积分求平方——也就是说,我们从一维转换为二维,以便我们可以使用多变量的技术 求解积分的微积分
可以改写为:
这两个关于x和y的积分是等价的; 所以它相当于 x 的单个积分的平方。 由于变量 x 和 y 是独立的,您可以通过编写将它们移入和移出第二个积分符号:
如果您不熟悉如何求解二重积分,请不要担心。 首先简单地使用内部变量进行积分以获得单个积分。 然后对左边的变量和外面的变量进行积分。 但现在还没有必要这样做。 这里注意,当我们对积分进行平方时,我们得到一个二维图形径向对称高斯函数。 用 x 和 y 表示积分 e 的指数是 – (x^2 y^2) 给了我们下一步应该做什么的线索。
转换为极坐标
这里棘手的部分是我们必须将笛卡尔坐标下的二重积分转换为极坐标下的二重积分。
为了对极坐标中的无限区域进行积分,我们首先对 exp(−r²) 进行积分,半径 r 从 x=0 开始并延伸到无穷大。 结果是一个无限薄的楔形,看起来像我们原始一维高斯曲线的一半。 然后我们围绕 Z 轴旋转楔子,并累积无限数量的这些极薄的楔子。 也就是说 – 我们在 π 从 0 到 2π 时进行积分。
我们的二重积分现在看起来像这样:
我们可以用 r^2 替换指数中的 −(x^2 y^2),感谢 Pida goras。 但是我们仍然需要将微分从矩形转换为极坐标。
微分的变换简单地表示如下:
无论如何,我们的二重积分现在看起来像这样:
添加适当的积分界限:
如果我们设u=r^2,则du=2r,我们可以这样写(对于内积分)
然后求外积分:
所以:
当我们在下一节中求解归一化常数时,这个结果很重要。
正态分布函数的推导
现在我们具备了推导正态分布函数的所有先决条件。 下面将分两步进行:首先,确定我们需要的概率密度函数。 这意味着无论为 λ 选择什么值,以 λ 为单位重新转换 -a- 会产生一个曲线下面积始终为 1 的函数。 然后通过随机变量的方差 σ^2 转换 λ。 对实线上的方差进行积分,我们得到了前导系数 √2πσ^2 中归一化常数所需的项和分母中所需的指数 2σ^2 项。 我们将使用分部积分来求解方差积分。
概率密度函数的推导
我们将从广义高斯函数f(x)=λ exp(−ax^2)开始,正态分布下的面积一定是 等于 1 所以我们首先设置广义高斯函数的值,它在整个实线积分上等于 1
这里,将 -a- 替换为 a^2 会稍微修改高斯分布。 你为什么要这样做? 因为它可以用U代换来求解这个积分。 为什么我们可以这样做? 由于 -a- 是一个任意常数,a^2 也只是一个任意常数,可以使用 U 代入求解。 设u=ax和du=a dx即dx=du/a,因为λ和1/a是常量我们可以将它们移到积分符号外得到:
我们从上面的讨论开始 的高斯积分,我们知道右边的积分值等于√π。 这可以改成:
求解-a-可以这样写:
根据已经求出的λ和-a-的关系, 修改后的高斯也要求等于1,所以我们可以进一步修改,将a^2替换为πλ^2,写成:
无论λ取多少,这条曲线下的面积始终为1 . 这是我们的概率密度函数。
确定归一化常数
在获得归一化概率分布函数之前还有一件事要做:必须将 λ 重写为随机变量方差 σ^2 的函数 . 这将涉及对实线上的方差表达式进行积分,因此需要按部分进行积分才能做到这一点。
给定概率密度函数 f(x) 和均值 μ,方差定义为与均方 (x – μ)^2 的偏差乘以概率密度函数 f( 的积分 x):
假设μ=0,因为已经有一个概率密度函数h(x),所以可以写成
采用分部积分法求解 这个积分:
第一项变为零,因为指数中的 x^2 项趋向于 ∞ 比前一个分子中的 – x 项快得多,所以我们得到右侧
的被积函数是概率密度函数,已知对整条实数线求积分时其值为1:
求解λ得到:
1 /√2πσ of λ ^2 代入我们修改后的公式(即我们的概率密度函数),我们得到:
剩下要做的就是将平均值μ代入指数的分子,使得 该值沿 x 轴平移图形:
这就完成了等式 n 推导
By Manin Bocss