最大似然估计
最大似然估计
假设有一个概率模型(这个是前提)，其概率密度函数为
是观测到的数据 是想要估计的模型参数
目标是，找到一组参数值
与贝叶斯估计不同的是，我们认为
似然函数
存在有一组独立的、同分布（i.i.d.）的观测数据
在给定参数
对数似然函数
为了方便计算，对似然函数取自然对数，得到对数似然函数：
由于对数函数是单调递增的，最大化似然函数
最大化与参数估计
最大似然估计量
为了找到这个最大值，计算对数似然函数对参数
求解这个方程，得到的解就是最大似然估计量
局限性
数据量较少时，会存在比较严重的过拟合问题
All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
Related Articles
2025-08-26
KL散度
KL散度 KL 散度（Kullback–Leibler divergence）是用来衡量两个概率分布之间差异的一种方法。它的数学表达式和理解可以分几个层次来看： 1. 数学定义 如果我们有两个概率分布 （真实分布）和 （近似分布），它们定义在同一个随机变量 上，则 离散情况下： 或者连续情况下： 2. 核心直觉 非对称性： 所以它不是一个真正的“距离”，而更像是一种有方向的差异测量 非负性 当且仅当 （几乎处处相等）时取等号 不变性（Invariance under transformation） 如果 是单射（可逆）变换，则 意思是：在做变量的可逆变换时，KL 散度值不变 非负性证明 函数 在 上是凸函数，由 Jensen 不等式，对于以 为权的随机变量 （这里 ）有： 同时 因此左边等于 ，于是 所以 。 取等条件：Jensen 取等号当且仅当 几乎处处为常数，即 在 几乎处处为常数，但 ，所以该常数必须为 1，从而 ，所以 不变性证明 若 是可逆（双射）且可测的变换，令 。若 在 上有密度 ，则 在 上的密度分别为 ，并且 假设...
2025-08-14
PDF与特征函数
PDF与特征函数 特征函数和概率密度函数是描述随机变量概率分布的两种重要数学工具，它们之间存在着一种深刻而优美的傅里叶变换对（Fourier Transform Pair）关系 简单来说，PDF 描述的是随机变量在实数域上的行为，而特征函数描述的是随机变量在频域上的行为，它是PDF 的傅里叶变换 对于一个连续型随机变量 ，其概率密度函数为 特征函数 定义为 的期望，即： 这个公式正是傅里叶变换的定义,它把 这个定义在实数域上的函数，变换到了频域上的函数 因为它们是傅里叶变换对，所以我们可以通过傅里叶逆变换，从特征函数反过来得到 PDF： 这个公式表明，只要我们知道了一个随机变量的特征函数，就可以唯一地、精确地还原出它的概率密度函数 为什么说这是一种强大的关系？ 唯一性：这种傅里叶变换对的关系保证了一一对应,这是我们能够利用特征函数来证明分布性质的根本原因 数学运算的简便性：某些在实数域内非常复杂的运算，在频域会变得异常简单 独立随机变量的和：如果 和 是独立的，那么它们的和 的特征函数是它们各自特征函数的乘积：，而在 PDF 域，这需要进行复杂的卷积运算：...
2025-08-13
蒙特卡洛方法与链式法则
蒙特卡洛方法 核心思想：利用随机抽样逼近期望值 蒙特卡洛方法利用随机抽样来近似计算一个量的期望值，从而解决该量的数值问题，这个量通常是积分 假设我们想要计算一个函数 在某个概率分布 下的期望值 ： 当这个积分很难直接计算时，蒙特卡洛方法提供了一种近似解法 从概率分布 中独立地抽取 个样本点： 利用这些样本点来近似期望值： 被称为蒙特卡洛估计量 大数定律 根据大数定律（Law of Large Numbers），当样本数量 时，样本均值会收敛到期望值： 链式法则 假设我们有两个随机变量 和 ，它们的联合概率 可以表示为： 或者 这两种形式是等价的，根据条件概率的定义 很容易推导出来。 推广 对于多个随机变量 ，它们的联合概率 可以通过链式法则分解为： 更一般的形式是： 特别地，这里的 就是
2025-08-11
贝叶斯估计
贝叶斯估计 核心：把参数本身也看作是随机变量 在最大似然估计中，模型参数被认为是一个固定但未知的值，我们通过数据来“猜”出它最可能的值 而在贝叶斯估计中，我们认为参数是一个服从某个概率分布的随机变量,这个概率分布描述了我们对所有可能取值的信念（belief） 过程: 先验信念 + 观测数据 后验信念 这三个关键概念分别对应： 先验分布 (Prior Distribution) ：在看到任何数据之前，我们对参数 的初始信念,反映了我们对参数的先验知识或经验 似然函数 (Likelihood Function) ：和最大似然估计中的似然函数是同一个概念,描述了在给定参数 的情况下，观察到现有数据 的概率。 后验分布 (Posterior Distribution) ：在观察到数据 之后，我们对参数的更新后的信念,结合了先验信念和数据提供的新信息 这三者之间的关系由贝叶斯定理(Bayes’ Theorem)来描述： 其中： ：后验分布 ：似然函数 ：先验分布 ：边缘似然(Marginal Likelihood)，用于对后验分布进行归一化 因此，贝叶斯定理可以简化...
2025-08-21
高斯分布的非线性封闭性
3. 如果,是高斯分布，那么正比于高斯分布 情形1:不同变量与 (独立联合分布) 设 定义： 这个 就是块对角矩阵（block diagonal matrix），因为 和 独立，协方差的交叉项为 0 直接相乘： 注意常数项： 其中 表示块对角矩阵，行列式等于子块行列式的乘积 把两部分二次型加起来： 正好等于： 因为块对角矩阵的逆仍然是块对角形式： 于是： 这正好就是： 也就是说，独立的两个高斯的乘积，等于它们拼成的联合高斯分布 情形2：同一变量 上两份高斯相乘 若 则 其中 首先，关注指数项： 令 则有 代回去得到 与无关的常数 因此 常数 即 新的常数 从而证明了“成比例于高斯” 4. 边缘封闭性：如果是高斯分布，那么也是高斯分布 设联合高斯向量 则边缘分布 使用特征函数进行证明 联合高斯向量 的特征函数为 令,则： 边缘 的特征函数就是把 代入联合特征函数： 这正是均值 、协方差 的高斯分布的特征函数，特征函数唯一确定分布，故 证明：边缘 的特征函数就是把 代入联合特征函数 设随机向量 的联合分布为 ，它的...
2025-08-17
高斯分布
高斯分布 一维高斯分布 一维高斯分布的概率密度函数（PDF）呈钟形： 均值 ：决定了钟形曲线的中心位置 方差 ：决定了钟形曲线的胖瘦程度 公式为： 用符号 来表示随机变量 服从均值为 、方差为 的高斯分布 二维高斯分布 二维高斯分布的形状由以下参数决定： 均值向量 ： 表示分布的中心点在平面上的位置 协方差矩阵 ：描述了两个维度之间的方差和协方差关系 二维高斯分布的概率密度函数公式为： 是一个二维数据点， 是协方差矩阵的行列式。 维高斯分布（多元高斯分布） 多元高斯分布由以下参数决定： 均值向量 ：一个 维向量，表示分布的中心 协方差矩阵 ： 一个 的对称正定矩阵，对角线元素是各维度的方差，非对角线元素是协方差 维高斯分布的概率密度函数公式为： 这里， 是一个 维数据向量 特别地，VAE中出现的都是对角矩阵 高斯分布的特征函数 推导核心：配方法(completing the square) 来求解积分 推导 的特征函数 定义和初始设置 n维高斯分布的 PDF： 特征函数的定义： 积分代入和准备 将 PDF 代入特征函数的定义中： 将...
