泛函与变分
泛函与变分
泛函（functional）
- 输入：一个 函数
- 输出：一个数（标量）
- 泛函本质上就是 作用在函数域上的“函数”
常见例子
积分型泛函
输入一个函数
，输出它在区间 上的积分 带权积分泛函
这是变分法里常见的泛函，输入函数
，输出一个实数 点值泛函
输入函数
，输出它在某个点 的值
变分
变分类似，但是它处理的是函数的函数，也就是泛函（functional）
泛函：把函数作为输入，输出一个数的对象。例如：
这里
是一个函数， 是一个数 变分问题：找出哪个函数
能让 最大或最小
人工神经网络本质上在进行变分
给定量集合
- Loss就是一个泛函
- 在函数空间
中做泛函的极小， 是连续函数的空间，无穷维
- 参数化
- 选定参数空间是人工神经网络形式的函数
， 是一层人工神经网络变换， 是全部的人工神经网络参数 有限维空间中求解
VAE中进行的变分
上述式子对于任意PDF
均成立，即自变量为所有PDF的函数空间 泛函为：
All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
Related Articles
2025-08-26
KL散度
KL散度 KL 散度（Kullback–Leibler divergence）是用来衡量两个概率分布之间差异的一种方法。它的数学表达式和理解可以分几个层次来看： 1. 数学定义 如果我们有两个概率分布 （真实分布）和 （近似分布），它们定义在同一个随机变量 上，则 离散情况下： 或者连续情况下： 2. 核心直觉 非对称性： 所以它不是一个真正的“距离”，而更像是一种有方向的差异测量 非负性 当且仅当 （几乎处处相等）时取等号 不变性（Invariance under transformation） 如果 是单射（可逆）变换，则 意思是：在做变量的可逆变换时，KL 散度值不变 非负性证明 函数 在 上是凸函数，由 Jensen 不等式，对于以 为权的随机变量 （这里 ）有： 同时 因此左边等于 ，于是 所以 。 取等条件：Jensen 取等号当且仅当 几乎处处为常数，即 在 几乎处处为常数，但 ，所以该常数必须为 1，从而 ，所以 不变性证明 若 是可逆（双射）且可测的变换，令 。若 在 上有密度 ，则 在 上的密度分别为 ，并且 假设...
2025-08-14
PDF与特征函数
PDF与特征函数 特征函数和概率密度函数是描述随机变量概率分布的两种重要数学工具，它们之间存在着一种深刻而优美的傅里叶变换对（Fourier Transform Pair）关系 简单来说，PDF 描述的是随机变量在实数域上的行为，而特征函数描述的是随机变量在频域上的行为，它是PDF 的傅里叶变换 对于一个连续型随机变量 ，其概率密度函数为 特征函数 定义为 的期望，即： 这个公式正是傅里叶变换的定义,它把 这个定义在实数域上的函数，变换到了频域上的函数 因为它们是傅里叶变换对，所以我们可以通过傅里叶逆变换，从特征函数反过来得到 PDF： 这个公式表明，只要我们知道了一个随机变量的特征函数，就可以唯一地、精确地还原出它的概率密度函数 为什么说这是一种强大的关系？ 唯一性：这种傅里叶变换对的关系保证了一一对应,这是我们能够利用特征函数来证明分布性质的根本原因 数学运算的简便性：某些在实数域内非常复杂的运算，在频域会变得异常简单 独立随机变量的和：如果 和 是独立的，那么它们的和 的特征函数是它们各自特征函数的乘积：，而在 PDF 域，这需要进行复杂的卷积运算：...
2025-08-10
最大似然估计
最大似然估计 假设有一个概率模型(这个是前提)，其概率密度函数为 是观测到的数据 是想要估计的模型参数 目标是，找到一组参数值 ，使得观察到现有数据的概率最大 与贝叶斯估计不同的是，我们认为是一个固定但是未知的值 似然函数 存在有一组独立的、同分布（i.i.d.）的观测数据 在给定参数 的条件下，观察到这组数据的联合概率是所有单个观测值概率的乘积： 这个函数 就是似然函数，是一个关于参数 的函数，表示在不同 值下，数据 出现的“可能性”大小 对数似然函数 为了方便计算，对似然函数取自然对数，得到对数似然函数： 由于对数函数是单调递增的，最大化似然函数 等价于最大化对数似然函数 。 最大化与参数估计 最大似然估计量 就是使对数似然函数达到最大值的那个参数 ： 为了找到这个最大值，计算对数似然函数对参数 的偏导数，也称为得分函数（score function）。 令得分函数等于 0， 求解这个方程，得到的解就是最大似然估计量 局限性 数据量较少时，会存在比较严重的过拟合问题
2025-08-28
琴声不等式
琴生不等式 我们从双变量形式开始，理解琴生不等式 两个变量形式 设 是一个 凸函数。 给定两个点 ，以及一个权重 ，则有： 这就是 琴生不等式在两个变量下的形式 直观几何解释 在平面上取两点 和 连线就是这两点的割线 凸函数的定义就是：函数图像始终在割线之下 左边 表示 先在横坐标上取加权平均，再带入函数 右边 表示 函数值的加权平均 由于曲线在割线下方，所以左边 ≤ 右边 代数证明 设 在区间 上是凸函数。任取 与 ，记 若 凸，则割线斜率单调递增，对任意 有 由 可知 取 (★) 的左右两端不等式，得到 交叉相乘并整理： 这正是 即 多变量形式及随机变量形式 三变量证明 双变量形式为：若 是凸函数，，则 我们先考虑三变量形式：取三个点 ，权重 ，且 欲证： 把三点的凸组合拆成“两点情况的嵌套”，即： 于是 其中 先对 用两点不等式： 再对 应用两点不等式： 代入就得到三变量情况 推广到n变量 假设对 个变量成立： 考虑 个变量： 令 里面的括号是 个变量的凸组合，应用归纳假设： 再对“括号中的点”和...
2025-08-13
蒙特卡洛方法与链式法则
蒙特卡洛方法 核心思想：利用随机抽样逼近期望值 蒙特卡洛方法利用随机抽样来近似计算一个量的期望值，从而解决该量的数值问题，这个量通常是积分 假设我们想要计算一个函数 在某个概率分布 下的期望值 ： 当这个积分很难直接计算时，蒙特卡洛方法提供了一种近似解法 从概率分布 中独立地抽取 个样本点： 利用这些样本点来近似期望值： 被称为蒙特卡洛估计量 大数定律 根据大数定律（Law of Large Numbers），当样本数量 时，样本均值会收敛到期望值： 链式法则 假设我们有两个随机变量 和 ，它们的联合概率 可以表示为： 或者 这两种形式是等价的，根据条件概率的定义 很容易推导出来。 推广 对于多个随机变量 ，它们的联合概率 可以通过链式法则分解为： 更一般的形式是： 特别地，这里的 就是
2025-08-30
重参数化
重参数化 PDF中不含参数求函数期望的梯度 由期望的积分定义： 可以将求导号移入积分： 这个形式下可以直接使用蒙特卡罗方法进行求解 PDF中含参数求函数期望的梯度 如何解决的计算成为了一个问题 解决方法一： log trick 定义 且对 可微。令 对两边关于 求导（链式法则）： 移项得到 由上述恒等式代入 即 这就是打分函数 score function形式 这个方法具有通用性，但问题是方差很大 解决方法二： 重参数化 常见的目标形式是： 但直接对这个期望求梯度比较麻烦，因为 的分布 依赖于 重参数化的核心思想是把依赖 的随机性转移到一个固定分布的随机变量 上，从而“分离”随机性与参数 即： 与无关 于是期望可以写成： 先证明: 证明完毕后将上述结果代入： 对 求梯度时， 的分布不依赖 ，所以： 这时我们可以 直接对被积函数求导再采样估计，避免了方差巨大的 score function 特点：方差小，但是并不通用
