琴生不等式

我们从双变量形式开始，理解琴生不等式

两个变量形式

设 是一个 凸函数。 给定两个点 ，以及一个权重 ，则有：

这就是 琴生不等式在两个变量下的形式

直观几何解释

  • 在平面上取两点 和
  • 连线就是这两点的割线
  • 凸函数的定义就是：函数图像始终在割线之下
  • 左边 表示 先在横坐标上取加权平均，再带入函数
  • 右边 表示 函数值的加权平均
  • 由于曲线在割线下方，所以左边 ≤ 右边

代数证明

设 在区间 上是凸函数。任取 与 ，记

若 凸，则割线斜率单调递增，对任意 有

由 可知

取 (★) 的左右两端不等式，得到

交叉相乘并整理：

这正是

即

多变量形式及随机变量形式

三变量证明

双变量形式为：若 是凸函数，，则

我们先考虑三变量形式：取三个点 ，权重 ，且

欲证：

把三点的凸组合拆成“两点情况的嵌套”，即：

于是

其中

先对 用两点不等式：

再对 应用两点不等式：

代入就得到三变量情况

推广到n变量

假设对 个变量成立：

考虑 个变量： 令

  • 里面的括号是 个变量的凸组合，应用归纳假设：

  • 再对“括号中的点”和 用两点形式：

化简即得：

所以对所有有限个变量都成立

推广到随机变量

当取无限多个点（例如离散分布或连续分布）时，利用极限/积分，就得到概率形式的 Jensen 不等式：

凹函数情况

如果 是凹函数（比如 ），那么不等式方向反过来：

这其实就是算术–几何均值不等式（AM–GM）的基础

多元情况同理将不等式方向反过来即可

VAE中应用

因为 是凹函数，利用 Jensen 不等式可得：