参考:百度百科帮计算:https://www.bang123.cn/budengshi/杨氏(young)不等式:https://zhuanlan.zhihu.com/p/41654910赫尔德(Hölder)不等式:https://zhuanlan.zhihu.com/p/27673684文章目录
KL散度,是一个用来衡量两个概率分布的相似性的一个度量指标。我们知道,现实世界里的任何观察都可以看成表示成信息和数据,一般来说,我们无法获取数据的总体,我们只能拿到数据的部分样本,根据数据的部分样本,我们会对数据的整体做一个近似的估计,而数据整体本身有一个真实的分布(我们可能永远无法知道)。那么近似