互信息量是信息论中的一个重要概念，用于衡量两个随机变量之间的相关性。其计算公式如下：
$$
I(X;Y) = sum_{x in X} sum_{y in Y} p(x,y) log left( frac{p(x,y)}{p(x)p(y)} ight)
$$
其中，$ p(x,y) $ 是联合概率分布，$ p(x) $ 和 $ p(y) $ 是边缘概率分布。
| 术语 | 含义 |
| $ I(X;Y) $ | 互信息量 |
| $ p(x,y) $ | 联合概率分布 |
| $ p(x) $ | X的边缘概率分布 |
| $ p(y) $ | Y的边缘概率分布 |
互信息量越大，说明两个变量之间关联越强。该公式广泛应用于机器学习、自然语言处理等领域，帮助分析特征间的依赖关系。
