信息时代的必修课：寻找和利用信息的强相关性（互信息可以帮你判断两件事到底是不是相关）
创始人
2025-05-29 14:02:20
文章目录
- 引言
- I 预备知识
- 1.1 信息的正交关系
- 1.2 相关不是因果
- 1.3 条件熵
- II 互信息
- III 信息增益（Information Gain，简称IG）
- 3.1 信息增益的定义
- 3.2 确定信息有没有用
引言
在大数据时代，我们需要寻找的是强相关性。两种信息相关性的强弱，可以通过互信息衡量的。利用互信息我们可以找到那些靠谱的信号，过滤掉那些不大灵的信息。
信息增益定量衡量每一条信息价值的尺度。
I 预备知识
1.1 信息的正交关系
寻找能够彼此互补信息的重要性
1.2 相关不是因果
- 等价信息： 它们之间有确定的因果关系
- 相互关联的信息：如果相关性比较强，在得到信息A之后，就可以消除关于B的不确定性。
互信息则给出了一种量化度量各种不同信息相关性的方法。
<
相关内容
热门资讯
原创 别...
忘记是在何处看到的了，讲的是当下年轻人操持年夜饭，酱牛肉的搜索量增长了7倍，然而番茄炒蛋反倒无人问津...
原创 腊...
还有3天就除夕了（敲黑板！2026马年没有大年三十，除夕是腊月二十九），估计现在家家户户都忙疯了吧？...
千只熏鸡抢“鲜”售罄，杭州老味...
在杭州上城区丁兰街道皋城村、沿山村，年夜饭桌上若少了那盘油亮焦香的熏鸡，年味便总觉得不完整。 这道传...
酱大骨祖传秘方：家常做法步骤详...
你是否曾经想过，如何才能炖出一锅肉质软烂、骨髓鲜香的酱大骨？ 在家庭聚会中，酱大骨往往是桌上最受...
白灼菜心的家常做法：步骤详细，...
你是否在节假日的聚餐中，感到肉类菜肴吃得太多，胃口变得沉重？想要寻找一款清爽解腻的蔬菜来平衡一下吗？...