信息时代的必修课：寻找和利用信息的强相关性（互信息可以帮你判断两件事到底是不是相关）
创始人
2025-05-29 14:02:20
文章目录
- 引言
- I 预备知识
- 1.1 信息的正交关系
- 1.2 相关不是因果
- 1.3 条件熵
- II 互信息
- III 信息增益（Information Gain，简称IG）
- 3.1 信息增益的定义
- 3.2 确定信息有没有用
引言
在大数据时代，我们需要寻找的是强相关性。两种信息相关性的强弱，可以通过互信息衡量的。利用互信息我们可以找到那些靠谱的信号，过滤掉那些不大灵的信息。
信息增益定量衡量每一条信息价值的尺度。
I 预备知识
1.1 信息的正交关系
寻找能够彼此互补信息的重要性
1.2 相关不是因果
- 等价信息： 它们之间有确定的因果关系
- 相互关联的信息：如果相关性比较强，在得到信息A之后，就可以消除关于B的不确定性。
互信息则给出了一种量化度量各种不同信息相关性的方法。
<
相关内容
热门资讯
【喜报】英雄榜｜元泰励勤8位教...
喜大普奔！重磅捷报传来🎉 元泰励勤再添茶行业师资新荣耀——林盛武老师、林惠芳老师顺利通过茶行业国家级...
丙午年夜饭新吃法！药膳养生宴，...
🔥年夜饭还能这么吃？健康年味你真的了解吗？ 你发现没？现在很多人在年夜饭上越来越讲究，既要吃得开...
剩馒头爆改披萨！成品真的和披萨...
昨天下午，我正在厨房发呆，看着餐桌上剩下那两个已经有点发干的馒头犯愁。扔了吧，可惜；热着吃吧，又没人...
12款简单菜系分享，好吃实惠，...
曾经看到一篇文章中写道：“美食当前，总能有所思，或馋性千娇，食前观察、吃中思想、品厚体煨，食为天性，...