信息时代的必修课：寻找和利用信息的强相关性（互信息可以帮你判断两件事到底是不是相关）
创始人
2025-05-29 14:02:20
文章目录
- 引言
- I 预备知识
- 1.1 信息的正交关系
- 1.2 相关不是因果
- 1.3 条件熵
- II 互信息
- III 信息增益（Information Gain，简称IG）
- 3.1 信息增益的定义
- 3.2 确定信息有没有用
引言
在大数据时代，我们需要寻找的是强相关性。两种信息相关性的强弱，可以通过互信息衡量的。利用互信息我们可以找到那些靠谱的信号，过滤掉那些不大灵的信息。
信息增益定量衡量每一条信息价值的尺度。
I 预备知识
1.1 信息的正交关系
寻找能够彼此互补信息的重要性
1.2 相关不是因果
- 等价信息： 它们之间有确定的因果关系
- 相互关联的信息：如果相关性比较强，在得到信息A之后，就可以消除关于B的不确定性。
互信息则给出了一种量化度量各种不同信息相关性的方法。
<
相关内容
热门资讯
济南开启“浪漫冰雪季”！玩转冰...
齐鲁晚报·齐鲁壹点 王贝艺寒意渐浓的济南，正酝酿着一场超有料的元旦狂欢。据悉，济南市文化和旅游局联动...
【恩台酒文化】为什么白酒会混浊...
白酒在饮用的过程中有时候出现混浊和沉淀物，这是正常现象呢？还是说明买到了假酒呢？今天我们的文章就来告...
低度酒品类狂欢下，却赚了个寂寞
蓝鲨导读：下一匹黑马是谁？ 作者 | 杨硕 编辑 | 卢旭成 “这款鸡尾酒颜值高、味道好，适合聚餐时...
上海TOP100餐厅榜单出炉：...
咖啡，是TA的呼吸节奏； 精致，是TA的生活底色； 万国风味，汇于一城， 这就是TA，上海。 ——用...
年味的守护者：安庆江荷花与她的...
距离 春 节 还有 46 天 1 时 1 秒 江荷花腊货 热卖时间：2026年1月1日-1.10 ...