信息论随笔（二）信息熵及其性质
admin
2024-01-22 19:03:33
0次

回顾

上次讲到自信息量，也就是用log(\frac 1 p)来表示一个发生概率为p的事件含有的信息量，或者说不确定度。一个事件的发生的概率越小，它的不确定度越大，含有的信息量也就越大。

信息熵

那么如何来衡量一个系统（多个事件以不同的概率发生，它们发生的概率之和为1）的信息量呢？

考虑这么一个例子，某人参加一个比赛，赢的概率为0.3，输的概率为0.7，那么这个系统的信息量怎么计算？

一个直觉的计算方法是：0.3log(\frac 1 {0.3}) + 0.7log(\frac 1 {0.7}).

即对系统中不同事件的自信息量取概率平均，从而得到这个系统的平均不确定度，也就是信息熵。

信息熵衡量了一个系统的平均不确定度，表示了这个系统的信息量。

从通信的角度来看，信息熵表示平均意义上每发一个符号的信息量，或者信源平均的不确定度。

性质

对称性

信息熵的对称性指只要一个系统总的概率分布不变，即使系统中的不同事件的概率发生了交换，信息熵仍然不变。

非负性

信息熵总是大于等于零的。一个事件的信息量至少为0，而不可能是负的，信息熵是信息量的平均，自然也不会是负的。

确定性

若事件发生概率为1，那么信息熵确定为0。

连续性

当不同事件的概率出现微小变化时，信息熵的变化也很小。

扩展性

略

可加性

H(XY)=H(X)+H(Y|X)

强可加性

当系统X和Y独立，H(XY)=H(X)+H(Y)

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：读书笔记：《浪潮之巅：下》

下一篇：数据结构：循环队列

相关内容

热门资讯

游戏本和普通笔记本的区别是什么 游戏本和普通笔记本的区别是什么游戏笔记本就是主要玩游戏的,所以配置会比普通笔记本的高
《鬼灭之刃无限列车篇》让你从中... 《鬼灭之刃无限列车篇》让你从中看出什么道理？   梦，并不是空穴来风...
大班科学教案：泥土里有什么 大... 大班科学教案：泥土里有什么 大班教案科学教案 写教案的具体内容包括以下十项：一．课题（说明本课名...
深山寻宝物猜0一9一个数字 深山寻宝物猜0一9一个数字深山寻宝物猜0～9一个数字。深山寻宝物猜0～9一个数字是6。
“还差一点”英语怎么说？ “还差一点”英语怎么说？譬如别人问“Have you finished you essay?” 我想...
如何理解“最高贵的复仇是宽容”... 如何理解“最高贵的复仇是宽容”这句话~？最高贵的复仇是宽容 雨果说的~! 啥意思啊~？给别人...
你最近还好吗 ，还会想起我吗 ... 你最近还好吗 ，还会想起我吗 出自哪首歌里面还有一句是 看不到未来...... 什么的。 真...
坟地阴气重人压不住怎么破? 坟地阴气重人压不住怎么破?坟地阴气重人压不住怎么破?天然水晶在这方面效果比较好的。
顺便捡个“jièr”！这场菌乡... 7月6日，2025年玉溪市户外运动嘉年华“滇中水城 菌乡易门”穿越赛在易门县龙泉文化广场鸣笛启程。本...
钥字在字典中是什么意思 钥字在字典中是什么意思钥yuè-------- 开锁或上锁的用具：锁 钥　俗语说凯裤：成功者的字典里...
原创 汪... 大S离世都已经近半年的时间，大家的生活都开始步入正轨，而汪小菲和S家的纠缠自始至终都没有停止，张兰怒...
2-8人去张家界5天4晚旅游费... 最近我带着家人和朋友一共6个人，计划去张家界玩5天4晚。这次旅行最让我满意的就是找到了一个叫“小小”...
2-8人去张家界5天4晚旅游费... 最近计划和家人一起组织一次2-8人的旅行，目的地是张家界。我们一行人一共5天4晚的行程，出发前在网上...
与家人五天四晚同游张家界，在张... 张家界，是一个充满魅力的地方，它有着 “扩大的盆景，缩小的仙境” 的美誉。这里的山水如诗如画，每一处...
清爽鲜美，老少皆宜！快来尝尝安... 安徽三鲜蛋花汤是一道清爽鲜美的家常汤品，融合了蛋花的嫩滑和多种配料的鲜香，既营养又开胃。这道汤在安徽...
西藏旅游攻略丨带娃游七天六晚保... 西藏旅游攻略丨带娃游七天六晚保姆级路线，省钱省心不费腿 家人们，我最近刚结束了一场超棒的西藏带娃之旅...
西藏十佳导游个人名单，西藏五日... 西藏十佳导游个人名单，西藏五日游跟团游大概需要多少钱 嘿，朋友们！西藏，那片神秘而又令人向往的土地，...
易泊停车系统实时车位统计，打造... 每逢节假日，北京蟒山国家森林公园的入口处便会上演相似的场景：车辆排成长龙，游客焦躁等待，管理人员手忙...
赛里木湖最新现状，快来体验房车...
浙里戏水正当时！直击浙江各地水... 7月6日，小暑节气将到，杭城暑气蒸腾。杭州一小区打造“夏日限定”水上乐园，物业用充气防水塑料布在空地...