动手学深度学习pytorch版练习解答-3.6softmax回归的从零开始实现
admin
2024-01-25 03:05:26
  1. 在本节中，我们直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题？提⽰：
    尝试计算exp(50)的⼤小。

python的数字类型转换虽然是可以做到int自动转long，但long的范围受限于内存大小。这可能会导致计算溢出（有噪声，网络参数初始化没弄好等）

  1. 本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。它可能有什么问题？提⽰：考虑对数的定义域。

对数的定义域是(0,+∞), y_hat预测分数有很接近0的也可能会超出long的范围

  1. 你可以想到什么解决⽅案来解决上述两个问题？

计算之前先确定输入的阈值，避免输出超出long的范围

  1. 返回概率最⼤的分类标签总是最优解吗？例如，医疗诊断场景下你会这样做吗？

不一定，因为存在[0.45,0.44,0.11]这样的情况，0.45对应的优势并不是那么明显。医疗场景下我不会总是这么做，如果机器给出的最优解并没有太大的优势，后期的随访和检查还是有必要的

  1. 假设我们使⽤softmax回归来预测下⼀个单词，可选取的单词数⽬过多可能会带来哪些问题?

一个是高额的矩阵运算成本，再一个是每个单词的概率就比较低，容易出现题目4的解答中出现的问题。

上一篇：C语言基础篇 —— 4.3 结构体详解

下一篇：如何在自己的项目中实现脚手架的命令行交互

相关内容

热门资讯

杭州灵隐飞来峰景区12月1日起... 　　新华社杭州11月19日电（记者段菁菁）为更好地满足市民游客的旅游需求、提升游览品质，杭州西湖风景...
杭州官宣取消灵隐寺门票！ 每经编辑｜程鹏 11月19日，每经小编从杭州西湖景区官方账号了解到，自2025年12月1日起，灵隐...
景区游乐场亲子彩虹滑道定制厂家...
装上伊贝莎泳池，民宿营业额反超... “之前旺季靠降价抢单，现在客人主动加价订周末房！” 经营民宿三年的李姐，至今对引入伊贝莎泳池后的变化...
霉腌醉酱的美食哲学，看中国烹饪... 主讲人、图片提供 / 茅天尧 文字整理 / 孙阳 绍兴菜历史悠久，技艺源远流长，以“霉”“腌”“醉...