动手学深度学习pytorch版练习解答-3.6softmax回归的从零开始实现
admin
2024-01-25 03:05:26
  1. 在本节中，我们直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题？提⽰：
    尝试计算exp(50)的⼤小。

python的数字类型转换虽然是可以做到int自动转long，但long的范围受限于内存大小。这可能会导致计算溢出（有噪声，网络参数初始化没弄好等）

  1. 本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。它可能有什么问题？提⽰：考虑对数的定义域。

对数的定义域是(0,+∞), y_hat预测分数有很接近0的也可能会超出long的范围

  1. 你可以想到什么解决⽅案来解决上述两个问题？

计算之前先确定输入的阈值，避免输出超出long的范围

  1. 返回概率最⼤的分类标签总是最优解吗？例如，医疗诊断场景下你会这样做吗？

不一定，因为存在[0.45,0.44,0.11]这样的情况，0.45对应的优势并不是那么明显。医疗场景下我不会总是这么做，如果机器给出的最优解并没有太大的优势，后期的随访和检查还是有必要的

  1. 假设我们使⽤softmax回归来预测下⼀个单词，可选取的单词数⽬过多可能会带来哪些问题?

一个是高额的矩阵运算成本，再一个是每个单词的概率就比较低，容易出现题目4的解答中出现的问题。

上一篇：C语言基础篇 —— 4.3 结构体详解

下一篇：如何在自己的项目中实现脚手架的命令行交互

相关内容

热门资讯

视频丨她把地图画在红绿灯杆上 ... 这个暑期，在沈阳故宫西侧路口，有一盏红绿灯格外特别。它不仅指挥车流，更会“指路”——为成千上万的游客...
敦煌·榆林窟壁画《弥勒经变》
文博场馆优化提升 “双奥园区”... 观众在中国考古博物馆参观 朝阳区持续探索奥运场馆赛后可持续运营路径，推动各场馆提质增效。北京青年报记...
奇葩的直肠酒店
怎么挑选适配不同场景的儿童游乐... 随着亲子消费业态的发展以及城市公共服务配套的不断完善，各类游乐设施的市场需求持续增长，不同场景、不同...