[深度学习] inplace operation 的错误 -＞ 训练模型方向导致
admin
2024-05-22 06:05:16
0次
项目场景：
在深度学习的时候，项目需要用到拮抗网络的知识， 就按照文字上的要求进行建模，结果发生了Inplace operation
研究了半天也不知道Inplace 到底在哪里, 后来终于发现了原因，所以赶紧记下来。
问题描述
训练的时候, 我们需要先训练特征提取，再训练分类器，但是由于项目用到了GAN，也就是advesarial learning, 即加入“噪音”之后，需要再次训练encoder 让他可以在Domain变化的情况下分不清图片来自于哪个domain以实现Domain invariance。
所以我们一开始的想法就是先去训练classifier 等他训练好了，冻住它的所有参数，再去训练encoder ,结果就发生了inplace operation的报错，
原因分析：
后来发现这其实是反向传播的问题：
如果先训练B 再训练A 的话， 就会发生Inplace operation 的错误，因为先训练B，反向传播进行计算，他会计算这一条链直到一开始o的梯度，并且进行保存。之后A 进行反向传播的时候那肯定会更新梯度，但是一更新，由于pythone 用的是Inplace operartion 那B的参数也会受到影响。 即使冻住了B 也没有用。冻住只是不再计算，但是这个问题是之前存储需要输出的值变化了， 所以就会报错，
但是如果先A 再B ， 就没有问题，因为A 先反向传播参数进行计算更新，B再计算，就直接用这些再计算A 时，已经存好的值，这样B的更新也不会影响到A 的参数变化
解决方案：
先train A 再 train B,
相关内容
热门资讯
迫不及待的“及”不是“急切”的...
迫不及待的“及”不是“急切”的“急”，是因为在这里“及”的意思是什么？这个词语的意思是？及是到的意思...
天空为什么会是蓝的？
天空为什么会是蓝的？天空，也就是大气层包围的范围。因为是气态，所以天空本身无色，但大家看到的是蓝色的...
"我的心啊空呀空，因...
"我的心啊空呀空，因为有你在梦中，从此生命不再空呀空“这是一手什么歌完4《卓依婷·东南西北风》范海荣...
求一首分手藏头诗
求一首分手藏头诗【难】舍美人好友伴【忘】啥宽雀忘她也是难【晓】曦送来枕边香【段漏巧绝】儿离去揪返姿心...
多肉不适合养家里吗？有人说多肉...
多肉不适合养家里吗？有人说多肉带刺，养家里对风水不好？是这样吗？多肉不适合养家里吗？有人说多肉带刺，...
“AC”是什么意思？
“AC”是什么意思？AC米兰。是个足球队。。当然如果单纯说这两个字母的话，你可以理解为“护甲”
一个人去一个陌生的地方没有朋友...
一个人去一个陌生的地方没有朋友 该如何生存，如何去找工作我并赞成没有准备的外出，出门在外，要么有熟人...
西伯侯姬昌即周文王是在何地遇见...
西伯侯姬昌即周文王是在何地遇见的姜子牙a 淮河边 b 长江边 c 泾水河边d 渭水河边d,当然是渭水...
将耳朵贴在长铁管的一端，让另外...
将耳朵贴在长铁管的一端，让另外一个人敲一下铁管的另一端，你会听到几个敲打的声音？并说出其中的道理。理...
总裁的替身前妻的另外三部曲
总裁的替身前妻的另外三部曲总裁的替身前妻的另外三部曲你说的应该是安知晓的亿万系列《亿万老婆买一送一》...
《情颠大圣》到底想表达什么主题...
《情颠大圣》到底想表达什么主题？我想是爱情吧，开始的感觉和你一样，有点恶搞，但回想一下，留在我们心间...
ie浏览器兼容性站点怎么添加
ie浏览器兼容性站点怎么添加1、首先点击IE浏览器右上角的"设置"。2、接着点击“兼容性视图设置”，...
2025不夜重庆生活节暨丰都南...
仙境南天湖·度假新天地！7月11日晚，万众期待的2025不夜重庆生活节暨丰都南天湖第七届避暑音乐季在...
村上春树的1Q84目前有两本，...
村上春树的1Q84目前有两本，一共打算出几本？听说有第三本，打算一起买，就是不清楚到底有几本还有，书...
老挝中国文化中心举办首届“周末...
老挝中国文化中心12日举办“周末美食雅集”中国美食品鉴体验活动，老挝民众在中国烹饪技师指导下开启一场...
假如一个行星距地球一光年,那么...
假如一个行星距地球一光年,那么我们用望远镜看到的是这个星球一年前的状态.着么说对吗正确。光在宇宙中“...
郭敬明，韩寒，有什么书
郭敬明，韩寒，有什么书比较好看的，适合中学生适合中学生的话幻城/小时代 还不错韩寒的书都很现实不修...
求炼体术 基本的入门锻炼就行
求炼体术 基本的入门锻炼就行楼主来错地方了，现在知道乌烟瘴气，在这求练体术难啊，你不如去一些武术网站...
一览英才网的可信度高不高？
一览英才网的可信度高不高？都是假的，在上面求职都没人看，但是那个职位每隔半个月更新一次，估计是从别的...
中国历史阶段划分依据
中国历史阶段划分依据夏到1840古代1840-1949 近现代1949-今 当代