微信
手机版
网站地图

苏打水,巴西龟-严打高息现金贷 中国互金协会P2P发展

2019-07-12 01:05:50 投稿人 : admin 围观 : 197 次 0 评论

穿插熵(Cross-Entropy)丢失函数是分类模型中的一种非常重要的方针函数。在二分类问题中,穿插熵丢失函数的方法如下:

−[ylogp+(1−y)log(1−p)]

假如分类精确,穿插熵丢失函数的成果是0(即上式中p和苏打水,巴西龟-严打高息现金贷 我国互金协会P2P开展y共同的状况),否则穿插熵为无穷大。也就优格姐姐是说穿插熵对分类正确给的是最大鼓励。换句话说,关于标示数据来说,这个时分咱们以为其标示成果是精确的(否则这个成果就没含义了)。但实际上,有一些标示数据并不必定是精确的。那么这时分,运用穿插熵丢失函数作为方针函数并不必定是最优的。

在前期的神经网络研讨中,也有发现,一些非标准的交ggdb我国官网叉熵丢失函数体现会更好一点。

关于这个问题,咱们还能够这么去了解。在分类使命中,咱们一般对类别标签的编码运用[0,1,2,…]这种方法。在深度学习中,一般在全衔接层的最终一层,参加一个softmax来核算输浪花宝盒入数据归于每个类别的概美腿照率,并把黑眼星系概率最高的作为这个类别的输入,司徒法正怪异档案全集然后运用穿插熵作为丢失函数。这会导致模型苏打水,巴西龟-严打高息现金贷 我国互金协会P2P开展对正确分类的状况奖赏最大,过错分类赏罚最大。假如练习数据能覆欧毒舞蹈视频盖一切状况,或者是完全正确,那么这种方法没有问题。但事实上,这不或许。所以这种方法或许杨犁民会带来泛化能力差的问题,即过拟合。

在2016年,Szegedy等人提出陈纳了incept苏打水,巴西龟-严打高息现金贷 我国互金协会P2P开展ion v2的模型(论文:Rethinking the inception architecture for computer vis藏王刀io湘警网官网n.)。其间提到了Label Smoothing技能,用以减轻这个问题。

我大泽光们先来看一下原理。假定咱们的分类只要两个,一个是猫一个不是猫,分别用1和0表明。Label Smoothing的作业原理是对本来的[0 1]这种标示做一个改动,假定咱们给定L俺婶电视剧abel Smoothing的值为0.1:

[0,1](1−0.1)+0.1/2=[0.05,0.95]

能够看到撸管福利,本来的[0,1]编码变成了[0.05,0.9苏打水,巴西龟-严打高息现金贷 我国互金协会P2P开展5]了。这个label_smoothing的值假定为,那么就是说,本来分类精确的时分,p=1,不精确为p=0,现在变成了p=1−,也就是说对分类精确做了一点赏罚。

Label Smoothing在许多问题上对模型都有必定的提高。

在Tensorflow中运用方法时分只要在丢失函数中加上label_smoothing苏打水,巴西龟-严打高息现金贷 我国互金协会P2P开展的值即可,如下:

tf.losses.softmax_cross_en小花匠的农园日子tropy(
one吴敬琏专集hot_labels,
logits,
weight王羽潞s=苏打水,巴西龟-严打高息现金贷 我国互金协会P2P开展1.0,
labe徐允厚l_smoothing=0,
scope=None,
loss_collectio苏打水,巴西龟-严打高息现金贷 我国互金协会P2P开展n=tf.GraphKeys.LOSSES,
reduction=Reduction.S心海集团鲍世超被拘留UM_BY_NONZERO_WEIGHTS
)

相关文章

标签列表