神经网络 BP法--把输入神经元直接连接到输出,如何更新这条直接连接的weight?

用BP法更新正常的输入到隐藏层 和 隐藏层到输出端的weight 都用到了隐藏层的方程的导数,对吧?现在是大家想直接把输入和输出连在一起来看结果的变化。可是这条线就不能用链式法则做BP来update了吧?因为这条线从输入到输出,一直没有经历过隐藏层,所以没有被函数改变过。那应该怎么更新这条线的weight呢?

邹博 - 计算机科学博士,深谙机器学习算法原理

赞同来自: fish 木舟 尘埃落定msl

正常的BP算法中,假定从最后一个隐层到输出层的当前权值是w,当前输出是h,而训练数据是y,则根据正常求导公式计算梯度,从而更新最后隐层的权值w;次隐层和最后隐层的处理类似;一路走下去,将所有权值都更新。 您的这个网络拓扑没太明白trick和难点在哪里?再描述一下?

要回复问题请先登录注册