BP算法理解

反向传播(Back Propagation)是利用链式法则递归计算表达式的梯度的方法。

历史:1986年Rumelhart和Hinton一起重新发现了backprop,当时BP还是把求梯度和权重更新(梯度下降)打包了;而现在深度学习权重更新已经很简单粗暴了,BP基本单指第一步:求梯度。所以,现在BP已经完全等同于链式法则了。

图解传统BP 包括了前向传播+反向传播+更新权重。注意这里 $\delta$ 的含义有些混淆,没有乘以 $f’_i(e)$ ,可以结合这篇BP推导看,符号使用相对清晰。

思考:对DNN而言,单层网络(感知机)只要激活函数是单调的,能够保证是凸函数;但多层网络就是非凸优化了。

BP算法

Why:求解NN每层的参数,可以使用梯度下降,但难点在于如何计算每层loss对参数的梯度,而BP是计算梯度的有效方法。

BP算法推导参考Ufldl,损失函数为squared loss,激活函数为sigmoid,符号说明 如下:

  • 样本集 $\brace{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) }$,包含$m$个样本。
  • $W_{ij}^{(l)}$表示第 $l$ 层第 $j$ 单元与第 $l+1$ 层第 $i$ 单元之间的联接参数,
  • $b^{(l)}_i$ 表示第 $l+1$ 层第 $i$ 单元的偏置项,
  • $a^{(l)}_i$ 表示第 $l$ 层第 $i$ 单元的激活值(输出值),
  • $z^{(l)}_i$ 表示第 $l$ 层第 $i$ 单元输入加权和(包括偏置单元)。

可知,,则

neuro

神经网络的参数是neuron之间的边,一组neuron组成layer。

SGD求解:

对单个样本$(x,y)$的loss,Ufldl里选择用squared loss,实际也可以使用logloss、交叉熵损失等:

BP就是一个复合函数对每个参数求偏导(链式法则)的过程,补充一下Ufldl里缺失的步骤:

其他推导步骤参考Ufldl即可:

输出层$n_l$残差(error term):

中间层$l$残差:

逐层反向求解即为BP。其中,激活函数$f(z)$是sigmoid函数,则$f’(z^{(l)}_i) = a^{(l)}_i (1- a^{(l)}_i)$。实际也可以使用tanh、ReLU等。

代码示例

利用numpy手动实现前馈神经网络和反向传播算法,参考这里编写一个单隐层的神经网络:

NN 1 hidden layer

输入层维度3,中间隐层维度4,输出维度1的MLP,相当于两个参数矩阵($3\times 4$和$4\times 1$) 相乘。python代码如下:

import numpy as np

def nonlin(x,deriv=False):
    if(deriv==True): return x*(1-x)
    return 1/(1+np.exp(-x))

X = np.array([[0,0,1],
              [0,1,1],
              [1,0,1],
              [1,1,1]])

y = np.array([[0,1,1,0]]).T

np.random.seed(1)

# 以均值0随机初始化参数矩阵
syn0 = 2*np.random.random((3,4)) - 1
syn1 = 2*np.random.random((4,1)) - 1

for j in xrange(60000):
    # (1) 前向传播 l0 -> l1 -> l2
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))
    l2 = nonlin(np.dot(l1,syn1))

    # (2) 反向传播
    ## 计算输出层l2 error
    l2_error = y - l2

    if (j% 10000) == 0:
        print "Error:" + str(np.mean(np.abs(l2_error)))

    ## 输出层残差:参考公式3
    l2_delta = l2_error*nonlin(l2,deriv=True)

    ## 计算中间层l1每个参数对于输出层l2 error的贡献
    l1_error = l2_delta.dot(syn1.T)

    ## 中间层残差:参考公式4
    l1_delta = l1_error * nonlin(l1,deriv=True)

    ## 更新参数:参考公式1和2(SGD这里省略了学习率)
    syn1 += l1.T.dot(l2_delta)
    syn0 += l0.T.dot(l1_delta)