一、深层神经网络
神经网络符号：
输入数据层：layer0，不包括在层数中
n[l]：第l层包含的神经元数目
二、前向和反向传播
z[l] = w[l] * a[l-1] + b[l]
a[l] = g[l](z[l])
向量化：
Z[l] = W[l] * A[l-1] + b[l]
A[l] = g[l](Z[l])
第l层反向传播：
输入：da[l]
输出：da[l-1] dw[l] db[l]
dz[l] = da[l] * g[l]‘(z[l])
dw[l] = dz[l] * a[l-1]
db[l] = dz[l]
da[l-1] = w[l]T * dz[l]
向量化：
dZ[l] = dA[l] * g[l]‘(Z[l])
dW[l] = 1/m dZ[l] * A[l-1]T
db[l] = 1/m np.sum( dz[l] ,axis=1, keepdim=TRUE)
dA[l-1] = W[l]T * dZ[l]
原文：http://www.cnblogs.com/crazybird123/p/7534356.html