用 NumPy 从零实现两层神经网络 —— 解决 XOR 问题

读者：刚学完感知机、还没系统接触神经网络推导的初学者

目标：从一行代码都不依赖框架的状态开始，手写一个能解决异或（XOR）的两层神经网络

目录

• 第 0 章：阅读前的准备
• 第 1 章：任务背景——为什么 XOR 非线性不可分？
• 第 2 章：向量与矩阵基础
• 第 3 章：求导数学基础
• 第 4 章：MLP（多层感知机）介绍
• 第 5 章：数据初始化
• 第 6 章：激活函数（sigmoid）
• 第 7 章：前向传播
• 第 8 章：损失函数（交叉熵）
• 第 9 章：反向传播
• 第 10 章：梯度下降与训练循环
• 第 11 章：评估模型
• 第 12 章：总结与延伸阅读

第 0 章：阅读前的准备

这份教程假设你：

• 知道什么是感知机（perceptron），能用 w·x + b 这样的形式表达"加权求和 + 偏置"
• 知道什么是梯度下降（每一步沿反梯度方向更新参数）
• 会用 Python 基础语法和 NumPy 的基本数组运算

你不需要预先掌握：

• 矩阵乘法（我们第 2 章会从零讲起）
• 求导 / 链式法则（第 3 章会从零讲起）
• 反向传播（第 9 章会从零讲起，且每一步都会展开）

如果中途卡住，不要慌——可以先跳到第 2、3 章把数学工具补齐再回来读。

第 1 章：任务背景——为什么 XOR 非线性不可分？

1.1 什么是 XOR？

XOR 是"异或"（exclusive OR）：当两个输入不同时输出 1，相同时输出 0。

我们想训练一个模型，输入 $(x_1,x_2)$，输出预测 $\hat{y}$，让它在这 4 个样本上预测尽量接近真值 $y$。

1.2 为什么单层感知机解不了？

把 4 个样本画在二维平面上：

       x2
        ^
      1 |  (0,1) ● 1      (1,0) ● 1
        |
      0 |  (0,0) ● 0      (1,1) ● 0
        +--------------------> x1
           0          1

红色的两个点（(0,1) 和 (1,0)）和蓝色的两个点（(0,0) 和 (1,1)）斜对角交叉。

而单层感知机的决策边界是：

$$w_1{x}_1+w_2{x}_2+b=0$$

这是一条直线。无论你怎样旋转、平移这条直线，都不可能把上面的红蓝点分开——这就是著名的 XOR 不可线性可分结论（1969 年 Minsky 在《Perceptrons》中证明）。

1.3 怎么办？引入"带激活函数的隐藏层"

只要在输入和输出之间多塞一层神经元（叫"隐藏层"），并在层与层之间加入非线性激活函数（比如 sigmoid），网络就能学到弯曲的决策边界，从而把 XOR 分开。

这就是我们要实现的两层神经网络（也叫 MLP，多层感知机）：

x  →  [线性 + 激活]  →  [线性 + 激活]  →  ŷ
输入    隐藏层(4个)      输出层(1个)     概率

下一章，我们先把数学工具补齐。

第 2 章：向量与矩阵基础

本章只讲本教程用得到的内容。如果你已经熟悉，可以快速翻一遍。

2.1 标量、向量、矩阵

• 标量（scalar）：一个数，例如 3.14
• 向量（vector）：一组有序的数，用方括号括起来，例如 $\mathbf{x}=[1,2,3]$，维度是 3
• 矩阵（matrix）：一个二维数组，例如

$$A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right)$$

$A$ 是个 $2\times 2$ 矩阵（2 行 2 列）。

记号：

• $\mathbf{x}\in {\mathbb{R}}^n$：向量 $\mathbf{x}$ 是 $n$ 维实数向量
• $A\in {\mathbb{R}}^{m\times n}$：矩阵 $A$ 是 $m$ 行 $n$ 列

2.2 点积（dot product）

两个长度相同的向量做"对应位置相乘再求和"：

$$\mathbf{a}=[a_1,a_2,\dots ,a_n],\mathbf{b}=[b_1,b_2,\dots ,b_n]$$

$$\mathbf{a}\cdot \mathbf{b}=\sum _{i=1}^n{a}_i{b}_i=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$$

例子（$n=2$）：

$$[1,2]\cdot [3,4]=1\times 3+2\times 4=3+8=11$$

为什么神经网络爱用点积？ 因为感知机的"加权求和" $w_1{x}_1+w_2{x}_2$ 正好就是向量 $\mathbf{w}$ 和 $\mathbf{x}$ 的点积 $\mathbf{w}\cdot \mathbf{x}$。

2.3 矩阵乘法

两个矩阵 $A\in {\mathbb{R}}^{m\times k}$ 和 $B\in {\mathbb{R}}^{k\times n}$ 相乘，得到 $C\in {\mathbb{R}}^{m\times n}$。

核心规则：内维必须相同（都是 $k$），结果的外维决定形状（$m\times n$）。

$$C=A\cdot B,C_{ij}=\sum _{p=1}^k{A}_{ip}\cdot B_{pj}$$

翻译成大白话：$C$ 的第 $i$ 行第 $j$ 列，等于**$A$ 的第 $i$ 行和$B$ 的第 $j$ 列**做点积。

例子 1：形状计算

$$A\in {\mathbb{R}}^{2\times 3},B\in {\mathbb{R}}^{3\times 4}$$

相乘得 $C\in {\mathbb{R}}^{2\times 4}$。因为 $A$ 有 3 列，$B$ 有 3 行（"内维都是 3"），结果有 $A$ 的 2 行和 $B$ 的 4 列。

例子 2：本教程的具体形状

设 $X\in {\mathbb{R}}^{4\times 2}$（4 个样本，每个样本 2 个特征），$W^{(1)}\in {\mathbb{R}}^{2\times 4}$：

$$Z^{(1)}=X\cdot W^{(1)}={\mathbb{R}}^{4\times 2}\cdot {\mathbb{R}}^{2\times 4}={\mathbb{R}}^{4\times 4}$$

即 $Z^{(1)}$ 是 4 行 4 列的矩阵：第 $n$ 行是第 $n$ 个样本经过隐藏层线性变换后的 4 维结果。

记号约定：本教程中"行=样本"，与 PyTorch/NumPy 习惯一致。

2.4 矩阵转置

把矩阵的"行列互换"：

$$A=\left(\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right)\Rightarrow A^{\top }=\left(\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right)$$

如果 $A\in {\mathbb{R}}^{m\times n}$，那么 $A^{\top }\in {\mathbb{R}}^{n\times m}$。

特别地：列向量转置后变成行向量。

2.5 NumPy 中的对应

第 3 章：求导数学基础

本章只覆盖会用到的求导规则和链式法则。

3.1 常见函数的导数

记 $f^{\prime }(x)=\frac{df}{dx}$ 表示"$f$ 对 $x$ 求导"。

3.2 复合函数的链式法则

如果 $y=f(g(x))$，即 $x$ 先经过 $g$ 再经过 $f$，那么：

$$\frac{dy}{dx}=\frac{dy}{dg}\cdot \frac{dg}{dx}=f^{\prime }(g(x))\cdot g^{\prime }(x)$$

大白话：链式法则就是"沿链条逐段求导，结果相乘"。

例子：$y=(3x+1{)}^2$。

令 $u=3x+1$，则 $y=u^2$：

$$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}=2u\cdot 3=6(3x+1)$$

3.3 多元函数的偏导

当函数有多个变量时，对其中一个求导，其他当作常数，这叫偏导。记号是 $\frac{\partial f}{\partial x}$（用 $\partial$ 而不是 $d$）。

例子：$f(x,y)=x^2+3xy+y^2$

$$\frac{\partial f}{\partial x}=2x+3y(\text{把 }y\text{ 当常数})$$

$$\frac{\partial f}{\partial y}=3x+2y(\text{把 }x\text{ 当常数})$$

3.4 多元链式法则（神经网络的核心工具）

如果 $L$ 依赖 $z$，$z$ 又依赖 $w$，那么 $L$ 对 $w$ 求导要"穿过去"：

$$\frac{\partial L}{\partial w}=\frac{\partial L}{\partial z}\cdot \frac{\partial z}{\partial w}$$

神经网络有几十层，每一层都是这种"链式相乘"——这就是"反向传播"算法的核心。

3.5 常用小技巧

• 对数求导：$\frac{d}{dx}\log f(x)=\frac{f^{\prime }(x)}{f(x)}$

  → 例：$\frac{d}{dx}\log (1+e^{-x})=\frac{-e^{-x}}{1+e^{-x}}$

• 分式求导（商法）：${\left(\frac{u}{v}\right)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}$

• 乘法法则：$(uv{)}^{\prime }=u^{\prime }v+u{v}^{\prime }$

第 4 章：MLP（多层感知机）介绍

4.1 什么是 MLP？

MLP = Multi-Layer Perceptron，多层感知机。它由"一层一层"的神经元堆叠而成：

输入层        隐藏层        输出层
 x1 ──→      ●  ──→       ŷ
 x2 ──→      ●  ──→
             ●
             ●

每一层做两件事：

1. 线性变换：$\mathbf{z}=W\mathbf{x}+\mathbf{b}$（加权求和 + 偏置）
2. 非线性激活：$\mathbf{a}=\sigma (\mathbf{z})$（把直线"掰弯"）

激活函数是关键——没有它，多层网络等价于单层（数学上能证明），就又回到了"直线分不开 XOR"的死胡同。

4.2 本教程的网络结构

$$x\in {\mathbb{R}}^2\stackrel{W_1,b_1}{\to }{z}_1\in {\mathbb{R}}^4\stackrel{\sigma }{\to }{a}_1\in {\mathbb{R}}^4\stackrel{W_2,b_2}{\to }{z}_2\in {\mathbb{R}}^1\stackrel{\sigma }{\to }\hat{y}\in (0,1)$$

• 输入层：2 个神经元（$x_1,x_2$）
• 隐藏层：4 个神经元 + sigmoid 激活
• 输出层：1 个神经元 + sigmoid（输出 $[0,1]$ 当成"是 1 的概率"）

4.3 训练流程概览

训练就是不断重复下面 4 步：

1. 前向传播：从 $x$ 一路算出 $\hat{y}$，顺便算出损失 $L$
2. 反向传播：用链式法则从 $\hat{y}$ 一路算回每个参数的"梯度"
3. 参数更新：$W\leftarrow W-\eta \cdot \text{梯度}$
4. 重复 1~3 几百~几千次（每一轮叫一个 epoch）

到损失不再下降（或下降得很慢），训练就结束了。

第 5 章：数据初始化

5.1 训练数据

XOR 的训练数据只有 4 个样本：

X = np.array([[0, 0],
              [0, 1],
              [1, 0],
              [1, 1]])  # 形状 (4, 2)
y = np.array([0, 1, 1, 0])  # 形状 (4,)

$X$ 是 4 行 2 列的矩阵——每行是一个样本，每列是一个特征。$y$ 是长度为 4 的向量——每个样本对应一个标签。

5.2 超参数

seed = 1          # 随机种子，让结果可复现
n_in = 2          # 输入维度
n_hidden = 4      # 隐藏层神经元个数
lr = 1.0          # learning rate，学习率

学习率 $\eta$ 控制每一步"走多远"：

• 太小：下山下得很慢，要训练很多轮
• 太大：在最优点附近来回震荡，甚至越走越远
• 适中：又快又稳（本教程用 1.0，对小网络够用）

5.3 权重的"形状约定"

按"行=样本"布局，权重形状如下：

$W_{ij}^{(1)}$ 的含义：从输入的第 $i$ 维到隐藏层第 $j$ 个神经元的"连接强度"。

5.4 初始化方式（Xavier 简化版）

用均值为 0、标准差为 $1/\sqrt{n_{\text{in}}}$ 的高斯分布采样：

$$W_{ij}^{(1)}\sim \mathcal{N}\left(0,\frac{1}{n_{\text{in}}}\right),W_{ij}^{(2)}\sim \mathcal{N}\left(0,\frac{1}{n_{\text{hidden}}}\right)$$

为什么这么选？ 直觉上希望每一层激活值的"大小"差不多，否则后面几层会因为信号太大/太小而学不动。这就是 Xavier 初始化的核心思想。

偏置全部初始化为 0：

rng = np.random.default_rng(seed)
W1 = rng.normal(0, 1/np.sqrt(n_in),    size=(n_in, n_hidden))
b1 = np.zeros(n_hidden)
W2 = rng.normal(0, 1/np.sqrt(n_hidden), size=(n_hidden, 1))
b2 = np.zeros(1)

第 6 章：激活函数（sigmoid）

6.1 定义

sigmoid 是最经典的激活函数：

$$\sigma (z)=\frac{1}{1+e^{-z}}$$

把任意实数 $z\in (-\infty ,+\infty )$ 压缩到 $(0,1)$ 区间。

图像像一个被压扁的 "S"，所以叫"sigmoid"（sigma + oid = "S 形的"）。

6.2 sigmoid 求导（关键！三种方法）

这一节我们详细推导 ${\sigma }^{\prime }(z)$。这是反向传播最常用的导数之一。

设

$$\sigma (z)=\frac{1}{1+e^{-z}}=(1+e^{-z}{)}^{-1}$$

方法 1：链式法则（最直接）

把 $\sigma$ 看成三层复合：

$$\sigma (z)=u^{-1},u=1+e^{-z}$$

最外层（对 $1+e^{-z}$ 求 $-1$ 次幂）：

$$\frac{d}{du}{u}^{-1}=-u^{-2}=-\frac{1}{(1+e^{-z}{)}^2}$$

中间层（对 $e^{-z}$ 求导）：

$$\frac{d}{dz}{e}^{-z}=-e^{-z}$$

小提示：$\frac{d}{dx}{e}^u=e^u$，当 $u=-x$ 时还要乘 $\frac{du}{dx}=-1$，所以 $\frac{d}{dx}{e}^{-x}=-e^{-x}$。

链式法则把两层乘起来：

$${\sigma }^{\prime }(z)=\underset{\text{外层}}{\underbrace{-\frac{1}{(1+e^{-z}{)}^2}}}\cdot \underset{\text{内层求导结果}}{\underbrace{(-e^{-z})}}=\frac{e^{-z}}{(1+e^{-z}{)}^2}$$

方法 2：商法

把 $\sigma$ 写成 $\frac{1}{1+e^{-z}}$，用 ${\left(\frac{u}{v}\right)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}$：

• $u=1$，$u^{\prime }=0$
• $v=1+e^{-z}$，$v^{\prime }=-e^{-z}$

$${\sigma }^{\prime }(z)=\frac{0\cdot v-1\cdot (-e^{-z})}{(1+e^{-z}{)}^2}=\frac{e^{-z}}{(1+e^{-z}{)}^2}$$

方法 3：化简成 $a(1-a)$ 形式（最常用）

令 $a=\sigma (z)$。先算 $1-a$：

$$1-a=1-\frac{1}{1+e^{-z}}=\frac{(1+e^{-z})-1}{1+e^{-z}}=\frac{e^{-z}}{1+e^{-z}}$$

把方法 1 的结果拆成两个分式相乘：

$$\frac{e^{-z}}{(1+e^{-z}{)}^2}=\underset{a}{\underbrace{\frac{1}{1+e^{-z}}}}\cdot \underset{1-a}{\underbrace{\frac{e^{-z}}{1+e^{-z}}}}=a(1-a)$$

最终好用形式：

$$\boxed{{\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))=a(1-a)}$$

这个形式在反向传播时极其省事——前向时已经算好 $a=\sigma (z)$ 缓存起来，反向时直接用 a * (1 - a)，不必再算一次指数。

6.3 NumPy 实现

def sigmoid(z):
    # np.clip 防止指数溢出
    return 1.0 / (1.0 + np.exp(-np.clip(z, -500, 500)))

def dsigmoid(a):
    """sigmoid 对 a 求导：σ'(z) = a(1-a)，a 已经是 σ(z)"""
    return a * (1.0 - a)

np.clip(z, -500, 500) 把 $z$ 限制在 $[-500,500]$——$e^{-500}\approx 10^{-217}$ 已经小到能正常表示，再大就会触发数值溢出警告。

第 7 章：前向传播

前向传播就是"把输入一层层算到输出"。

7.1 隐藏层线性变换

$$Z^{(1)}=X\cdot W^{(1)}+b^{(1)}$$

形状：

$$\underset{(4,2)}{\underbrace{X}}\cdot \underset{(2,4)}{\underbrace{W^{(1)}}}+\underset{(4,)}{\underbrace{b^{(1)}}}=\underset{(4,4)}{\underbrace{Z^{(1)}}}$$

$b^{(1)}$ 是长度为 4 的向量，NumPy 会自动把它"广播"到 (4, 4)——每行都加上这个偏置。

z1 = X @ W1 + b1

7.2 隐藏层激活

$$A^{(1)}=\sigma (Z^{(1)})$$

形状不变 $(4,4)$，每个元素过一遍 sigmoid：

a1 = sigmoid(z1)

7.3 输出层线性变换

$$Z^{(2)}=A^{(1)}\cdot W^{(2)}+b^{(2)}$$

形状：

$$\underset{(4,4)}{\underbrace{A^{(1)}}}\cdot \underset{(4,1)}{\underbrace{W^{(2)}}}+\underset{(1,)}{\underbrace{b^{(2)}}}=\underset{(4,1)}{\underbrace{Z^{(2)}}}$$

z2 = a1 @ W2 + b2

7.4 输出层激活 + 拉平

$$\hat{y}=\sigma (Z^{(2)})$$

最后 .ravel() 把 $(4,1)$ 拉平成 $(4,)$，便于和真值 $y$ 逐元素比较：

y_pred = sigmoid(z2).ravel()

此时 $y_{\text{pred}}\in (0,1)$，可以当成"预测为 1 的概率"。

第 8 章：损失函数（交叉熵）

8.1 什么是损失函数？

损失函数 $L(\hat{y},y)$ 衡量"预测 $\hat{y}$ 和真值 $y$ 差多远"。差得越多，$L$ 越大；差得越少，$L$ 越小。训练的目标就是最小化 $L$。

8.2 二分类交叉熵（BCE）

对单个样本 $(x,y)$，$y\in \{0,1\}$，$\hat{y}\in (0,1)$：

$$\ell (y,\hat{y})=-[y\log \hat{y}+(1-y)\log (1-\hat{y})]$$

直观理解：

• 当 $y=1$：$\ell =-\log \hat{y}$。$\hat{y}$ 越接近 1，$\ell$ 越小；$\hat{y}$ 接近 0，$\ell$ 爆炸。
• 当 $y=0$：$\ell =-\log (1-\hat{y})$。$\hat{y}$ 越接近 0，$\ell$ 越小。

对 $N$ 个样本取平均：

$$L=\frac{1}{N}\sum _{n=1}^N\ell (y^{(n)},{\hat{y}}^{(n)})=-\frac{1}{N}\sum _{n=1}^N[y^{(n)}\log {\hat{y}}^{(n)}+(1-y^{(n)})\log (1-{\hat{y}}^{(n)})]$$

8.3 NumPy 实现

loss = -np.mean(y * np.log(y_pred + 1e-8) +
                (1 - y) * np.log(1 - y_pred + 1e-8))

+ 1e-8 是为了防止 $\log (0)$ 出现 $-\infty$（数值上的小技巧）。

8.4 为什么用交叉熵而不是 MSE？

当输出层是 sigmoid 时，交叉熵比均方误差 (MSE) 训练更稳定，核心原因在反向传播时：MSE 会把 ${\sigma }^{\prime }(z)$ 乘进梯度里，而 ${\sigma }^{\prime }$ 在 $|z|$ 大时接近 0，导致梯度消失；交叉熵不会出现这个问题（下一章会详细推导）。

8.5 交叉熵对 $\hat{y}$ 的求导（关键！）

设

$$L=-y\log \hat{y}-(1-y)\log (1-\hat{y})$$

我们要求 $\frac{\partial L}{\partial \hat{y}}$，其中 $y$ 当作常数。

拆成两项

$$L=\underset{L_1}{\underbrace{-y\log \hat{y}}}+\underset{L_2}{\underbrace{[-(1-y)\log (1-\hat{y})]}}$$

算 $L_1$ 的导数

由 $\frac{d}{d\hat{y}}\log \hat{y}=\frac{1}{\hat{y}}$，$y$ 是常数直接提出来：

$$\frac{\partial L_1}{\partial \hat{y}}=-y\cdot \frac{1}{\hat{y}}=-\frac{y}{\hat{y}}$$

算 $L_2$ 的导数（用链式法则）

设 $u=1-\hat{y}$，则 $\frac{du}{d\hat{y}}=-1$，$\frac{d}{du}\log u=\frac{1}{u}$。

$$\frac{\partial L_2}{\partial \hat{y}}=-(1-y)\cdot \frac{1}{1-\hat{y}}\cdot (-1)=\frac{1-y}{1-\hat{y}}$$

合并

$$\boxed{\frac{\partial L}{\partial \hat{y}}=-\frac{y}{\hat{y}}+\frac{1-y}{1-\hat{y}}}$$

通分化简（更优雅）

公分母 $\hat{y}(1-\hat{y})$：

$$=\frac{-y(1-\hat{y})+(1-y)\hat{y}}{\hat{y}(1-\hat{y})}$$

展开分子：

$$-y(1-\hat{y})=-y+y\hat{y}$$

$$(1-y)\hat{y}=\hat{y}-y\hat{y}$$

相加：$-y+y\hat{y}+\hat{y}-y\hat{y}=\hat{y}-y$（中间两项 $y\hat{y}$ 抵消）

所以：

$$\boxed{\frac{\partial L}{\partial \hat{y}}=\frac{\hat{y}-y}{\hat{y}(1-\hat{y})}}$$

第 9 章：反向传播

反向传播是"沿着前向的反方向，用链式法则求每个参数的梯度"。

9.1 整体思路

我们从损失 $L$ 出发，按"从后往前"的顺序求偏导：

$$L(\hat{y},y)\stackrel{\text{链式}}{\leftarrow }{Z}^{(2)}\stackrel{\text{链式}}{\leftarrow }{A}^{(1)}\stackrel{\text{链式}}{\leftarrow }{Z}^{(1)}\stackrel{\text{链式}}{\leftarrow }{W}^{(1)},b^{(1)}$$

整个反向传播可以浓缩成 5 步，每一步都有具体的公式。下面逐项推导。

9.2 第 1 步：$d{Z}^{(2)}=\frac{\partial L}{\partial Z^{(2)}}$（最关键！）

我们已经知道：

• $\hat{y}=\sigma (z)$，${\sigma }^{\prime }(z)=\hat{y}(1-\hat{y})$
• $\frac{\partial L}{\partial \hat{y}}=\frac{\hat{y}-y}{\hat{y}(1-\hat{y})}$

链式法则：

$$\frac{\partial L}{\partial z}=\frac{\partial L}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial z}=\frac{\hat{y}-y}{\hat{y}(1-\hat{y})}\cdot \hat{y}(1-\hat{y})$$

$\hat{y}(1-\hat{y})$ 直接被约掉！

$$\boxed{\frac{\partial L}{\partial z}=\hat{y}-y}$$

对所有样本独立地成立，所以

$$d{Z}^{(2)}=\hat{y}-y$$

形状 $(N,1)$（这里 $N=4$）。

另一种写法（不绕 $\hat{y}$）

直接把 $L$ 写成 $z$ 的函数：

$$L=-y\log \sigma (z)-(1-y)\log (1-\sigma (z))$$

对 $z$ 求导（注意 ${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$）：

$$\frac{\partial L}{\partial z}=-y\cdot \frac{{\sigma }^{\prime }(z)}{\sigma (z)}-(1-y)\cdot \frac{-{\sigma }^{\prime }(z)}{1-\sigma (z)}$$

代入 ${\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$，分母再次被约掉：

$$=(1-y)\sigma (z)-y(1-\sigma (z))=\sigma (z)-y$$

两种方法殊途同归。

这个结果为什么这么漂亮？

• 形式简洁：预测减真实，没了。
• 梯度方向天然合理：
  • 预测偏高（$\hat{y}>y$）→ 梯度为正 → 减小 $z$ → 减小 $\hat{y}$
  • 预测偏低（$\hat{y}<y$）→ 梯度为负 → 增大 $z$ → 增大 $\hat{y}$
• 不会梯度消失：没有 ${\sigma }^{\prime }(z)$ 这一项，预测越准、梯度越小但不会突然消失；不像 MSE+sigmoid 那样在 $|z|$ 大时梯度直接饱和为 0。

这就是"sigmoid 输出 + 交叉熵"成为经典组合的根本原因。

9.3 第 2 步：$\frac{\partial L}{\partial W^{(2)}}$（详细推导）

我们已知 $d{Z}^{(2)}=\hat{y}-y$（形状 $(N,1)$），现在要算 $W^{(2)}$ 的梯度。

形状约定

单样本推导

去掉 $N$ 这个 batch 维度，对第 $n$ 个样本：

$$z_n^{(2)}=\sum _{i=1}^4{a}_{n,i}^{(1)}\cdot w_i^{(2)}+b^{(2)}$$

对 $w_i^{(2)}$ 求偏导（链式法则）：

$$\frac{\partial L}{\partial w_i^{(2)}}=\frac{\partial L}{\partial z_n^{(2)}}\cdot \frac{\partial z_n^{(2)}}{\partial w_i^{(2)}}=({\hat{y}}_n-y_n)\cdot a_{n,i}^{(1)}=a_{n,i}^{(1)}\cdot d{Z}_n^{(2)}$$

注意 $\frac{\partial z_n^{(2)}}{\partial w_i^{(2)}}=a_{n,i}^{(1)}$：因为 $z_n^{(2)}$ 是关于 $w_i^{(2)}$ 的线性函数，$w_i^{(2)}$ 之外的 $a_{n,i^{\prime }}$ 都是常数。

把 $N$ 个样本合起来

对所有 $n$ 求平均（因为 $L$ 是平均损失）：

$$\frac{\partial L}{\partial w_i^{(2)}}=\frac{1}{N}\sum _{n=1}^N{a}_{n,i}^{(1)}\cdot d{Z}_n^{(2)}$$

"除以 $N$" 的来历：单样本时 $N=1$ 不用写；多样本时 $L=\frac{1}{N}{\sum }_n{L}_n$，对 $w_i$ 求导时这个 $\frac{1}{N}$ 自然带过来。

写成矩阵形式

把上面"单样本"的偏导对所有 $n$ 求和（再除以 $N$），是 $\partial L/\partial W^{(2)}$ 的第 $i$ 行。正好就是 $A^{(1)}$ 的转置乘 $d{Z}^{(2)}$：

$$\boxed{\frac{\partial L}{\partial W^{(2)}}=\frac{1}{N}(A^{(1)}{)}^{\top }d{Z}^{(2)}}$$

形状对位：$\underset{(4,N)}{\underbrace{(A^{(1)}{)}^{\top }}}\times \underset{(N,1)}{\underbrace{d{Z}^{(2)}}}\to \underset{(4,1)}{\underbrace{\partial L/\partial W^{(2)}}}$ ✓

直觉理解

把公式拆开看元素：

$${\left(\frac{\partial L}{\partial W^{(2)}}\right)}_i=\frac{1}{N}\sum _{n=1}^N\underset{\text{第 }n\text{ 个样本的第 }i\text{ 个特征}}{\underbrace{a_{n,i}^{(1)}}}\cdot \underset{\text{该样本的误差}}{\underbrace{d{Z}_n^{(2)}}}$$

• $a_{n,i}^{(1)}$ 越大、$d{Z}_n^{(2)}$ 越大 → $w_i^{(2)}$ 该被调得越多
• 对所有样本取平均：抹平单个样本的噪声

这就是为什么线性层 $Z=AW+b$ 永远有 $\partial L/\partial W=A^{\top }dZ/N$——本质上"输入特征"和"输出误差"的相关性矩阵。

9.4 第 2 步（续）：$\frac{\partial L}{\partial b^{(2)}}$

对 $b^{(2)}$，$\frac{\partial z_n^{(2)}}{\partial b^{(2)}}=1$（偏置在线性项外是常数 1），所以：

$$\frac{\partial L}{\partial b^{(2)}}{|}_{\text{样本 }n}=({\hat{y}}_n-y_n)=d{Z}_n^{(2)}$$

把 $N$ 个 $d{Z}_n^{(2)}$ 累加并平均：

$$\boxed{\frac{\partial L}{\partial b^{(2)}}=\frac{1}{N}{1}^{\top }d{Z}^{(2)}}$$

形状：$(1,N)\times (N,1)=(1,1)$，与 $b^{(2)}$ 同形 ✓

在 NumPy 里就是 dZ.mean(axis=0)。

9.5 第 3 步：$d{A}^{(1)}=\frac{\partial L}{\partial A^{(1)}}$

$d{Z}^{(2)}$ 是输出层的"误差信号"，要把它沿着 $Z^{(2)}=A^{(1)}{W}^{(2)}+b^{(2)}$ 传回 $A^{(1)}$：

$$d{A}^{(1)}=d{Z}^{(2)}\cdot (W^{(2)}{)}^{\top }$$

形状对位：$\underset{(N,1)}{\underbrace{d{Z}^{(2)}}}\times \underset{(1,4)}{\underbrace{(W^{(2)}{)}^{\top }}}=\underset{(N,4)}{\underbrace{d{A}^{(1)}}}$ ✓

da1 = dz2 @ W2.T

9.6 第 4 步：$d{Z}^{(1)}=d{A}^{(1)}\odot {\sigma }^{\prime }(Z^{(1)})$

$A^{(1)}=\sigma (Z^{(1)})$ 是逐元素的非线性，所以梯度也是逐元素相乘（$\odot$ 表示"按位乘"）：

$$d{Z}^{(1)}=d{A}^{(1)}\odot {\sigma }^{\prime }(Z^{(1)})=d{A}^{(1)}\odot A^{(1)}\odot (1-A^{(1)})$$

dz1 = da1 * dsigmoid(a1)

形状：$(N,4)$，和 $Z^{(1)}$ 同形。

9.7 第 5 步：$\frac{\partial L}{\partial W^{(1)}}$（与第 2 步完全同构）

推导过程和 $W^{(2)}$ 完全一样，只是把 $A^{(1)}$ 换成 $X$、把 $d{Z}^{(2)}$ 换成 $d{Z}^{(1)}$：

$$\boxed{\frac{\partial L}{\partial W^{(1)}}=\frac{1}{N}{X}^{\top }d{Z}^{(1)}}$$

形状对位：$\underset{(2,N)}{\underbrace{X^{\top }}}\times \underset{(N,4)}{\underbrace{d{Z}^{(1)}}}=\underset{(2,4)}{\underbrace{\partial L/\partial W^{(1)}}}$ ✓

dW1 = (X.T @ dz1) / N

9.8 第 5 步（续）：$\frac{\partial L}{\partial b^{(1)}}$

$$\boxed{\frac{\partial L}{\partial b^{(1)}}=\frac{1}{N}{1}^{\top }d{Z}^{(1)}}$$

形状：$(1,N)\times (N,4)=(1,4)$，与 $b^{(1)}$ 同形 ✓

db1 = dz1.mean(axis=0)

9.9 总结：反向传播 5 步

# 1. 输出层误差（交叉熵 + sigmoid 的极简结论）
dz2 = y_pred - y.reshape(-1, 1)              # (N, 1)

# 2. W2、b2 梯度
dW2 = (a1.T @ dz2) / N                        # (4, 1)
db2 = dz2.mean(axis=0)                        # (1,)

# 3. 把误差信号传回隐藏层
da1 = dz2 @ W2.T                              # (N, 4)

# 4. 乘上 sigmoid 导数
dz1 = da1 * dsigmoid(a1)                      # (N, 4)

# 5. W1、b1 梯度
dW1 = (X.T @ dz1) / N                         # (2, 4)
db1 = dz1.mean(axis=0)                        # (4,)

9.10 为什么所有权重梯度公式都长成 "$X^{\top }dZ$" 模式？

在线性层 $Z=XW+b$ 里，$\partial L/\partial W$ 的第 $(i,j)$ 个元素

$$=\sum _n{X}_{n,i}\cdot d{Z}_{n,j}$$

这正好是 $(X^{\top }dZ{)}_{ij}$。所以"输入转置 × 输出梯度"是线性层的通用模式——在 PyTorch 里就是 X.T @ dZ。

第 10 章：梯度下降与训练循环

10.1 参数更新公式

有了梯度，沿着"损失下降最快的反方向"走一小步：

$$W\leftarrow W-\eta \cdot \frac{\partial L}{\partial W},b\leftarrow b-\eta \cdot \frac{\partial L}{\partial b}$$

其中 $\eta$ 就是学习率 lr。

直观理解：

• $\partial L/\partial W$ 告诉你"山坡有多陡"
• 减去 $\eta$ 倍的坡度，就是"下山一步"
• 反复迭代就能逐步逼近局部最优点

W1 -= lr * dW1
b1 -= lr * db1
W2 -= lr * dW2
b2 -= lr * db2

10.2 完整训练循环

把"前向 + 反向 + 更新"打包成循环，跑 1000 个 epoch：

for ep in range(1, 1000 + 1):
    # ---- 前向 ----
    z1 = X @ W1 + b1          # (4, 4)
    a1 = sigmoid(z1)          # (4, 4)
    z2 = a1 @ W2 + b2         # (4, 1)
    y_pred = sigmoid(z2).ravel()  # (4,)

    # ---- 计算损失 ----
    loss = -np.mean(y * np.log(y_pred + 1e-8) +
                    (1 - y) * np.log(1 - y_pred + 1e-8))

    # ---- 打印进度 ----
    if ep % 100 == 0 or ep == 1:
        acc = (y_pred.round() == y).mean()
        print(f"epoch {ep:5d}  loss={loss:.4f}  acc={acc:.2f}")

    # ---- 反向 ----
    N = len(X)
    y_pred_2d = y_pred.reshape(-1, 1)

    dz2 = y_pred_2d - y.reshape(-1, 1)
    dW2 = (a1.T @ dz2) / N
    db2 = dz2.mean(axis=0)

    da1 = dz2 @ W2.T
    dz1 = da1 * dsigmoid(a1)
    dW1 = (X.T @ dz1) / N
    db1 = dz1.mean(axis=0)

    # ---- 参数更新 ----
    W1 -= lr * dW1
    b1 -= lr * db1
    W2 -= lr * dW2
    b2 -= lr * db2

由于训练数据只有 4 个样本，每次更新都用上全部数据，相当于 full-batch 梯度下降。

10.3 训练过程

跑出来大致是这样：

epoch     1  loss=0.6906  acc=0.25
epoch   100  loss=0.6921  acc=0.25
epoch   200  loss=0.6917  acc=0.25
...
epoch  1000  loss=0.6931  acc=0.50

不同随机种子会得到不同曲线。XOR 是个"小山丘"地形，网络可能卡在某个局部最优——重设种子或加大学习率/隐藏层通常能跳出。

第 11 章：评估模型

11.1 准确率

最直观的指标是"预测对的样本占比"：

acc = (y_pred.round() == y).mean()

这行代码做了 3 件事：

1. y_pred.round()：把连续概率 $\hat{y}\in (0,1)$ 四舍五入成 0 或 1
2. ... == y：逐元素比较，预测对返回 True（=1），错返回 False（=0）
3. .mean()：把布尔当 0/1 求平均，得到正确率

11.2 训练后的预测

训练完用最终参数再跑一次前向，看每个样本的预测：

z1 = X @ W1 + b1
a1 = sigmoid(z1)
z2 = a1 @ W2 + b2
y_pred = sigmoid(z2).ravel()

for xi, yi, pi in zip(X, y, y_pred):
    print(f"x={xi}  y={yi}  ŷ={pi:.4f}  pred={round(pi)}")

理想情况下 $\hat{y}$ 应该接近 0 或 1：

x=[0 0]  y=0  ŷ=0.02  pred=0  ✓
x=[0 1]  y=1  ŷ=0.98  pred=1  ✓
x=[1 0]  y=1  ŷ=0.98  pred=1  ✓
x=[1 1]  y=0  ŷ=0.02  pred=0  ✓
acc = 1.0

11.3 进一步评估（更严谨）

对于真实数据集，准确率只是入门指标。还可以看：

XOR 只有 4 个样本，准确率就够了；真上项目，建议至少看 Precision / Recall / F1。

第 12 章：总结与延伸阅读

12.1 整篇教程的核心链路

数据 (X, y)
  ↓ 随机初始化 W1, b1, W2, b2
  ↓
前向: z1 → a1 → z2 → ŷ
  ↓
损失: L = BCE(ŷ, y)
  ↓
反向: dZ2=ŷ-y → dW2, db2 → dA1 → dZ1 → dW1, db1
  ↓
更新: W ← W - η·dW
  ↓
循环 1000 轮
  ↓
评估: 准确率

12.2 你已经学到的"核心招数"

12.3 下一步可以学什么？

• 更大的数据集：MNIST 手写数字识别（28×28 像素 → 10 类）
• 更深的网络：3 层、4 层、10 层——会遇到梯度消失，需要 BatchNorm、ReLU、残差连接
• 更多的优化器：SGD → Adam → 学习率调度
• 正则化：Dropout、L2 权重衰减、数据增强
• CNN / RNN / Transformer：处理图像 / 序列时专用结构

12.4 推荐阅读

• 《深度学习》（花书）Ian Goodfellow et al. — 第 6 章讲前馈网络
• 3Blue1Brown 的 神经网络视频系列 — 直观理解
• 《动手学深度学习》(d2l.ai) — 配套可跑代码

12.5 一句话回顾

XOR 不能用一条直线分开，但用"线性 + 非线性 + 线性 + 非线性"的两层神经网络可以。 训练过程就是反复"前向算预测 → 反向算梯度 → 沿负梯度更新参数"——简单的事情重复做，就得到了能解决非线性问题的模型。