问题 1

Linearity in the first argument: $⟨a\mathbf{u}+b\mathbf{w},\mathbf{v}⟩=a⟨\mathbf{u},\mathbf{v}⟩+b⟨\mathbf{w},\mathbf{v}⟩.$

如何理解这句话，用中文回答

这句话表达的是内积（或称为点积）对第一个变量的线性性（linearity in the first argument）。我们可以一步一步理解它的意思：

1️⃣ 符号解释

• $⟨\mathbf{u},\mathbf{v}⟩$：表示向量 $\mathbf{u}$ 和 $\mathbf{v}$ 的内积。
• $a,b$：是标量（实数或复数）。
• $\mathbf{u},\mathbf{w},\mathbf{v}$：是向量。

2️⃣ 这句话的意思

$$⟨a\mathbf{u}+b\mathbf{w},\mathbf{v}⟩=a⟨\mathbf{u},\mathbf{v}⟩+b⟨\mathbf{w},\mathbf{v}⟩$$

这表示：

如果你在内积的第一个位置里，对向量做了线性组合（即 $a\mathbf{u}+b\mathbf{w}$）， 那么内积的结果等于把内积分别对每个分量计算再线性组合起来。

也就是说，内积对第一个参数是线性的映射。

3️⃣ 举个例子（实数空间）

假设我们在 ${\mathbb{R}}^2$ 里： $$\mathbf{u}=(1,2),\mathbf{w}=(3,1),\mathbf{v}=(2,-1)$$ 内积定义为： $$⟨\mathbf{x},\mathbf{y}⟩=x_1{y}_1+x_2{y}_2$$

取 $a=2,b=-1$，我们来验证：

左边： $$⟨2\mathbf{u}-\mathbf{w},\mathbf{v}⟩=⟨(2,4)-(3,1),(2,-1)⟩=⟨(-1,3),(2,-1)⟩=(-1)(2)+(3)(-1)=-5$$

右边： $$2⟨\mathbf{u},\mathbf{v}⟩-⟨\mathbf{w},\mathbf{v}⟩=2[(1)(2)+(2)(-1)]-[(3)(2)+(1)(-1)]=2(0)-(6-1)=-5$$

左右相等 ✅，说明性质成立。

4️⃣ 概念总结

“内积对第一个变量线性”意味着：

• 可以把第一个参数当作一个“输入变量”，内积运算对它是线性的。
• 直观理解：你可以把标量和加法从内积里“提出来”。

🧠 一句话总结：

“线性性”意味着内积对第一个参数的加法与数乘运算是兼容的。 换句话说，内积符号对第一个向量的操作就像普通线性函数那样“分配”和“提常数”。

问题 2

Orthogonal projection explains the method of least squares. To solve an overdetermined system $A\mathbf{x}\approx \mathbf{b}$, we seek the $\mathbf{x}$ that makes $A\mathbf{x}$ the projection of $\mathbf{b}$ onto the column space of $A$. This gives the normal equations

正交投影解释了最小二乘法。为了解决超定问题 系统 $A\mathbf{x}\approx \mathbf{b}$ ，我们寻找 $\mathbf{x}$ ，使得 $A\mathbf{x}$ 成为 $\mathbf{b}$ 在 $A$ 的列空间上的投影。这给出了正则方程

$$A^{T}A\mathbf{x}=A^T\mathbf{b}.$$

Thus, least squares is just projection in disguise.

因此，最小二乘法只是伪装的投影。

你问得非常好——这是线性代数里最值得深刻理解的一段话之一。 我们一步一步来拆解这段话，让你彻底明白为什么“最小二乘法”其实就是“正交投影”的几何版本。

🧱 一、从方程说起：$A\mathbf{x}=\mathbf{b}$

假设我们要解线性方程组： $$A\mathbf{x}=\mathbf{b}$$

• $A$ 是一个 $m\times n$ 矩阵；
• $\mathbf{x}$ 是一个 $n\times 1$ 向量（未知量）；
• $\mathbf{b}$ 是一个 $m\times 1$ 向量（已知量）。

🚧 二、为什么“过定方程组”不一定有解？

如果 $m>n$，也就是方程个数比未知数多（overdetermined）， 那么通常不存在精确的解使 $A\mathbf{x}=\mathbf{b}$ 成立。

举个例子： $$\{\begin{array}{l}x=1\\ x=2\end{array}$$ 显然矛盾。没有真正的交点。

这时我们就会想：

“那我能不能找一个 ‘差不多对’ 的 $\mathbf{x}$， 使得 $A\mathbf{x}$ 尽量接近 $\mathbf{b}$ 呢？”

这就是 最小二乘法（least squares） 的出发点。

🎯 三、最小二乘法在做什么？

我们要找的是： $$\underset{\mathbf{x}}{\min }|A\mathbf{x}-\mathbf{b}{|}^2$$ 即：

让 $A\mathbf{x}$ 尽量靠近 $\mathbf{b}$。

🪞 四、几何视角：$\mathbf{b}$ 投影到 $A$ 的列空间

• $A\mathbf{x}$ 一定落在 $A$ 的列空间 中；
• 但 $\mathbf{b}$ 不一定在这个空间里。

于是几何上我们可以想象：

我们把 $\mathbf{b}$ 投影到 $A$ 的列空间上，得到一个“影子” $\hat{\mathbf{b}}$。

这个影子就是某个 $A\mathbf{x}$。

也就是说： $$\hat{\mathbf{b}}=A\mathbf{x}\ast \text{LS}$$ 其中 $\mathbf{x}\ast \text{LS}$ 是最小二乘解（least squares solution）。

⚖️ 五、投影条件 → 正交条件 → 正规方程

投影的定义是什么？

“误差向量”必须与目标子空间正交。

也就是： $$\mathbf{b}-A{\mathbf{x}}_{\text{LS}}\perp \text{Col}(A)$$

数学上，这意味着： $$A^T(\mathbf{b}-A{\mathbf{x}}_{\text{LS}})=0$$

整理一下： $$A^{T}A{\mathbf{x}}_{\text{LS}}=A^T\mathbf{b}$$

这就是所谓的 “正规方程（normal equations）”。 它就是通过“投影条件”推导出来的。

💡 六、再回头看那句话

“To solve an overdetermined system $A\mathbf{x}\approx \mathbf{b}$, we seek the $\mathbf{x}$ that makes $A\mathbf{x}$ the projection of $\mathbf{b}$ onto the column space of $A$.”

意思是：

• 我们不能保证 $\mathbf{b}$ 在列空间里；
• 所以找个 $\mathbf{x}$，让 $A\mathbf{x}$ 成为 $\mathbf{b}$ 在列空间的正交投影；
• 这个 $\mathbf{x}$ 就是最小二乘解；
• 因为它让误差 $|A\mathbf{x}-\mathbf{b}|$ 最小。

于是： $$\boxed{\text{Least squares = orthogonal projection onto Col(A)}}$$

🧠 七、你提到的疑问澄清

“b往A的列空间投影干啥呀，解方程不是找映射到零空间的子空间里的向量么？”

这两件事其实是互补的两种视角：

• 求方程解：是在 $\mathbf{x}$-空间中找，使 $A\mathbf{x}=\mathbf{b}$。
• 最小二乘：是在 $\mathbf{b}$-空间中看，使 $A\mathbf{x}$ 尽量靠近 $\mathbf{b}$。

几何上，$A$ 把 $\mathbf{x}$-空间映射到 $\mathbf{b}$-空间的某个子空间（列空间）。 如果 $\mathbf{b}$ 不在那里面，只能“垂直地投影”到那条子空间上。

✨ 八、一张图总结（想象）

R^m 空间
     ↑
     |
     |      • b（原始数据）
     |     /
     |    /
     |   /
     |  /   ⟂
     | /____• A x_LS（投影点）
     |
     +------→  A 的列空间 (Col(A))

$\mathbf{b}-A{\mathbf{x}}_{LS}$ 垂直于列空间， 所以得到了正规方程。

✅ 一句话总结

最小二乘法其实不是“解不动的方程乱凑”， 而是把“解方程”改成“做正交投影”。 你在求一个 $A\mathbf{x}$，让它成为 $\mathbf{b}$ 在 $A$ 的列空间上的最接近点。 所以“最小二乘” = “投影在伪解空间的影子”。

问题 3

详细解释下 五、投影条件 → 正交条件 → 正规方程

好 — 我来把那一步 “投影条件 → 正交条件 → 正规方程” 做成一个清晰、逐步且互相补充的证明／解释，包括几何直观、代数推导和微分（最小化）推导，并补充若干重要结论（唯一性、投影矩阵、奇异情形）。尽量详尽但不啰嗦。

一、问题设定（回顾）

我们要解 $$\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min };|A\mathbf{x}-\mathbf{b}{|}^2,$$ 其中 $A$ 是 $m\times n$ 矩阵，$\mathbf{b}\in {\mathbb{R}}^m$。记列空间 $\mathcal{C}=\mathrm{Col}(A)$。任何 $A\mathbf{x}$ 都在 $\mathcal{C}$ 中。

目标是找出使误差向量 $\mathbf{r}(\mathbf{x})=\mathbf{b}-A\mathbf{x}$ 的长度平方最小的 $\mathbf{x}$。

二、几何/正交投影直观（投影条件）

投影的定义： 如果把 $\mathbf{b}$ 投影到子空间 $\mathcal{C}$ 上，投影点记为 $\hat{\mathbf{b}}\in \mathcal{C}$，投影的性质是： $$\mathbf{b}=\hat{\mathbf{b}}+\mathbf{r},\hat{\mathbf{b}}\in \mathcal{C},\mathbf{r}\perp \mathcal{C}.$$ 也就是说，投影点到原点的差（残差）与 $\mathcal{C}$ 中的任意向量正交。

把 $\hat{\mathbf{b}}=A\hat{\mathbf{x}}$（因为投影点在列空间，所以是某个 $A\mathbf{x}$）写出，则投影条件就是 $$\mathbf{b}-A\hat{\mathbf{x}}\perp \mathcal{C}.$$

三、正交条件写成代数等式

“对 $\mathcal{C}$ 中任意向量都正交”等价于：对 $\mathcal{C}$ 的任意生成向量（取 $A$ 的列向量）都正交。设 $A=[{\mathbf{a}}_1,\dots ,{\mathbf{a}}_n]$。正交条件： $$(\mathbf{b}-A\hat{\mathbf{x}})\cdot {\mathbf{a}}_j=0\text{对 }j=1,\dots ,n.$$ 把这些内积集合成向量形式，就是 $$A^T(\mathbf{b}-A\hat{\mathbf{x}})=0.$$ 展开得 $$A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b},$$ 这正是正规方程。

直观：$A^T(\mathbf{b}-A\hat{\mathbf{x}})=0$ 意味着残差与列空间中每一列都正交，因此与列空间正交。

四、从最小化问题出发的微分（代数微积分）证明

定义目标函数 [ f(\mathbf{x}) = |A\mathbf{x}-\mathbf{b}|^2 = (A\mathbf{x}-\mathbf{b})^T(A\mathbf{x}-\mathbf{b}). ] 展开并对 (\mathbf{x}) 求导（向量微分）： [ f(\mathbf{x}) = \mathbf{x}^T A^T A \mathbf{x} - 2\mathbf{x}^T A^T\mathbf{b} + \mathbf{b}^T\mathbf{b}. ] 梯度是 [ \nabla f(\mathbf{x}) = 2A^T A \mathbf{x} - 2A^T\mathbf{b}. ] 把梯度设为零以求极小点： $$2A^{T}A\mathbf{x}-2A^T\mathbf{b}=0⟹A^{T}A\mathbf{x}=A^T\mathbf{b}.$$ 这同样得到正规方程。并且因为 $f$ 是二次且半正定，解是最小化的解（只要 $A^{T}A$ 正定就是全局唯一最小化解）。

五、正交 ⇒ 最小 的严格解释（毕达哥拉斯分解）

设 $\hat{\mathbf{b}}=A\hat{\mathbf{x}}$ 满足 $\mathbf{r}=\mathbf{b}-\hat{\mathbf{b}}\perp \mathcal{C}$。对任意 $\mathbf{y}\in \mathcal{C}$（记成 $\mathbf{y}=A\mathbf{x}$）有： $$|\mathbf{b}-\mathbf{y}{|}^2=|(\hat{\mathbf{b}}+\mathbf{r})-\mathbf{y}{|}^2=|(\hat{\mathbf{b}}-\mathbf{y})+\mathbf{r}{|}^2.$$ 由于 $\hat{\mathbf{b}}-\mathbf{y}\in \mathcal{C}$ 而 $\mathbf{r}\perp \mathcal{C}$，按毕达哥拉斯： $$|\mathbf{b}-\mathbf{y}{|}^2=|\hat{\mathbf{b}}-\mathbf{y}{|}^2+|\mathbf{r}{|}^2\ge |\mathbf{r}{|}^2.$$ 等号当且仅当 $\hat{\mathbf{b}}=\mathbf{y}$。因此 $\hat{\mathbf{b}}$ 是使 $|\mathbf{b}-\mathbf{y}|$ 最小的点，证明了正交条件给出的点是最小二乘解对应的 $A\mathbf{x}$。

六、正规方程的解与唯一性

• 如果 $A$ 的列线性无关（即 $A$ 的列满秩，$\mathrm{rank}(A)=n$），则 $A^{T}A$ 可逆，所以正规方程有唯一解： $$\hat{\mathbf{x}}=(A^{T}A{)}^{-1}{A}^T\mathbf{b}.$$
• 如果 $A$ 的列不满秩，$A^{T}A$ 不可逆，则正规方程可能有无穷多个解（最小二乘解不是唯一的）。在这种情形下常用**广义逆（Moore–Penrose 伪逆）**给出最小范数解： $$\hat{\mathbf{x}}=A^{+}\mathbf{b}$$ 其中 $A^{+}$ 表示伪逆。

七、投影矩阵（把正规方程再包装一下）

若 $A^{T}A$ 可逆，则投影（从 $\mathbf{b}$ 到列空间得到的点）可以写为 $$\hat{\mathbf{b}}=A\hat{\mathbf{x}}=A(A^{T}A{)}^{-1}{A}^T\mathbf{b}.$$ 定义投影矩阵 $$P=A(A^{T}A{)}^{-1}{A}^T.$$ 它满足

• $P^2=P$（幂等），
• $P^T=P$（对称），
• 对任意 $\mathbf{b}$，$P\mathbf{b}$ 是 $\mathbf{b}$ 在 $\mathrm{Col}(A)$ 上的正交投影。

八、数值与算法的备注（实用角度）

• 直接解正规方程 $A^{T}A\mathbf{x}=A^T\mathbf{b}$ 在数值上可能不稳定（因为平方条件数）。实际上在数值计算中更常用 QR 分解 或 SVD 来求最小二乘解，这些方法数值更稳健。
• 当 $A$ 列满秩时，QR 给出 $\hat{\mathbf{x}}=R^{-1}{Q}^T\mathbf{b}$；当不满秩时用 SVD 找伪逆得到最小范数解。

九、举个具体小例子（快速数值演示）

设 $$A=\left(\begin{array}{cc}1& 0\\ 0& 1\\ 1& 1\end{array}\right),\mathbf{b}=\left(\begin{array}{c}2\\ 1\\ 4\end{array}\right).$$

列空间是由 ${\mathbf{a}}_1=(1,0,1{)}^T$ 与 ${\mathbf{a}}_2=(0,1,1{)}^T$ 张成的平面。正规方程：

$$A^{T}A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right),A^T\mathbf{b}=\left(\begin{array}{c}6\\ 5\end{array}\right).$$

解 $$\hat{\mathbf{x}}=(A^{T}A{)}^{-1}{A}^T\mathbf{b}=\left(\begin{array}{c}2\\ 1\end{array}\right).$$

对应投影点 $A\hat{\mathbf{x}}=(2,1,3{)}^T$。残差 $\mathbf{b}-A\hat{\mathbf{x}}=(0,0,1{)}^T$，的确与列空间正交（你可以验证其与 ${\mathbf{a}}_1,{\mathbf{a}}_2$ 的内积为 0）。

十、总结（回顾逻辑链）

1. 最小二乘问题等价于在列空间中找一个点使距离 $|\mathbf{b}-A\mathbf{x}|$ 最小。
2. 几何上最接近点是正交投影，因此残差必须与列空间正交。
3. 将“与列空间正交”写成代数形式 $A^T(\mathbf{b}-A\mathbf{x})=0$，得到正规方程 $A^{T}A\mathbf{x}=A^T\mathbf{b}$。
4. 由正规方程解出的 $\mathbf{x}$ 给出投影点 $A\mathbf{x}$，从而最小化了残差平方和。

如果你愿意，我可以用一个更详细的数值例子一步步代入计算，或演示用 QR / SVD 求解并比较数值稳定性。要不要我做一个小计算示范？

问题 3

Verify that $(1/\sqrt{2})(1,1)$ and $(1/\sqrt{2})(1,-1)$ form an orthonormal basis of ${\mathbb{R}}^2$.

验证 $(1/\sqrt{2})(1,1)$ 和 $(1/\sqrt{2})(1,-1)$ 是否构成 ${\mathbb{R}}^2$ 的正交基。

验证

设 $v_1=\frac{1}{\sqrt{2}}(1,1)$，$v_2=\frac{1}{\sqrt{2}}(1,-1)$。

1. 正交性（内积为 0）： $$v_1\cdot v_2=\frac{1}{\sqrt{2}}(1,1)\cdot \frac{1}{\sqrt{2}}(1,-1)=\frac{1}{2}(1\cdot 1+1\cdot (-1))=\frac{1}{2}(1-1)=0.$$ 因此 $v_1$ 与 $v_2$ 正交。

2. 范数为 1（单位向量）： $$|v_1|=\sqrt{v_1\cdot v_1}=\sqrt{\frac{1}{2}(1+1)}=\sqrt{1}=1,$$ 同理 $|v_2|=1$。所以它们是标准正交（orthonormal）的。

3. 生成整个 ${\mathbb{R}}^2$（线性无关即为基）：

   两条正交且非零的向量在二维空间中必线性无关，因此构成基。也可看矩阵 $$A=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)$$

   的行列式为 $\det A=\frac{1}{2}\det \left(\begin{array}{cc}1& 1\\ 1& -1\end{array}\right)=\frac{1}{2}(-2)=-1\ne 0$，因此可逆，从而列向量构成基。

结论： 这两向量互相正交且为单位向量，于是是 ${\mathbb{R}}^2$ 的一个正交正则基（orthonormal basis）。

问题 4

Express $(3,4)$ in terms of the orthonormal basis $\{(1/\sqrt{2})(1,1),(1/\sqrt{2})(1,-1)\}$.

用正交基 $\{(1/\sqrt{2})(1,1),(1/\sqrt{2})(1,-1)\}$ 表示 $(3,4)$ 。

我们要求向量 $(3,4)$ 在正交基 $$v_1=\frac{1}{\sqrt{2}}(1,1),v_2=\frac{1}{\sqrt{2}}(1,-1)$$ 下的坐标。

第一步：利用正交基的性质

若基是正交归一的，则任意向量 $x$ 可写为 $$x=(x\cdot v_1)v_1+(x\cdot v_2)v_2.$$ 所以我们只需要计算内积 $x\cdot v_1$ 和 $x\cdot v_2$。

第二步：计算内积

$$x\cdot v_1=(3,4)\cdot \frac{1}{\sqrt{2}}(1,1)=\frac{1}{\sqrt{2}}(3+4)=\frac{7}{\sqrt{2}}.$$

$$x\cdot v_2=(3,4)\cdot \frac{1}{\sqrt{2}}(1,-1)=\frac{1}{\sqrt{2}}(3-4)=\frac{-1}{\sqrt{2}}.$$

第三步：写成该基下的表示

因此， $$(3,4)=\frac{7}{\sqrt{2}},v_1+\frac{-1}{\sqrt{2}},v_2.$$

或者写作坐标形式：

$$(3,4);\text{在基};v_1,v_2;\text{下的坐标为};\left(\frac{7}{\sqrt{2}},\frac{-1}{\sqrt{2}}\right).$$

✅ 最终答案： $$(3,4)=\frac{7}{\sqrt{2}}\left(\frac{1}{\sqrt{2}}(1,1)\right),-\frac{1}{\sqrt{2}}\left(\frac{1}{\sqrt{2}}(1,-1)\right),\text{坐标为 }\left(\frac{7}{\sqrt{2}},-\frac{1}{\sqrt{2}}\right).$$

问题 5

Find an orthonormal basis for the plane $x+y+z=0$ in ${\mathbb{R}}^3$.

在 ${\mathbb{R}}^3$ 中找出平面 $x+y+z=0$ 的正交基。

我们要求出平面 $$x+y+z=0$$ 在 (\mathbb{R}^3) 中的一个正交基（orthogonal basis）。

第一步：确定平面的方向

平面的法向量是 $$n=(1,1,1).$$ 任何与 (n) 正交的向量都在平面 (x+y+z=0) 上。

因此我们要找两个 互相正交 且 与 (n) 正交 的向量。

第二步：找出两个线性无关的向量满足 (x+y+z=0)

常见简单选取： $$u_1=(1,-1,0),u_2=(1,1,-2).$$ 验证：

• (u_1\cdot n = 1 - 1 + 0 = 0)
• (u_2\cdot n = 1 + 1 - 2 = 0) 所以它们都在平面上。

第三步：使它们互相正交（施密特正交化）

对 (u_1, u_2) 使用 Gram–Schmidt 正交化。

1. (v_1 = u_1 = (1,-1,0))

2. 去掉 (u_2) 在 (v_1) 方向上的分量： $${\text{proj}}_{v_1}(u_2)=\frac{u_2\cdot v_1}{v_1\cdot v_1}{v}_1$$ 计算： $$u_2\cdot v_1=1\cdot 1+1\cdot (-1)+(-2)\cdot 0=0,$$ 所以 (u_2) 本身已与 (v_1) 正交！

   因此我们可直接取 (v_2 = u_2 = (1,1,-2))。

第四步：归一化（若要正交标准基）

计算长度： $$|v_1|=\sqrt{1^2+(-1{)}^2+0^2}=\sqrt{2},|v_2|=\sqrt{1^2+1^2+(-2{)}^2}=\sqrt{6}.$$

于是归一化： $$e_1=\frac{1}{\sqrt{2}}(1,-1,0),e_2=\frac{1}{\sqrt{6}}(1,1,-2).$$

✅ 结论：

平面 (x + y + z = 0) 的一个正交（且正交归一）基为 $$\boxed{\frac{1}{\sqrt{2}}(1,-1,0),\frac{1}{\sqrt{6}}(1,1,-2)}$$

它们互相正交，并且都在 (x+y+z=0) 上。

问题 6

1. Symmetry: $⟨\mathbf{u},\mathbf{v}⟩=⟨\mathbf{v},\mathbf{u}⟩.$
2. Linearity in the first argument: $⟨a\mathbf{u}+b\mathbf{w},\mathbf{v}⟩=a⟨\mathbf{u},\mathbf{v}⟩+b⟨\mathbf{w},\mathbf{v}⟩.$
3. Positive-definiteness: $⟨\mathbf{v},\mathbf{v}⟩\ge 0$, and equality holds if and only if $\mathbf{v}=0$.

为什么内积的定义要同时满足这些特性？n维线性空间除了点积，还有什么能满足这些定义？

可以把这个问题分成两个层次来理解： 为什么要这样定义内积，以及 除了标准点积，还有没有别的东西也算内积。

先说为什么内积要同时满足这三条性质。

从直觉上看，内积是对“点积”这一几何概念的抽象，而点积本身承担了三件核心事情： 1）衡量“相似程度 / 投影”； 2）定义长度和角度； 3）和线性结构相容。

这三条公理正好一一对应。

第一，对称性 $⟨\mathbf{u},\mathbf{v}⟩=⟨\mathbf{v},\mathbf{u}⟩$。 几何上，$\mathbf{u}$ 在 $\mathbf{v}$ 方向上的投影强度，和 $\mathbf{v}$ 在 $\mathbf{u}$ 方向上的“相互关系”是对等的，没有先后之分。如果没有对称性，“夹角”就会依赖于你把哪个向量放在前面，几何意义会变得很奇怪。

第二，对第一个变量线性 这是为了让内积和线性空间的结构兼容。 你希望“先线性组合，再取内积”和“先取内积，再线性组合”是等价的，否则内积就会破坏线性运算。 比如投影、正交分解、Gram–Schmidt 正交化，这些都严重依赖线性性；如果没有这一条，整个正交几何体系都会崩掉。

第三，正定性 $⟨\mathbf{v},\mathbf{v}⟩\ge 0$，且等号只在 $\mathbf{v}=0$ 时成立。 这是为了保证 $$|\mathbf{v}|=\sqrt{⟨\mathbf{v},\mathbf{v}⟩}$$ 真的是一个“长度”。 如果允许非零向量的“长度平方”为 0 或负数，就无法建立距离、角度，也就失去了几何意义。正定性正是“长度必须是非负，且只有零向量长度为零”的抽象版本。

所以总结一句话： 这三条不是随便选的，而是恰好保证了：内积既能定义几何（长度、角度、正交），又不破坏线性结构。

接下来回答第二个问题： 在 $n$ 维线性空间中，除了标准点积，还有没有别的内积？

答案是：有，而且非常多。

在实数向量空间 ${\mathbb{R}}^n$ 中，所有内积本质上都可以写成下面这种形式： $$⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^{T}A\mathbf{v},$$ 其中 $A$ 是一个 对称正定矩阵。

• 对称性 $\Rightarrow A^T=A$；
• 正定性 $\Rightarrow {\mathbf{v}}^{T}A\mathbf{v}>0$ $(\mathbf{v}\ne 0)$。

标准点积只是最特殊的一种情况，对应 $$A=I,⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^T\mathbf{v}.$$

一些常见但“非标准”的例子包括：

1）加权点积 $$⟨\mathbf{u},\mathbf{v}⟩=w_1{u}_1{v}_1+\cdots +w_n{u}_n{v}_n,w_i>0.$$ 这在统计、数值分析里非常常见，用来强调某些坐标更重要。

2）椭球型内积 $$⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^{T}A\mathbf{v},$$ 其中 $A$ 不再是单位矩阵。 在这个内积下，“单位球”不再是圆或球，而是一个椭球。

3）函数空间里的内积（虽然不是有限维，但很重要） 例如在区间 $[a,b]$ 上： $$⟨f,g⟩={\int }_a^{b}f(x)g(x),dx.$$ 这依然满足对称性、线性性和正定性，是 Fourier 分析和偏微分方程的基础。

最后一个关键事实值得一提： 在有限维空间中，所有内积在本质上都是等价的。 更准确地说，任意内积都可以通过选取合适的基，化成标准点积。这也是为什么线性代数里常常“无损一般性地”使用普通点积。

一句话总结： 内积的三条公理精确地抽象了“长度和角度”的本质，而在 (n) 维空间中，标准点积只是无数合法内积中最简单、最对称的一个。

问题 7

理论上两个向量之间的夹角和向量本身的长度是没有关系的，但为什么向量夹角的定义里用到了向量的长度呢？ $$\cos \theta =\frac{⟨\mathbf{u},\mathbf{v}⟩}{\Vert \mathbf{u}\Vert \Vert \mathbf{v}\Vert }.$$

这个问题问得非常好，其实正好触及了“角度”这个概念在向量空间里为什么一定要借助长度才能被严谨地定义。

先说一个核心结论： 角度本身确实只和方向有关，但“方向”这个概念在向量空间里，只有借助长度才能被剥离出来。

从几何直觉开始看。 如果你只给我两个向量 $\mathbf{u},\mathbf{v}$，但不允许我使用“长度”，那我其实没法判断它们是否只是“同方向不同大小”，还是“真的不同方向”。 比如 $\mathbf{u}$ 和 $2\mathbf{u}$，你直觉上说它们方向完全相同、夹角是 0，但这一步隐含地已经用到了“缩放不改变方向”这个想法，而这个想法正是通过长度来刻画的。

再来看公式里为什么要除以 $|\mathbf{u}||\mathbf{v}|$。

内积 $⟨\mathbf{u},\mathbf{v}⟩$ 同时混合了两种信息：

• 方向关系（“有多对齐”）
• 长度大小（向量有多长）

事实上，如果把向量放大： $$⟨a\mathbf{u},b\mathbf{v}⟩=ab⟨\mathbf{u},\mathbf{v}⟩,$$ 内积会随着长度线性放大。 所以单独的内积根本不是一个“纯方向量”。

而 $$\frac{⟨\mathbf{u},\mathbf{v}⟩}{|\mathbf{u}||\mathbf{v}|}$$ 正好做了一件事： 把“长度因素”完全消掉，只留下和方向有关的那一部分。

你可以把它理解成：

• 先把 $\mathbf{u},\mathbf{v}$ 归一化成单位向量 $$\hat{\mathbf{u}}=\frac{\mathbf{u}}{|\mathbf{u}|},\hat{\mathbf{v}}=\frac{\mathbf{v}}{|\mathbf{v}|}$$
• 再取它们的内积 $$\cos \theta =⟨\hat{\mathbf{u}},\hat{\mathbf{v}}⟩.$$

所以角度的定义里出现“长度”，并不是因为角度依赖长度，而是因为必须用长度把向量的大小信息剥离掉，才能得到纯粹的方向比较。

从更抽象的角度看，这其实是被“逼出来的”。 如果你希望角度满足这些非常自然的要求：

• 与缩放无关（(\mathbf{u}) 和 (2\mathbf{u}) 夹角为 0）；
• 对称；
• 连续变化；
• 在二维、三维里和熟悉的几何角度一致；

那么在内积空间中，唯一合理的定义方式（在本质上）就是 [ \cos\theta=\frac{\langle \mathbf{u}, \mathbf{v} \rangle}{|\mathbf{u}||\mathbf{v}|}. ]

换句话说： 长度不是角度的“附属品”，而是用来消除长度影响、提取方向信息的工具。 正因为角度“理论上不依赖长度”，我们才必须在定义里显式地把长度除掉。

问题 8

Verify that $(1/\sqrt{2})(1,1)$ and $(1/\sqrt{2})(1,-1)$ form an orthonormal basis of ${\mathbb{R}}^2$.

We verify orthonormality and that the vectors form a basis.

设 $$\mathbf{u}=\frac{1}{\sqrt{2}}(1,1),\mathbf{v}=\frac{1}{\sqrt{2}}(1,-1).$$

首先验证它们是单位向量。 $$|\mathbf{u}{|}^2={\left(\frac{1}{\sqrt{2}}\right)}^2(1^2+1^2)=\frac{1}{2}\cdot 2=1,$$ $$|\mathbf{v}{|}^2={\left(\frac{1}{\sqrt{2}}\right)}^2(1^2+(-1{)}^2)=1.$$ 因此 $|\mathbf{u}|=|\mathbf{v}|=1$。

接着验证它们正交。 $$⟨\mathbf{u},\mathbf{v}⟩=\frac{1}{\sqrt{2}}\frac{1}{\sqrt{2}}(1\cdot 1+1\cdot (-1))=\frac{1}{2}(1-1)=0.$$ 所以 $\mathbf{u}$ 与 $\mathbf{v}$ 正交。

由此可知，这两个向量是正交且单位长度的，即它们是一个正交归一组（orthonormal set）。

最后说明它们是 ${\mathbb{R}}^2$ 的一组基。 在二维空间中，任意两个非零且线性无关的向量就能构成一组基；而正交向量必然线性无关。因此 $\mathbf{u},\mathbf{v}$ 构成 ${\mathbb{R}}^2$ 的一组基。

综上， $$\{\frac{1}{\sqrt{2}}(1,1),\frac{1}{\sqrt{2}}(1,-1)\}$$ 是 ${\mathbb{R}}^2$ 的一个正交归一基。

问题 9

Express $(3,4)$ in terms of the orthonormal basis $\{(1/\sqrt{2})(1,1),(1/\sqrt{2})(1,-1)\}$.

设正交归一基为 [ \mathbf{e}_1=\tfrac{1}{\sqrt{2}}(1,1),\qquad \mathbf{e}_2=\tfrac{1}{\sqrt{2}}(1,-1). ]

由于这是一个正交归一基，向量在该基下的坐标可以直接用内积来计算： [ (3,4)=\langle (3,4),\mathbf{e}_1\rangle,\mathbf{e}_1 +\langle (3,4),\mathbf{e}_2\rangle,\mathbf{e}_2. ]

先算第一个系数： [ \langle (3,4),\mathbf{e}_1\rangle =\tfrac{1}{\sqrt{2}}(3+4) =\tfrac{7}{\sqrt{2}}. ]

再算第二个系数： [ \langle (3,4),\mathbf{e}_2\rangle =\tfrac{1}{\sqrt{2}}(3-4) =-\tfrac{1}{\sqrt{2}}. ]

因此 [ (3,4)=\tfrac{7}{\sqrt{2}}\mathbf{e}_1-\tfrac{1}{\sqrt{2}}\mathbf{e}_2. ]

代回基向量的具体形式，也可以写成 [ (3,4)=\tfrac{7}{\sqrt{2}}\cdot\tfrac{1}{\sqrt{2}}(1,1) -\tfrac{1}{\sqrt{2}}\cdot\tfrac{1}{\sqrt{2}}(1,-1). ]

所以，在该正交归一基下，((3,4)) 的坐标是 [ \left(\tfrac{7}{\sqrt{2}},,-\tfrac{1}{\sqrt{2}}\right). ]

问题 10

向量投影到直线的公式：

$${\text{proj}}_{\mathbf{u}}(\mathbf{v})=\frac{⟨\mathbf{v},\mathbf{u}⟩}{⟨\mathbf{u},\mathbf{u}⟩}\mathbf{u}.$$

向量投影到子空间的公式

$${\text{proj}}_W(\mathbf{v})=⟨\mathbf{v},{\mathbf{w}}_1⟩{\mathbf{w}}_1+\cdots +⟨\mathbf{v},{\mathbf{w}}_k⟩{\mathbf{w}}_k.$$

这两个公式之间有什么关联？

这两个公式本质上是在说同一件事，只是一个是“投影到一条直线”，一个是“投影到更高维的子空间”。直线的情形其实正是子空间投影公式的最简单特例。

先从“投影到直线”的公式看起。 设 $W=\mathrm{span}\{u\}$ 是由非零向量 $\mathbf{u}$ 张成的一维子空间。投影 ${\text{proj}}_{\mathbf{u}}(\mathbf{v})$ 的几何含义是：在所有属于 $W$ 的向量中，找一个离 $\mathbf{v}$ 最近的。

这个最近向量一定形如 $c\mathbf{u}$。要确定系数 $c$，关键条件是 $$\mathbf{v}-c\mathbf{u}\perp \mathbf{u}.$$ 也就是 $$⟨\mathbf{v}-c\mathbf{u},\mathbf{u}⟩=0.$$ 解这个方程得到 $$c=\frac{⟨\mathbf{v},\mathbf{u}⟩}{⟨\mathbf{u},\mathbf{u}⟩},$$ 这正好给出了“投影到直线”的公式。

现在看“投影到子空间”的公式。 设 $W$ 是一个 $k$ 维子空间，并且 ${\mathbf{w}}_1,\dots ,{\mathbf{w}}_k$ 是 正交归一基。我们仍然想找一个 $\mathbf{p}\in W$ 使得 $\mathbf{v}-\mathbf{p}$ 与整个子空间 $W$ 正交。

由于 $\mathbf{p}\in W$，它可以写成 $$\mathbf{p}=c_1{\mathbf{w}}_1+\cdots +c_k{\mathbf{w}}_k.$$ 正交条件要求 $$⟨\mathbf{v}-\mathbf{p},{\mathbf{w}}_i⟩=0(i=1,\dots ,k).$$ 利用正交归一性，立刻得到 $$c_i=⟨\mathbf{v},{\mathbf{w}}_i⟩.$$ 于是 $${\text{proj}}_W(\mathbf{v})=⟨\mathbf{v},{\mathbf{w}}_1⟩{\mathbf{w}}_1+\cdots +⟨\mathbf{v},{\mathbf{w}}_k⟩{\mathbf{w}}_k.$$

现在两者的直接联系就非常清楚了。

如果 $W=\mathrm{span}\{u\}$，并且令 $${\mathbf{w}}_1=\frac{\mathbf{u}}{|\mathbf{u}|},$$ 那么 $\{{\mathbf{w}}_1\}$ 就是 $W$ 的一个正交归一基。把它代入“子空间投影公式”： $${\text{proj}}_W(\mathbf{v})=⟨\mathbf{v},{\mathbf{w}}_1⟩{\mathbf{w}}_1=⟨\mathbf{v},\frac{\mathbf{u}}{|\mathbf{u}|}⟩\frac{\mathbf{u}}{|\mathbf{u}|}=\frac{⟨\mathbf{v},\mathbf{u}⟩}{⟨\mathbf{u},\mathbf{u}⟩}\mathbf{u}.$$ 这正好退化为“投影到直线”的公式。

所以可以这样理解： 投影到直线的公式，是在“子空间投影公式”中，子空间维数等于 1 且基向量未必单位化时的写法；而投影到子空间的公式，是把“一维投影”沿着一组正交归一方向逐个相加的结果。

一句话总结： 直线投影是子空间投影的最简单情形，而子空间投影就是把向量分别投影到每一个正交方向上，再把这些投影加起来。

问题11

$$⟨\mathbf{v}-c\mathbf{u},\mathbf{u}⟩=0.$$

解这个方程

我们一步一步来解这个方程，把每一步为什么这样做说清楚。

从条件 $$⟨\mathbf{v}-c\mathbf{u},\mathbf{u}⟩=0$$ 开始。

第一步，利用内积对第一个变量的线性性： [ \langle \mathbf{v}-c\mathbf{u},\mathbf{u}\rangle =\langle \mathbf{v},\mathbf{u}\rangle -\langle c\mathbf{u},\mathbf{u}\rangle. ]

第二步，把常数 (c) 提出来（内积对标量是线性的）： [ \langle c\mathbf{u},\mathbf{u}\rangle = c,\langle \mathbf{u},\mathbf{u}\rangle. ]

于是原方程变成 [ \langle \mathbf{v},\mathbf{u}\rangle

• c,\langle \mathbf{u},\mathbf{u}\rangle =0. ]

第三步，把含 (c) 的项移到等式右边： [ \langle \mathbf{v},\mathbf{u}\rangle = c,\langle \mathbf{u},\mathbf{u}\rangle. ]

第四步，两边同时除以 (\langle \mathbf{u},\mathbf{u}\rangle)。 由于 (\mathbf{u}\neq\mathbf{0})，根据正定性， (\langle \mathbf{u},\mathbf{u}\rangle>0)，所以可以安全地除： [ c=\frac{\langle \mathbf{v},\mathbf{u}\rangle} {\langle \mathbf{u},\mathbf{u}\rangle}. ]

这就得到了投影公式中系数 (c) 的来源。

问题 12

$\frac{⟨\mathbf{u},\mathbf{v}⟩}{|\mathbf{u}||\mathbf{v}|}$ 和$⟨\frac{\mathbf{u}}{|\mathbf{u}|},\frac{\mathbf{v}}{|\mathbf{v}|}⟩$ 是等价的吗？

是的，这两个表达式完全等价，而且等价性直接来自内积的线性性质。

我们把第二个式子展开来看： $$⟨\frac{\mathbf{u}}{|\mathbf{u}|},\frac{\mathbf{v}}{|\mathbf{v}|}⟩.$$

利用内积对标量的线性（以及对称性），可以把分母中的常数提出来： $$⟨\frac{\mathbf{u}}{|\mathbf{u}|},\frac{\mathbf{v}}{|\mathbf{v}|}⟩=\frac{1}{|\mathbf{u}||\mathbf{v}|}⟨\mathbf{u},\mathbf{v}⟩.$$

于是得到 $$⟨\frac{\mathbf{u}}{|\mathbf{u}|},\frac{\mathbf{v}}{|\mathbf{v}|}⟩=\frac{⟨\mathbf{u},\mathbf{v}⟩}{|\mathbf{u}|,|\mathbf{v}|}.$$

这正好就是第一个表达式。

从概念上看，这种等价并不是巧合。 右边的写法强调的是“先算内积，再把长度因素除掉”； 左边的写法强调的是“先把向量单位化，再算内积”。

两种做法的目的完全一致：消除长度的影响，只保留方向信息。

问题 13

从“几何直觉”或“物理里的线性响应”角度再解释一遍，或者帮你区分 linear / affine / homogeneous 这几个容易混的概念。

好，那我换一种更“直觉化”的方式，把几何直觉和物理里的线性响应一起讲清楚，再顺手把 linear / affine / homogeneous 这几个概念理一遍。

先从几何直觉说起。

你可以把一个映射 (f) 想成是在“拉伸、旋转、压扁”空间里的向量。

**homogeneous（齐次）**在几何上的核心含义是： 所有从原点出发的射线，都会被映到“仍然从原点出发的射线”上，而且比例不乱。 也就是说，如果你在同一条直线上把向量走远一点或近一点，映射之后仍然只是沿着某个方向放大或缩小。

但注意： 齐次性只控制每一条射线内部发生了什么，它不管不同方向之间的关系。

所以你可以想象一种“怪物映射”：

• 在每一个方向上，它都老老实实地按比例缩放
• 但不同方向之间，缩放规则完全不协调

这在几何上是允许齐次、但不允许线性的。

而 linearity（线性） 在几何上的要求更强： 不仅每条射线缩放得对，而且任意两个方向叠加后，结果也必须叠加得对。

换句话说：

• homogeneous：每条射线是“自洽”的
• linear：整个空间的“平行四边形结构”都必须被保留

如果你画两个向量 (x)、(y)，线性映射要求 先加再映射 = 先映射再加 几何上就是“平行四边形还能是平行四边形”。

这就是为什么范数、绝对值看起来“挺规矩”，但一叠加就坏掉了。

接着说物理里的线性响应，这会更直观。

在物理中，线性系统通常意味着两件事：

1. 比例性：刺激加倍，响应也加倍
2. 叠加性：两个刺激同时作用，响应等于各自响应之和

比例性 = homogeneity 叠加性 = additivity

所以：

• homogeneity 对应“一个源单独拉多大，就响应多大”
• linearity 额外要求“多个源一起拉，彼此不会干扰”

举个物理例子：

• 理想弹簧（小形变）： 力加倍，位移加倍；两股力一起拉，位移相加 —— 线性
• 摩擦力、饱和效应、单向阈值系统： 力变大响应会变，但多个力一起作用时不再简单相加 —— 齐次但不线性，甚至连齐次都不满足

这也是工程里为什么“线性系统”这么宝贵： 它允许你把复杂输入拆成简单模式分别分析，再叠加回来。

最后，把你提到的 linear / affine / homogeneous 放在一张“概念地图”里。

Linear（线性）

• 过原点
• 保比例 + 保叠加
• 几何上：原点固定，平行四边形结构保留
• 例子：矩阵变换 (Ax)

Homogeneous（齐次）

• 一定过原点
• 只保比例，不保证叠加
• 几何上：原点射线不乱，但不同方向之间可能“互不理睬”
• 例子：(|x|)、(|x|)

Affine（仿射）

• 不一定过原点
• 保叠加结构的“形状”，但允许整体平移
• 形式：(f(x)=Ax+b)
• 几何上：平行线仍然平行，平行四边形还是平行四边形，但原点可能被挪走

一个很好记的关系是：

• linear = affine 且 (b=0)
• linear ⇒ homogeneous
• homogeneous ≠ linear
• affine 一般既不 homogeneous，也不 linear

如果你愿意，我也可以用一维图像、二维画图直觉，或者从“为什么微分一定是线性的”这个角度，把这些概念再连到微积分和 PDE 里去。