Ryo's Blog

从线性代数到分析力学（上）

线性代数

讲线性代数，被同济版线性代数毒害过的人可能都会被唤醒藏于心底的恐惧：哇！又要讲行列式、对角化、增广矩阵算来算去了！

其实线性代数没那么可怕。我们可以很直观地、很感性地去理解线性代数。

什么是线性

线性代数，关键当然在于“线性”。（应该没人会觉得线性代数的关键在于“代数”吧？）如果一个函数 f(x)f(x) 有以下性质：

f(ax+by)=af(x)+bf(y)f(ax+by) = af(x) + bf(y)

则我们称这个函数 f(x)f(x) 是线性的，有线性性（Linearity）。其中，XX 与 YY 都为 f(x)f(x) 定义域上的自变量，可以是一个向量（如果 f(x)f(x) 是一个多元函数）。 aa 与 bb 是一个数，一般理解上可以认为就是实数。（但实际上可以是任何域上的元素，如有理数域、实数域、复数域等。）

线性性严格定义

如果称一个函数 L(x)L(x) 是线性的，指 L(x)L(x) 同时具有以下两种性质：

  • 可加性： L(x+t)=L(x)+L(t)L(x+t) = L(x) + L(t)
  • 一次齐次性： L(ax)=aL(x)L(ax) = aL(x)

可这个时候就有人要问啦，为什么有这种性质就叫做线性？这跟线有什么关系？

我们可以从两个方面来理解：

一方面，最简单的直线：截距为零的一次函数（即正比例函数） f(x)=kxf(x) = kx ，是线性的。我们可以简单证明这一点：

f(ax)=af(x)  ⟸  k(ax)=akxf(x+y)=f(x)+f(y)  ⟸  k(x+y)=kx+ky\begin{align} f(ax) &= af(x) & \impliedby & &k(ax) &= akx \\ f(x+y) &= f(x) + f(y) & \impliedby & &k(x+y) &= kx + ky \end{align}

另一方面，在空间中的直线（这里没有限制空间的维度哦），所有点输入这种线性的函数后，输出的所有点依然构成一条直线（输出的空间也没有限制纬度，而且与输入的空间维度不一定相同哦）。我们一步一步来证明。

我们假设直线过点 p⃗\vec{p} ，且方向向量为 v⃗\vec{v} ，则直线上的所有点可以表示为： p⃗+kv⃗\vec{p} + k\vec{v} ，其中 kk 为任意实数，取全体实数可得直线上的所有点。

让我们把直线上的所有点输入函数中，可得：

f(p⃗+kv⃗)=f(p⃗)+kf(v⃗)f(\vec{p} + k\vec{v}) = f(\vec{p}) + kf(\vec{v})

其中 f(p⃗)f(\vec{p}) 就是输出空间中的一个点，而 f(v⃗)f(\vec{v}) 就是输出空间中直线的方向向量， f(p⃗)+kf(v⃗)f(\vec{p}) + kf(\vec{v}) 依旧是一条直线（不过是输出空间中的一条直线）。

有了线性的直观理解，我们可以具体地、准确地说线性代数是什么了。

Info

线性代数（Linear Algebra）是研究向量空间和线性映射的一个数学分支。

向量空间就是指上面函数 f(x)f(x) 的输入或输出元素组成的集合。给定一个域，如果一个集合具有向量加法、标量乘法两种运算且符合八条公理，就称这个集合为向量空间。

线性映射就是指上面的有线性性的这个函数 ff 。如果映射 ff 将输入向量空间里的元素映射到输出向量空间里，且能维持向量加法与标量乘法，就成这个映射 ff 为线性映射。

定义在向量空间上，可以被线性映射维持的这种形如 ax⃗+by⃗a\vec{x} + b\vec{y} 的运算组合形式，就叫作线性组合。线性映射的定义也可以换个说法：能维持线性组合的映射叫线性映射。

线性空间（ Vector Space ）的严格定义
线性映射（ Linear Map ）的严格定义
线性组合（Linear Combination）的严格定义

我们可以从上面这些定义中引申出线性映射两个重要的性质：

  • 线性映射的复合还是线性映射
  • 线性映射的线性组合还是线性映射

线性映射的两个重要性质

首先，线性映射的复合依然是线性映射。怎么理解呢？我们可以试着将线性映射出来的结果输入另一个线性映射中：

g(f(ax⃗+by⃗))=g(af(x⃗)+bf(y⃗))=ag(f(x⃗))+bg(f(y⃗))\begin{align} g(f(a\vec{x}+b\vec{y})) &= g(af(\vec{x}) + bf(\vec{y})) \\ &= ag(f(\vec{x})) + bg(f(\vec{y})) \end{align}

其中 gg 与 ff 都为线性映射。假设 ff 将 N 维向量映射到 M 维向量空间中（ f:Rn→Rmf:\mathbb{R}^n\to \mathbb{R}^m ），而 gg 将 M 维向量映射到 L 维向量空间中（ g:Rm→Rlg: \mathbb{R}^m \to \mathbb{R}^l ）。

那么如果我们将 gg 与 ff 这样复合起来（ g∘fg \circ f ）的新的映射称为 hh ，则这个新的映射 hh 将会是一个能将 N 维向量映射到 L 维向量空间中的映射（ h:Rn→Rlh: \mathbb{R}^n \to \mathbb{R}^l ），而且依然是一个线性映射：

g(f(ax⃗+by⃗))=ag(f(x⃗))+bg(f(y⃗))  ⟹  h(ax⃗+by⃗)=ah(x⃗)+bh(y⃗)\begin{align} && g(f(a\vec{x}+b\vec{y})) &= ag(f(\vec{x})) + bg(f(\vec{y})) \\ \implies&& h(a\vec{x}+b\vec{y}) &= ah(\vec{x}) + bh(\vec{y}) \end{align}
Note

虽然上面的描述中线性映射 ff 与 gg 都是基于有限维空间的向量，但实际上这个性质对于任意线性空间上的映射都适用。包括下文提到的线性映射组成的向量空间。

其次，线性映射的线性组合还是线性映射。要聊这条性质之前我们还缺了点定义，我们先补上：

Info

假设有定义在 V→WV \to W 上的两个线性映射 ff 与 gg 。我们定义：

  • f+gf+g 为映射的加法，有 ： (f+g)(x⃗)=f(x⃗)+g(x⃗)(f+g)(\vec{x}) = f(\vec{x}) + g(\vec{x})
  • kfkf 为映射的数乘，有： (kf)(x⃗)=kf(x⃗)(kf)(\vec{x}) = kf(\vec{x})
  • L(V,W)L(V, W) 为所有定义在 V→WV \to W 上的线性映射组成的集合。即 f∈L(V,W)f \in L(V, W) 且 g∈L(V,W)g \in L(V,W)

脑袋灵活的同学就会发现了：哎哟，这个加法和数乘出来的结果还是一个定义在 V→WV\to W 上的线性映射哦！换句话说，结果还在 L(V,W)L(V,W) 里！

对于映射的加法 f+g=hf + g = h ，有：

h(ax⃗+by⃗)=f(ax⃗+by⃗)+g(ax⃗+by⃗)=af(x⃗)+bf(y⃗)+ag(x⃗)+bg(y⃗)=a(f(x⃗)+g(x⃗))+b(f(y⃗)+g(y⃗))=ah(x⃗)+bh(y⃗)\begin{align} h(a\vec{x}+b\vec{y}) &= f(a\vec{x}+b\vec{y}) + g(a\vec{x}+b\vec{y}) \\ &=af(\vec{x})+bf(\vec{y})+ag(\vec{x})+bg(\vec{y}) \\ &=a(f(\vec{x})+g(\vec{x})) + b(f(\vec{y})+g(\vec{y})) \\ &=ah(\vec{x}) + bh(\vec{y}) \end{align}

对于映射的乘法 kf=hkf = h ，有：

h(ax⃗+by⃗)=kf(ax⃗+by⃗)=k(af(x⃗)+bf(y⃗))=akf(x⃗)+bkf(y⃗)=ah(x⃗)+bh(y⃗)\begin{align} h(a\vec{x}+b\vec{y}) &= kf(a\vec{x}+b\vec{y}) \\ &= k(af(\vec{x}) + bf(\vec{y})) \\ &= akf(\vec{x}) + bkf(\vec{y}) \\ &= ah(\vec{x}) + bh(\vec{y}) \end{align}

再推广一点，如果我们称形如 af+bgaf+bg 为线性映射 ff 、 gg 的线性组合，那么其线性组合的结果 h(x)=(af+bg)(x)h(x) = (af + bg)(x) 依然是一个线性映射。（即得易见平凡。）

换一种说法，映射的加法与数乘就是定义在 L(V,W)L(V, W) 上的向量加法与标量乘法，而且还符合向量空间需要符合的8条公理。（仿照上例显然。）没想到吧，不仅 VV 与 WW 是向量空间，线性映射的集合 L(V,W)L(V,W) 也是一个向量空间！

线性映射与矩阵

实际上，我们可以很直觉地知道，如果我们将列向量左乘一个矩阵视为一个关于该向量的函数，那么这个函数是一种线性映射：

若K=[k11k12…k1nk21k22…k2n⋮⋮⋱⋮km1km2…kmn]为一个M×N维矩阵，x⃗=[x1x2⋮xn]为N维向量自变量。令f(x⃗)=Kx⃗，有：\begin{align} &若 K = \begin{bmatrix} k_{11} & k_{12} &\dots &k_{1n} \\ k_{21} & k_{22} &\dots &k_{2n} \\ \vdots & \vdots &\ddots &\vdots \\ k_{m1} & k_{m2} &\dots &k_{mn} \end{bmatrix} 为一个 M \times N 维矩阵， \vec{x} = \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{bmatrix} 为 N 维向量自变量。 \\ \\ &令 f(\vec{x}) = K\vec{x}，有： \end{align} f(ax⃗)=af(x⃗)  ⟸  K(ax⃗)=aKx⃗(矩阵乘法与数乘的交换律)f(x⃗+y⃗)=f(x⃗)+f(y⃗)  ⟸  K(x⃗+y⃗)=Kx⃗+Ky⃗(矩阵乘法的分配律)\begin{align} f(a\vec{x}) &= af(\vec{x}) & \impliedby & &K(a\vec{x}) &= aK\vec{x} &(矩阵乘法与数乘的交换律) \\ f(\vec{x}+\vec{y}) &= f(\vec{x}) + f(\vec{y}) & \impliedby & &K(\vec{x}+\vec{y}) &= K\vec{x} + K\vec{y} &(矩阵乘法的分配律) \end{align}
矩阵与正比例函数的关系

而另一方面，对于有限维的向量空间 VV 与 WW ，假设 T:V→WT: V \to W 是一个线性映射，那么 TT 就能表示为一个矩阵。相关证明这里就略去了，大家可以自行查找资料证明。（留作习题答案略，读者自证不难。） 1

一旦将线性变换理解为左乘矩阵，那线性映射的两个重要性质就变得很直观自然了！

对于线性映射的复合：

  • 线性变换后再套一层线性变换，在矩阵层面就是左乘两个矩阵
  • 由于矩阵乘法的结合律，我们可以先算两个矩阵之间的乘法
  • 两个矩阵相乘依然是一个矩阵，也就是结果依然是一个线性变换

对于线性映射的线性组合：

  • Rm→Rn\mathbb{R}^m\to \mathbb{R}^n 的线性映射，在矩阵层面就是 M×NM\times N 维矩阵，映射的加法、数乘就是矩阵的加法、数乘
  • 对于相同维度的矩阵，矩阵加法的结果仍为维矩阵，矩阵数乘的结果仍为矩阵
  • 相同维度矩阵的线性组合依然是矩阵，也就是线性变换的线性组合依然是线性变换

从矩阵乘法的角度来看线性变换，线性映射的复合依然是线性映射，线性映射的线性组合依然是线性映射，这两个结论可太自然了！

向量的长度：模，或者 L2 范数

严格来说，讲 L2L_{2}-范数之前应该先讲向量内积 <x⃗,y⃗><\vec{x}, \vec{y}> 的定义，向量自己与自己内积的开方才是向量的模——或者说 L2L_{2}-范数的定义： ∣∣x⃗∣∣=<x⃗,x⃗>=∑xi2||\vec{x}|| = \sqrt{ <\vec{x}, \vec{x}> } = \sqrt{ \sum x_{i}^2 } 。

然而，内积相关的内容展开讲可以讲一大堆，而这些内容与这篇文章的主线偏离太大了。现在网上已经有许多很好的相关讲解，大家可以自行查阅。2

L2L_{2} 范数代表了一个向量的长度。如果我们想要测量两个向量 x⃗\vec{x} y⃗\vec{y} 相差的大小，我们可以计算他们之间差的 L2L_{2} 范数： ∣∣x⃗−y⃗∣∣=<x⃗−y⃗,x⃗−y⃗>=∑(xi−yi)2||\vec{x}-\vec{y}|| = \sqrt{ <\vec{x}-\vec{y}, \vec{x}-\vec{y}> } = \sqrt{ \sum(x_{i} - y_{i})^2 } 。

微积分

有了线性代数基础，终于可以开始讲微积分了。大学上过高等数学课的同学要坐不住啦：什么！？微积分的基础不是 ϵ−δ\epsilon-\delta 语言和极限吗？不急，我们娓娓道来。

微分的本质是线性逼近

这时候就要回忆起我们当初是怎么学导数的了：“在函数上一点做一条切线，这样那样这样那样……”。其实这就是在函数上的一点做线性逼近：

dy=f′(x)dx\mathrm{d}y = f'(x)\mathrm{d}x

看着像正比例函数 y=kxy = kx 吧？这里的导数 f′(x)f'(x) 就是切线的斜率，在函数的某一点附近，因变量微分 dy\mathrm{d}y 与自变量微分 dx\mathrm{d}x （也就是 Δx\Delta x ）成正比例关系，也就是线性关系。所以也称 dy\mathrm{d}y 为 Δy=f(x0+Δx)−f(x0)\Delta y = f(x_{0}+\Delta x) - f(x_{0}) 的线性主部。

所以我们能很直观的感受什么叫微分啦：在离函数上一点足够近的范围内，我们用一个随自变量线性变化的值去近似代替这一点附近的函数值本身，这个线性变化的值就是微分 dy\mathrm{d}y 。

可这又有人要说了：你这定义不严谨呀！什么叫做“足够近的范围内”？多近才叫做足够近？怎么样的线性变化的值才能跟函数值本身足够像？从上面的图我们也能很清楚的看出， dy\mathrm{d}y 跟 Δy\Delta y 可不相等呀！

这就要说到“线性逼近”的另一个重点了：线性逼近一个重点是线性，另一个终点就是逼近，也就是极限 lim⁡x→x0\lim_{ x \to x_{0} } 这个符号。

极限的严格定义

说人话，就是能够找到一个 LL ，使得不管给定精度范围要求多精确，都能找到一个 x0x_{0} 附近足够窄的范围，使得在这范围内的所有函数值都符合精度要求地近似于 LL 。

套回微分里，就是能够找到一个比例系数 f′(x0)f'(x_{0}) ，使得不管要求有多精确，都能找到一个足够窄的范围，使得在这范围里所有的 dy=f′(x0)dx\mathrm{d}y = f'(x_{0})\mathrm{d}x 都符合精度要求地近似于 Δy=f(x+Δx)−f(x)\Delta y = f(x+\Delta x) - f(x) 。

微分的严格定义

设函数 y=f(x)y=f(x) 在某区间 I\mathcal {I} 内有定义。

对于 I\mathcal {I} 内一点 x0x_{0} ，当 x0x_{0} 变动到附近的 x0+Δxx_{0}+\Delta x （也在此区间内）时，如果函数的增量 Δy=f(x0+Δx)−f(x0)\Delta y=f(x_{0}+\Delta x)-f(x_{0}) 可表示为 Δy=AΔx+o(Δx)\Delta y=A\Delta x+o(\Delta x) （其中 AA 是不依赖于 Δx\Delta x 的常数），而 o(Δx)o(\Delta x) 是比 Δx\Delta x 高阶的无穷小，那么称函数 f(x)f(x) 在点 x0x_{0} 是可微的，且 AΔxA\Delta x 称作函数在点 x0x_{0} 相应于自变量增量 Δx\Delta x 的微分，记作 dy\textrm{d}y ，即 dy=AΔx{\textrm {d}}y=A\Delta x ， dy{\textrm {d}}y 是 Δy\Delta y 的线性主部。

通常把自变量 xx 的增量 Δx\Delta x 称为自变量的微分，记作 dx\mathrm{d}x ，即 dx=Δx\mathrm{d}x = \Delta x 。

多元函数与多值函数的微分

线性代数部分我们也提到了，对于多元、多值函数，我们可以看成是自变量、因变量为向量的函数。那对于多元多值函数，我们能做微分吗？怎么定义微分呢？

我们还是回到微分的两个重点，也就是线性逼近的两个重点：线性与逼近。

首先是逼近。对于一个 N 维向量 x0x_{0} ，怎么定义“ x0x_{0} 附近足够窄的范围”呢？

我们想啊，“ x0x_{0} 附近足够窄的范围“ 里的元素，不就是距离 x0x_{0} 足够近的元素吗？那简单呀！用我们在线性代数里提到过的 L2L_{2} 范数 ∣∣x⃗−y⃗∣∣=∑(xi−yi)2||\vec{x}-\vec{y}|| = \sqrt{ \sum(x_{i} - y_{i})^2 } 定义不就好咯！

然后是线性。这也简单呀！一个输入为 N 维向量，输出为 M 维向量的线性变换，不就是向输入变量左乘一个 M×NM \times N 维的矩阵嘛！

于是我们就能直观定义多元、多值函数上的微分了：

对于一个输入为 N 维向量 x⃗\vec{x} ，输出为 M 维向量 y⃗\vec{y} 的多元多值函数 y⃗=f(x⃗)\vec{y} = f(\vec{x}) ，我们称在点 x0⃗\vec{x_{0}} 处的微分为：

dy⃗=Jdx⃗\mathrm{d}\vec{y} = J\mathrm{d}\vec{x}

对于如果我们能找到这样的一个系数矩阵 JJ ，使得不管要求有多精确，都能找到一个足够窄的范围 ∣∣Δx⃗∣∣<δ||\Delta \vec{x}|| < \delta ，使得这个范围内所有的 dy⃗=Jdx⃗\mathrm{d}\vec{y} = J\mathrm{d}\vec{x} 都符合精度地近似于 Δy⃗=f(x0⃗+Δx⃗)−f(x0⃗)\Delta \vec{y} = f(\vec{x_{0}} + \Delta \vec{x}) - f(\vec{x_{0}}) ，即对于任何方向 e⃗\vec{e} 的 Δx⃗=he⃗\Delta \vec{x}=h\vec{e} ，都有 ∣∣Δy⃗−dy⃗h∣∣<ϵ||\frac{\Delta \vec{y} - \mathrm{d}\vec{y}}{h}|| < \epsilon ，其中 h=∣∣Δx⃗∣∣h=||\Delta \vec{x}|| 。

Info

其中系数矩阵 JJ 为 M×NM \times N 维矩阵，称为雅可比矩阵：

J=[∂y1∂x1∂y1∂x2…∂y1∂xn∂y2∂x1∂y2∂x2…∂y2∂xn⋮⋮⋱⋮∂ym∂x1∂ym∂x2…∂ym∂xn]J = \begin{bmatrix} \frac{ \partial y_{1} }{ \partial x_{1} } & \frac{ \partial y_{1} }{ \partial x_{2} } & \dots & \frac{ \partial y_{1} }{ \partial x_{n} } \\ \frac{ \partial y_{2} }{ \partial x_{1} } & \frac{ \partial y_{2} }{ \partial x_{2} } & \dots & \frac{ \partial y_{2} }{ \partial x_{n} } \\ \vdots & \vdots & \ddots & \vdots \\ \frac{ \partial y_{m} }{ \partial x_{1} } & \frac{ \partial y_{m} }{ \partial x_{2} } & \dots & \frac{ \partial y_{m} }{ \partial x_{n} } \end{bmatrix}

其中 ymy_{m} 为因变量 y⃗\vec{y} 的第 m 个分量， xnx_{n} 为自变量 x⃗\vec{x} 的第 n 个分量。∂ym∂xn\frac{ \partial y_{m} }{ \partial x_{n} } 为因变量第 m 个分量对自变量第 n 个分量的偏导数。

这样说可能不够直观。让我们举一个例子作图更直观地感受多元函数的微分。

我们令函数 z=f(x,y)=−x2−y2+1z = f(x, y) = -x^2 - y^2 + 1 ，这是一个倒扣的抛物面，在点 (x0,y0)=(0.5,0.5)(x_{0}, y_{0}) = (0.5, 0.5) 处的线性逼近应为：

dz=−dx−dy=[−1−1][dxdy]dz = - dx - dy = \begin{bmatrix} -1 & -1 \end{bmatrix}\begin{bmatrix} dx \\ dy \end{bmatrix}

从 desmos 的函数图像里也可以看出，线性逼近组成一个点 (x0,y0)(x_{0},y_{0}) 处的切平面，这是一个在三维空间中有两个自由度的线性图形。

Info

我们可以直观感受到，多元单值函数的微分就是所谓全微分。

加减法法则、数乘法则与链式法则

回顾我们在线性代数中推导过的线性映射的两个重要性质：

  • 线性映射的复合还是线性映射
  • 线性映射的线性组合还是线性映射

既然我们已经知道，微分的本质是线性逼近，那这两个重要性质在微分中有没有什么体现呢？

有的兄弟，有的！

其一，从线性映射的复合可以推导出微分的链式法则。给出函数 y⃗=f(u⃗)\vec{y}=f(\vec{u}) 和 u⃗=g(x⃗)\vec{u}=g(\vec{x}) （都是多元多值函数哦，不过也对一元单值函数适用），我们要考虑复合函数 y⃗=h(x⃗)=f(g(x⃗))\vec{y} = h(\vec{x}) = f(g(\vec{x})) 的微分 dy⃗\mathrm{d}\vec{y} 长什么样。

你们想啊，既然我们的微分是一个对原函数的逼近，也就是跟原函数的局部足够像！那既然原函数复合起来了，那我们微分是不是也要复合起来？那线性映射的复合，不就表现为矩阵乘法嘛。于是我们就有：

dy⃗=Jfdu⃗du⃗=Jgdx⃗  ⟹  dy⃗=JfJgdx⃗=Jhdx⃗即：Jh=JfJg\begin{align} &\mathrm{d}\vec{y} = J_{f}\mathrm{d}\vec{u} \\ &\mathrm{d}\vec{u} = J_{g}\mathrm{d}\vec{x} \\ \implies &\mathrm{d}\vec{y} = J_{f}J_{g}\mathrm{d}\vec{x} = J_{h}\mathrm{d}\vec{x}\\ \\ 即： &J_{h} = J_{f}J_{g} \end{align}

其二，从线性映射的线性组合还是线性映射，我们可以得到微分的加减法法则与乘法法则。给出函数 y1⃗=f(x⃗)\vec{y_{1}} = f(\vec{x}) 与 y2⃗=g(x⃗)\vec{y_{2}} = g(\vec{x}) （函数值 y1⃗\vec{y_{1}} 与 y2⃗\vec{y_{2}} 属于同一个向量空间），考虑函数值线性组合得到的新函数 y⃗=h(x⃗)=af(x⃗)+bg(x⃗)\vec{y}=h(\vec{x}) = af(\vec{x}) + bg(\vec{x}) 的微分长什么样。

你们再想啊，函数的线性组合的结果的变化量，不也是变化量的线性组合嘛 Δ(af(x⃗)+bg(x⃗))=aΔf(x⃗)+bΔg(x⃗)\Delta (af(\vec{x})+bg(\vec{x}))= a\Delta f(\vec{x}) + b\Delta g(\vec{x}) ！（线性组合的差分是差分的线性组合，读者自证不难。）那既然我们的微分 dy⃗\mathrm{d}\vec{y} 近似于函数的变化量 Δy⃗\Delta \vec{y} ，那函数线性组合的微分，不也应该是微分的线性组合嘛！

dy⃗=d(ay1⃗+by2⃗)=ady1⃗+bdy2⃗  ⟹  =aJfdx⃗+bJgdx⃗=Jhdx⃗即：Jh=aJf+bJg\begin{align} \mathrm{d}\vec{y} &= \mathrm{d}(a\vec{y_{1}} + b\vec{y_{2}}) \\ &= a\mathrm{d}\vec{y_{1}} + b\mathrm{d}\vec{y_{2}} \\ \implies &= aJ_{f}\mathrm{d}\vec{x} + bJ_{g}\mathrm{d}\vec{x} = J_{h}\mathrm{d}\vec{x}\\ \\ 即： J_{h} &= aJ_{f} + bJ_{g} \end{align}

其中当 a=b=1a = b = 1 时即为加法法则， b=0b = 0 时就为数乘法则。

哎哟，这么一看，微分的加减法法则、数乘法则、链式法则，都挺直观的哦！

这对吗？
Info

其实这两个法则可以换一种说法：

  • 函数复合的线性逼近是线性逼近的复合
  • 函数线性组合的线性逼近是线性逼近的线性组合

乘法法则

与加减法、数乘法则和链式法则不同，函数值相乘的微分乘法法则似乎不能直接从线性映射的性质推导出来。

这是对的，因为乘法运算本身不是线性的（而是双线性的）。但也无妨，我们可以引入一个双线性函数 ϕ(u,v)=uv\phi(u,v) = uv ，就可以把乘积函数 h(x⃗)=f(x⃗)g(x⃗)h(\vec{x}) = f(\vec{x})g(\vec{x}) 看作是 f(x⃗)f(\vec{x}) 和 g(x⃗)g(\vec{x}) 与双线性函数的复合： h(x⃗)=ϕ(f(x⃗),g(x⃗))h(\vec{x}) = \phi(f(\vec{x}), g(\vec{x})) 。

复合函数的微分链式法则我们上面已经研究过了，所以我们可以着重于研究双线性函数 ϕ(u,v)\phi(u, v) 的微分性质。

双线性函数 ϕ(u,v)\phi(u, v) 是一个二元函数，我们视 (u,v)(u, v) 为一个向量，自然也可以套入线性代数部分中已经推导得到的多元函数的微分：

dϕ(u,v)=[∂ϕ∂u∂ϕ∂v][dudv]=∂ϕ∂udu+∂ϕ∂vdv=vdu+udv\begin{align} \mathrm{d}\phi(u, v) &= \begin{bmatrix} \frac{ \partial \phi }{ \partial u } & \frac{ \partial \phi }{ \partial v } \end{bmatrix}\begin{bmatrix} \mathrm{d}u \\ \mathrm{d}v \end{bmatrix} \\ &= \frac{ \partial \phi }{ \partial u } \mathrm{d}u + \frac{ \partial \phi }{ \partial v } \mathrm{d}v \\ &= v\mathrm{d}u + u\mathrm{d}v \end{align}

再应用回微分的链式法则，线性映射的复合还是线性映射，即可得：

dh(x⃗)=dϕ(f(x⃗),g(x⃗))=g(x⃗)df(x⃗)+f(x⃗)dg(x⃗)=g(x⃗)f′(x⃗)dx+f(x⃗)g′(x⃗)dx\begin{align} \mathrm{d}h(\vec{x}) &= \mathrm{d}\phi(f(\vec{x}),g(\vec{x})) \\ & = g(\vec{x})\mathrm{d}f(\vec{x})+f(\vec{x})\mathrm{d}g(\vec{x}) \\ & = g(\vec{x})f'(\vec{x})\mathrm{d}x + f(\vec{x})g'(\vec{x})\mathrm{d}x \end{align}

即 h′(x⃗)=f′(x⃗)g(x⃗)+f(x⃗)g′(x⃗)h'(\vec{x}) = f'(\vec{x})g(\vec{x}) + f(\vec{x})g'(\vec{x}) 。

泛函分析

上面推导微分的加减法法则、数乘法则中，我们将函数值进行了线性组合。这是当然可行的，因为函数值是一个向量。

可是另一方面，将函数值进行线性组合后，从自变量映射到因变量依然是一个新的函数呀！那是不是能把这样的组合称为函数间的线性组合？难道……

函数是无穷维向量

没错，函数空间也是向量空间，函数也是向量。

要说明函数空间也是向量空间，我们还是回到向量空间的定义：定义两种运算，符合八条公理。

我们可以定义如下两种运算：

  • 函数加法：对于函数空间中的函数 ff 与 gg ，定义 (f+g)(x⃗)=f(x)+g(x⃗)(f+g)(\vec{x}) = f(x) + g(\vec{x})
  • 函数标量乘法：对于函数空间中的函数 ff 与域上的标量 aa ，定义 (af)(x⃗)=af(x⃗)(af)(\vec{x}) = af(\vec{x})

容易证明得这两种运算符合八条公理。

我们也可以感性地去认知“函数是无穷维向量”这个结论：对于有限维向量如 v⃗=[v1v2]\vec{v} = \begin{bmatrix}v_{1}\\v_{2}\end{bmatrix} ，有两个分量 v1v_{1} 和 v2v_{2} ，其下标 1 和 2 映射到对应的分量，本身就可以认为是定义在集合 {1,2}\{1, 2\} 上的函数。向量的加法、数乘就是相同下标对应分量之间的加法、数乘。

而对于一个定义在 (a,b)(a,b) 上的函数 ff ，他的所有自变量的值都是其分量的下标，所有函数值 f(x0)f(x_{0}) 都是其对应于下标 x0x_{0} 的分量。对于函数的加法、数乘，都是相同下标下对应分量之间的加法、数乘。 (a,b)(a,b) 中有无穷个自变量，也即函数 ff 是无穷维的向量。

函数空间里的 L2 范数

要定义两个函数之间的“距离”，我们跟普通向量一样，需要定义函数空间里的 L2 范数。类比于有限维向量空间：

有限维向量空间 Rn\mathbb{R}^n函数空间
向量一个N维向量 v⃗=[v1v2⋮vn]\vec{v}=\begin{bmatrix}v_1\\v_2\\ \vdots \\v_n \end{bmatrix}一个定义在 (a,b)(a,b) 上的函数 f(x)f(x)
内积所有分量相乘之和 u⃗⋅v⃗=Σuivi\vec{u}\cdot\vec{v}=\Sigma u_{i}v_{i}所有分量相乘之和 <f,g>=∫abf(x)g(x)dx<f, g> = \int_a^b f(x)g(x)\mathrm{d}x
L2L_{2} 范数向量与自己内积的开方 ∥v⃗∥=(Σvi2)\|\vec{v}\|=\sqrt{ (\Sigma v_{i}^2) }向量与自己内积的开方 ∥f∥=∫ab[f(x)]2dx\|f\|=\sqrt{ \int_{a}^b[f(x)]^2\mathrm{d}x }
微元变化量趋于零（ ∥Δx⃗∥→0\| \Delta \vec{x} \| \to 0 ）时的微小变化 dv⃗\mathrm{d}\vec{v}变化量趋于零（ ∥Δf∥→0\| \Delta f \|\to 0 ）时的微小变化 δf\delta f

泛函——函数的函数

没想到吧，泛函分析讲这么久，居然还没讲“泛函”。

其实泛函没什么神秘——泛函就是输入为一个函数 y(x)y(x) ，输出为一个数 J[y]J[y] 的函数。想想编程语言里的高阶函数：既然函数也是一等公民，那函数的参数为一个函数也没什么奇怪的了，对吧。

再回到我们的线性代数与函数空间，我们之前说多元单值函数 f(x,y)f(x,y) 实际上就是输入为一个向量 [xy]\begin{bmatrix}x\\y\end{bmatrix}，输出为一个数 f(x,y)f(x,y) 的函数，那泛函不就是输入为一个无穷维向量的函数呗。

这样干说可能比较抽象，我们来举个🌰：

给定两个点 A(xa,ya)A(x_{a}, y_{a}) 与 B(xb,yb)B(x_{b}, y_{b}) 。在 [xa,xb][x_{a}, x_{b}] 区间上有定义，且过 AA 、 BB 两点的不同函数，就是两点间的不同路径，他们组成一个函数空间。那么我们可以在这个函数空间上定义如下泛函：

L[y]=∫ab1+(y′(x))2dxL[y] = \int_{a}^b \sqrt{ 1+(y'(x))^2 } \mathrm{d}x

很明显，这个泛函的值就是输入函数在 AA 、 BB 两点之间的长度。

Note

泛函这个概念最早在欧拉与拉格朗日研究变分问题（寻求具有某种极大或极小性质的曲线）的时候开始有研究。当时还没有泛函（functional）这个名词，而是模糊地称为“曲线的某种极小值”、“最优路径”、“最优形状”。正因这个历史背景，泛函说是函数的函数，但一般输出为一个标量值，与软件工程领域里说的高阶函数有些不同。

但也存在“输入为一个函数，输出为一个函数的函数”，我们一般称之为算子。比如求导算子 DD 就是这样的一个算子，输入输出都为函数空间里的元素，而且还是一个线性算子： D(af+bg)=aD(f)+bD(g)D(af+bg) = aD(f) + bD(g) 。

变分——函数的微小变化

变分问题最早提出时，是因为欧拉与拉格朗日在研究类似“寻求具有某种极大或极小性质的曲线”的问题。后来，拉格朗日引入变分符号 δ\delta 来表示函数的微小变化，从而将求极值问题转化为解微分方程的问题，使得推导过程更加系统和严谨。

回想起我们对微分的定义——函数在局部的线性逼近：

dy⃗=Jdx⃗\mathrm{d}\vec{y} = J\mathrm{d}\vec{x}

如果我们能找到这样的一个系数矩阵 JJ ，使得不管要求有多精确，都能找到一个足够窄的范围 ∣∣Δx⃗∣∣<δ||\Delta \vec{x}|| < \delta ，使得这个范围内所有的 dy⃗=Jdx⃗\mathrm{d}\vec{y} = J\mathrm{d}\vec{x} 都符合精度地近似于 Δy⃗=f(x0⃗+Δx⃗)−f(x0⃗)\Delta \vec{y} = f(\vec{x_{0}} + \Delta \vec{x}) - f(\vec{x_{0}}) ，即对于任何方向 e⃗\vec{e} 的 Δx⃗=he⃗\Delta \vec{x}=h\vec{e} ，都有 ∣∣Δy⃗−dy⃗h∣∣<ϵ||\frac{\Delta \vec{y} - \mathrm{d}\vec{y}}{h}|| < \epsilon ，其中 h=∣∣Δx⃗∣∣h=||\Delta \vec{x}|| 。

既然函数空间也是一个向量空间，那我们也可以仿照向量微分来定义函数的变分 δy\delta y 与泛函的变分 δJ[y]\delta J[y]。

假设我们有定义在区间 [a,b][a, b] 上的一个光滑函数 y^=y^(x)\hat{y} = \hat{y}(x) ，假如有一个与 y^\hat{y} 足够像的光滑函数 y=y^+δyy = \hat{y} + \delta y ，使得：

∣∣δy∣∣=∫ab[δy(x)]2dx||\delta y|| = \sqrt{ \int_{a}^b [\delta y(x)]^2 \mathrm{d}x }

足够小，则我们称 δy\delta y 为函数 yy 的变分。

可以知道，变分 δy\delta y 也是一个函数，但他的函数值处处都非常接近为 0 。我们也可类似的到 δy′=y′−y^′\delta y' = y' - \hat{y}' ，也是一个函数值处处都几乎为零的函数。（变分可以理解为一个趋向于零的函数空间里的差分 Δy\Delta y ，因此对于线性的求导算子 DD 有保持性。）

从此我们就可以定义泛函的变分 δJ[y]\delta J[y] ：

不管要求的精度范围 δ\delta 有多么精确，都能找到一个足够窄的范围 ∣∣δy∣∣<ϵ||\delta y|| < \epsilon ，使得在这个范围内对任何方向 δy\delta y 的微小变化 ϵδy\epsilon\delta y ，都能找到一个值 δJ[y]\delta J[y] ，使得 ∣J[y+ϵδy]−J[y]ϵ−δJ[y]∣<δ|\frac{J[y+\epsilon\delta y] -J[y]}{\epsilon}-\delta J[y]|<\delta 。则称这个 δJ[y]\delta J[y] 为泛函 J[y]J[y] 的变分。

即：

δJ[y;δy]=lim⁡ϵ→0J[y+ϵδy]−J[y]ϵ=ddϵJ[y+ϵδy]∣ϵ=0\begin{align} \delta J[y;\delta y] &= \lim_{ \epsilon \to 0 } \frac{J[y+\epsilon\delta y]-J[y]}{\epsilon} \\ &= \frac{\mathrm{d}}{\mathrm{d}\epsilon}J[y+\epsilon\delta y] \Big|_{\epsilon=0} \end{align}

其实我们对比回函数的微积分可以发现，泛函的变分 δJ[y]\delta J[y] 与其说像微积分里的微分 dy\mathrm{d}y ，不如说更像是导数 f′(x)f'(x) 。泛函的变分代表了泛函 J[y]J[y] 在某一输入函数 y^\hat{y} 附近的，在 δy\delta y 方向上的变化率，是一个标量值。

说人话：

泛函的变分 δJ[y]\delta J[y] 描述了：给输入函数 yy 一点微小扰动 δy\delta y ，泛函 δJ[y]\delta J[y] 的结果值是增加还是减少，增加得有多快。

变分法基本引理

在讲变分法基本原理之前，我们先从有限维的向量引入。我们考虑以下问题：什么样的向量 v⃗\vec{v} ，能对任何方向的向量 u⃗\vec{u} ，都有内积 ⟨u⃗,v⃗⟩=0\langle\vec{u},\vec{v}\rangle ={0} 成立？

很明显，这个命题成立，当且仅当 v⃗=0\vec{v}=\mathbf{0} 。因为如果 v⃗≠0\vec{v}\neq \mathbf{0} ，总能找到一个与 v⃗\vec{v} 同方向的非零向量 u⃗\vec{u} ，使得 ⟨u⃗,v⃗⟩>0\langle \vec{u}, \vec{v}\rangle >0 。（因为内积有正定性，同向向量的内积总是大于等于 0 ）。

那么，既然函数空间也是一个向量空间，函数是不是也有类似的性质？

是的，这个类似的性质就是“变分法基本引理”。

变分法基本引理

对于区间 [a,b][a, b] 内无限光滑的所有函数 f(x)f(x) 组成的集合 C∞[a,b]C^{\infty}[a,b] ，容易证明其组成一个向量空间。而满足 h(a)=h(b)=0h(a) = h(b) = 0 的任意函数 h(x)h(x) 也属于这个函数空间。

若函数 f(x)∈C∞[a,b]f(x) \in C^{\infty}[a,b] 满足对任意 h(x)h(x) ，都有：

⟨f,h⟩=∫abf(x)h(x)dx=0\langle f, h\rangle = \int_{a}^{b} f(x)h(x) \mathrm{d}x = 0

那么这个 f(x)f(x) 必然为零函数，即 f(x)≡0f(x)\equiv 0 。换句话说，对于 ∀x∈[a,b]\forall x \in [a, b] ，都有 f(x)=0f(x) = 0 。

证明方法与有限维向量的证明类似，使用反证法：证明只要 f(x)f(x) 不为零函数，则必然能找到一个 h(x)h(x) 使得 ⟨f,h⟩≠0\langle f,h\rangle \neq 0 。

假如函数 f(x)f(x) 不为零函数，我们可以设计一个函数 r(x)∈C∞[a,b]r(x) \in C^{\infty}[a, b] ，满足：

r(a)=r(b)=0∀x∈(a,b),有：r(x)>0\begin{align} & r(a) = r(b) = 0 \\ & \forall x \in (a, b) , 有： r(x) > 0 \end{align}

则令 h(x)=r(x)f(x)h(x) = r(x)f(x) ，易知 h(a)=h(b)=0h(a) = h(b) = 0 且 h(x)∈C∞[a,b]h(x) \in C^{\infty}[a, b] 。而且：

⟨f,h⟩=∫abr(x)[f(x)]2 dx>0\langle f, h \rangle = \int_{a}^{b} r(x)[f(x)]^2 \, \mathrm{d}x > 0

与前提矛盾。

因此，如果 ⟨f,h⟩=∫abf(x)h(x)dx=0\langle f, h\rangle = \int_{a}^{b} f(x)h(x) \mathrm{d}x = 0 ，这个 f(x)f(x) 必然为零函数。

Info

这是《从线性代数到分析力学》上下两篇中的上篇。下篇为 从线性代数到分析力学（下）。

Footnotes

  1. 线性映射 - 维基百科，自由的百科全书 ↩

  2. 【无痛线代】向量内积背后，竟然藏着宇宙的对称性？_哔哩哔哩_bilibili ↩

<- 从线性代数到分析力学（下）
【游戏王大学习】雷热涡炉 MD 卡组简介 ->
反向引用
从线性代数到分析力学（上）
从线性代数到分析力学（下）
Loading comments...