矩陣論

從抽象的觀點來說，矩陣是線性變換在某個基底下的表示．它可以將十分抽象的線性空間中的映射轉化爲座標空間中的矩陣乘法．另一方面，從歷史的發展和應用的觀點來說，矩陣又是線性方程組的直接抽象．因此，研究矩陣本身就顯得尤為重要．

矩陣

$𝑆$ 是集合，我們稱映射

𝑨 : 𝗡_{\leq 𝑚}^{*} \times 𝗡_{\leq 𝑛}^{*} ∋ (𝑖, 𝑗) \mapsto 𝑎_{𝑖 𝑗} \in 𝑆

爲 $𝑆$ 上的 $𝑚 \times 𝑛$ 矩陣．其值 $𝑎_{𝑖 𝑗}$ 稱爲矩陣 $𝑨$ 在指標 $(𝑖, 𝑗)$ 處的元素，亦得記爲 ${(𝑨)}_{𝑖 𝑗}$ ．特別的，當 $𝑚 = 𝑛$ 時，稱 $𝑨$ 爲 $𝑛$ 階方陣．當 $𝑆 \subseteq 𝗥$ 時，稱 $𝑨$ 爲實矩陣；當 $𝑆 \subseteq 𝗖$ 時，稱 $𝑨$ 爲一個複矩陣．記 $𝑆^{𝑚 \times 𝑛} ≔ 𝑆^{𝗡_{\leq 𝑚}^{*} \times 𝗡_{\leq 𝑛}^{*}}$ 爲所有 $𝑚 \times 𝑛$ 矩陣的集合．

方陣 $𝑨$ 的 ${𝑎_{𝑖 𝑗} |}_{𝑖 = 𝑗}$ 元素稱爲 $𝑨$ 的對角元．反之， ${𝑎_{𝑖 𝑗} |}_{𝑖 + 𝑗 = 𝑛 + 1}$ 元素稱爲 $𝑨$ 的反對角元．當所有非對角線元素皆爲零時，稱該方陣爲對角陣．定義對角函數 $diag : 𝑆^{𝑛} \to 𝑆^{𝑛 \times 𝑛}$ 為

diag (𝜆_{1}, \dots, 𝜆_{𝑛}) ≔ [\begin{matrix} 𝜆_{1} & 0 & \dots & 0 \\ 0 & 𝜆_{2} & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 𝜆_{𝑛} \end{matrix}]

其中的零元可以留空不寫，定義 $𝕂^{𝑛}$ 上的對角陣

𝑰_{𝑛} ≔ diag (1, \dots, 1) = [\begin{matrix} 1 \\ ⋱ \\ 1 \end{matrix}]

爲 $𝑛$ 階單位陣．其中 $1$ 是域 $𝕂$ 的乘法幺元．

矩陣代數

定義二元算子 $+ : 𝕂^{𝑚 \times 𝑛} \times 𝕂^{𝑚 \times 𝑛} \to 𝕂^{𝑚 \times 𝑛}$ ，

(𝑎_{𝑖 𝑗}) + (𝑏_{𝑖 𝑗}) = (𝑎_{𝑖 𝑗} + 𝑏_{𝑖 𝑗})

爲 $𝕂^{𝑚 \times 𝑛}$ 上的加法．二元映射 $\cdot : 𝕂^{𝑚 \times 𝑝} \times 𝕂^{𝑝 \times 𝑛} \to 𝕂^{𝑚 \times 𝑛}$ ，

(𝑎_{𝑖 𝑗}) \cdot (𝑏_{𝑖 𝑗}) = (\sum_{𝑘 = 1}^{𝑝} 𝑎_{𝑖 𝑘} 𝑏_{𝑘 𝑗})

爲 $𝕂^{𝑚 \times 𝑝}$ 和 $𝕂^{𝑝 \times 𝑛}$ 之間的乘法．一元算子 $- : 𝕂^{𝑚 \times 𝑛} \to 𝕂^{𝑚 \times 𝑛}$ ，

- (𝑎_{𝑖 𝑗}) = (- 𝑎_{𝑖 𝑗})

矩陣

命題 LA30 告訴了我們两个同维度的线形空间同构，那么我们是否可以通过一個同構來將复杂空间化為一個同維度的簡單空間呢？這樣無論遇到何種線形空間，我們都可以將其轉化到一個通用的空間上來分析問題．最簡單的 $𝑚$ 維線形空間莫過於 $𝕂^{𝑚}$ 了．如例 LA4 所示

定義 LA11.

坐标空间

不难验证 $𝕂$ 的 $𝑚$ 维直积 $𝕂^{𝑚}$ 是 $𝕂$ 上的线性空间．

[𝑥_{1}, \dots, 𝑥_{𝑚}] + [𝑦_{1}, \dots, 𝑦_{𝑚}] = [𝑥_{1} + 𝑦_{1}, \dots, 𝑥_{𝑚} + 𝑦_{𝑚}]

𝜆 [𝑥_{1}, \dots, 𝑥_{𝑚}] = [𝜆 𝑥_{1}, \dots, 𝜆 𝑥_{𝑚}]

称之为坐标空间．坐标空间有一组自然的有序基

𝒆_{𝑖} ≔ {(0, \dots, \underset{𝑖}{\underset{⏟}{1}}, \dots, 0)}^{𝖳}, 𝑖 = 1, \dots, 𝑚,

稱為

𝕂^{𝑚}

的標準基（standard basis）．

我們稱 $𝕂$ 上 $𝑚$ 維線形空間 $𝑉$ 到座標空間 $𝕂^{𝑚}$ 的線形同構爲 $𝑉$ 的座標映射，其將向量 $𝒗$ 映射到的像稱爲 $𝒗$ 的座標．然而座標映射並不唯一——選取不同的同構映射則會使得同一個向量有不同的座標．

例 LA16.

設 $𝑉 = {𝒫︀}_{2} (𝕂)$ 是所有次數不超過 $2$ 的多項式構成的線形空間．則 $𝑉$ 是 $3$ 維線形空間．定義映射 $𝜙_{1} : 𝑉 \to 𝕂^{3}$ 為

𝜙_{1} (𝑎_{0} + 𝑎_{1} 𝑥 + 𝑎_{2} 𝑥^{2}) = {(𝑎_{0}, 𝑎_{1}, 𝑎_{2})}^{𝖳}

則 $𝜙_{1}$ 是 $𝑉$ 到 $𝕂^{3}$ 的一個線形同構．對於多項式 $𝑝 (𝑥) = 2 + 3 𝑥 + 4 𝑥^{2} \in 𝑉$ ，其在同構 $𝜙_{1}$ 下的座標爲 ${(2, 3, 4)}^{𝖳}$ ．

然而我們也可以定義另一個映射 $𝜙_{2} : 𝑉 \to 𝕂^{3}$ 為

𝜙_{2} (𝑎_{0} + 𝑎_{1} 𝑥 + 𝑎_{2} 𝑥^{2}) = {(𝑎_{2}, 𝑎_{1}, 𝑎_{0})}^{𝖳}

則 $𝜙_{2}$ 也是 $𝑉$ 到 $𝕂^{3}$ 的一個線形同構．對於同一個多項式 $𝑝 (𝑥)$ ，其在同構 $𝜙_{2}$ 下的座標爲 ${(4, 3, 2)}^{𝖳}$ ．

因此我們看到，不同的同構映射會導致同一個向量有不同的座標表示．

雖然座標映射不唯一，但有序基和坐标映射之间是一一对应的．

設 $ℬ︀ = (𝒗_{1}, \dots, 𝒗_{𝑚})$ 是 $𝑉$ 的有序基．由於 $ℬ︀$ 是基， $𝑉$ 中任意向量皆有 $ℬ︀$ 下本質唯一的線性組合表示，即有唯一的 $𝑚$ 元組 $(𝑐_{1}, \dots, 𝑐_{𝑚})$ 使得 $𝒗 = 𝑐_{1} 𝒗_{1} + \dots + 𝑐_{𝑚} 𝒗_{𝑚} .$ 因此可定義 $ℬ︀$ 上的坐標映射 $𝜙_{ℬ︀} : 𝑉 \to 𝕂^{𝑚}$ 為

𝜙_{ℬ︀} (𝒗) ≔ {[𝒗]}_{ℬ︀} ≔ [\begin{matrix} 𝑐_{1} \\ ⋮ \\ 𝑐_{𝑚} \end{matrix}] .

注意到 $𝜙_{ℬ︀}$ 在基上的限制恰好是 $𝜙_{ℬ︀} (𝒗_{𝑖}) = 𝒆_{𝑖}$ ，即它是函數 $𝑓 : ℬ︀ \to 𝕂^{𝑚}, 𝒗_{𝑖} \mapsto 𝒆_{𝑖}$ 的線形延拓．由線形擴張定理（命題 LA23）， $𝜙_{ℬ︀}$ 是 $ℒ︀ (𝑉, 𝕂^{𝑚})$ 中唯一滿足此條件的線形映射．又因 $𝜙_{ℬ︀} [ℬ︀] = (𝒆_{1}, \dots, 𝒆_{𝑚})$ 是 $𝕂^{𝑚}$ 的標準基，由命題 LA25， $𝜙_{ℬ︀}$ 是線形同構．稱 ${[𝒗]}_{ℬ︀}$ 為 $𝒗$ 在基 $ℬ︀$ 下的座標．

比如在例 LA16 中的二次多項式．如果我們取一組有序基爲 $(𝑥^{2}, 𝑥, 1)$ 則對應的座標爲 $(𝑎_{2}, 𝑎_{1}, 𝑎_{0})$ ．

命題 LA31.

ℬ︀

是

𝑉

上的一组有序基．

𝜙_{ℬ︀}

是

ℬ︀

上的坐标映射．

ℬ︀ \mapsto 𝜙_{ℬ︀}

給出

𝑉

的有序基與座標映射之間的雙射．

證 .

單射． 設 $𝜙_{ℬ︀} = 𝜙_{{ℬ︀}^{'}}$ ，記此映射爲 $𝑇$ ．由於 $𝑇$ 是同構， $𝒗_{𝑖} = 𝑇^{- 1} (𝒆_{𝑖}) = 𝒗_{𝑖^{'}}$ ，因此 $ℬ︀ = {ℬ︀}^{'}$ ．

滿射． 對任意線形同構 $𝑇 : 𝑉 \to 𝕂^{𝑚}$ ，令 $𝒗_{𝑖} ≔ 𝑇^{- 1} (𝒆_{𝑖})$ ．由命題 LA24(3)， $(𝒗_{1}, \dots, 𝒗_{𝑚})$ 是 $𝑉$ 的有序基．又 $𝑇$ 與 $𝜙_{ℬ︀}$ 在基 $ℬ︀$ 上一致（皆將 $𝒗_{𝑖}$ 映到 $𝒆_{𝑖}$ ），由命題 LA23 的唯一性， $𝑇 = 𝜙_{ℬ︀}$ ． $∎$

这个命题告诉我们有序基和坐标映射之间一一对应．

對任意 $𝑚 \times 𝑛$ 矩陣 $𝑨$ ，定義乘法映射 $𝜏_{𝑨} : 𝕂^{𝑛} \to 𝕂^{𝑚}$ 為 $𝜏_{𝑨} (𝒙) ≔ 𝑨 𝒙$ ．

命題 LA32.

座標空間的線形映射

$𝜏_{𝑨} \in ℒ︀ (𝕂^{𝑛}, 𝕂^{𝑚})$ ．
若 $𝜏 \in ℒ︀ (𝕂^{𝑛}, 𝕂^{𝑚})$ ，則 $𝜏 = 𝜏_{𝑨}$ ，其中

𝑨 = [𝜏 𝒆_{1}, \dots, 𝜏 𝒆_{𝑛}] .

稱 $𝑨$ 為 $𝜏$ 的矩陣．

證 .

1. 由矩陣乘法分配律， $𝑨 (𝑎 𝒙 + 𝒚) = 𝑎 𝑨 𝒙 + 𝑨 𝒚$ ．

2. 對任意 $𝒙 = \sum_{𝑘} 𝑥_{𝑘} 𝒆_{𝑘}$ ，由線性得 $𝜏 (𝒙) = \sum_{𝑘} 𝑥_{𝑘} 𝜏 (𝒆_{𝑘}) = 𝑨 𝒙 = 𝜏_{𝑨} (𝒙)$ ． $∎$

命題 LA33.

線形映射的矩陣

設 $𝑉$ ， $𝑊$ 分别是 $𝑚$ ， $𝑛$ 維線形空間， $ℬ︀ = (𝒗_{1}, \dots, 𝒗_{𝑚})$ 和 $𝛽 = (𝒘_{1}, \dots, 𝒘_{𝑛})$ 分別是 $𝑉$ 和 $𝑊$ 的有序基．對任意 $𝑇 \in ℒ︀ (𝑉, 𝑊)$ ，存在唯一的矩陣 ${[𝑇]}_{ℬ︀, 𝛽} \in 𝕂^{𝑛 \times 𝑚}$ 使得

{[𝑇 𝒗]}_{𝛽} = {[𝑇]}_{ℬ︀, 𝛽} {[𝒗]}_{ℬ︀}

對所有

𝒗 \in 𝑉

成立．稱

{[𝑇]}_{ℬ︀, 𝛽}

為

𝑇

關於基

ℬ︀, 𝛽

的矩陣，其第

𝑗

列為

{[𝑇 𝒗_{𝑗}]}_{𝛽}

．此外，

𝑇 \mapsto {[𝑇]}_{ℬ︀, 𝛽}

是

ℒ︀ (𝑉, 𝑊) \to 𝕂^{𝑛 \times 𝑚}

的線形同構．

證 .

共軛映射 $𝑇 \mapsto 𝜙_{𝛽} \circ 𝑇 \circ 𝜙_{ℬ︀}^{- 1} \in ℒ︀ (𝕂^{𝑚}, 𝕂^{𝑛})$ 是線形同構．由命題 LA32，其有唯一的矩陣 ${[𝑇]}_{ℬ︀, 𝛽}$ ．驗算：

{[𝑇]}_{ℬ︀, 𝛽} {[𝒗]}_{ℬ︀} = 𝜏_{𝑨} (𝜙_{ℬ︀} (𝒗)) = 𝜙_{𝛽} (𝑇 𝒗) = {[𝑇 𝒗]}_{𝛽} .

兩個線形同構的複合仍是線形同構，故

𝑇 \mapsto {[𝑇]}_{ℬ︀, 𝛽}

是同構．

∎

線形方程組

尝试考虑解以下方程组

{\begin{cases} 2 & 𝑥 + 3 & 𝑦 + & 𝑧 = 1 \\ 4 & 𝑥 + & 𝑦 + 5 & 𝑧 = 2 \\ 𝑥 + 2 & 𝑦 + 3 & 𝑧 = 3 \end{cases}

他實際上是在尋找滿足方程 $𝑇 (𝒖) = 𝒃$ 的向量 $𝒖 = {(𝑥, 𝑦, 𝑧)}^{𝖳}$ ．其中

\begin{matrix} 𝒃 = {(1, 2, 3)}^{𝖳} \\ 𝑇 (𝒖) ≔ 𝑥 [\begin{matrix} 2 \\ 4 \\ 1 \end{matrix}] + 𝑦 [\begin{matrix} 3 \\ 0 \\ 2 \end{matrix}] + 𝑧 [\begin{matrix} 1 \\ 5 \\ 3 \end{matrix}] \end{matrix}

$𝑇$ 是線形映射．我們不難發現 $𝑇 (𝒖) = 𝑨 𝒖$ ，其中

𝑨 = [\begin{matrix} 2 & 3 & 1 \\ 4 & 0 & 5 \\ 1 & 2 & 3 \end{matrix}]

定義 LA12.

行階形矩陣

一個矩陣稱爲行階形（Row Echelon Form, REF）的，如果它满足以下条件：

所有非零行都在零行之上．
每个非零行的首个非零元素（称为主元）位于其前一行主元的右侧．

比如對於下面的 $4 \times 5$ 矩陣，前三行是非零行，第四行是零行，所有的非零元素用藍色標記，每一行的主元更用深藍色標記．照會行階形的定義，不難驗證之．

另根据定義的第二点，如果一个 $𝑖, 𝑗$ 处的元素是主元，那其下的元素 $𝑖^{+}, 𝑗$ 必为零．因为其下 $𝑖^{+}$ 行的主元必须在 $𝑗$ 右侧，从而 $𝑖^{+}, 𝑗$ 与其左边的元素皆为零．

初等变换

初等行变换是指一下三种矩阵的映射：

交换两行的位置．
将某一行乘以一个非零常数．
将某一行加上另一行的若干倍．

将以上定义的「行」换为「列」，即可得到初等列变换的定义．不难发现，初等变换是置换（因为可逆且保阶）．更进一步的， $𝑰$ 经三种行变换后分别称为三种初等行矩阵．即

$𝑬_{1} (𝑖, 𝑗)$ 为 $𝑰$ 交换第 $𝑖$ 行和第 $𝑗$ 行得到的矩阵；
$𝑬_{2} (𝑖, 𝜆)$ 为 $𝑰$ 将第 $𝑖$ 行乘以非零常数 $𝜆$ 得到的矩阵；
$𝑬_{3} (𝑖, 𝑗, 𝜆)$ 为 $𝑰$ 将第 $𝑖$ 行加上第 $𝑗$ 行的 $𝜆$ 倍得到的矩阵．

命題 LA34.

初等矩阵可逆

證 .

事实上不难验证

$𝑬_{1} {(𝑖, 𝑗)}^{- 1} = 𝑬_{1} (𝑖, 𝑗)$
$𝑬_{2} {(𝑖, 𝜆)}^{- 1} = 𝑬_{2} (𝑖, 1 / 𝜆)$
$𝑬_{3} {(𝑖, 𝑗, 𝜆)}^{- 1} = 𝑬_{3} (𝑖, 𝑗, - 𝜆)$

$∎$

命題 LA35.

初等变换与初等矩阵

左乘初等矩阵等价于施加对应的初等行变换；
右乘初等矩阵等价于施加对应的初等列变换．

證 .

对于某种初等变换 $𝜎$ 和对应的初等矩阵 $𝑬 = 𝜎 (𝑰)$ 和任意矩阵 $𝑨$ ，

{(𝑬 𝑨)}_{𝑘, 𝑙} = \sum_{𝑚} {(𝑬)}_{𝑘, 𝑚} {(𝑨)}_{𝑚, 𝑙}

我们希望证明 $𝜎 (𝑨) = 𝑬 𝑨$ ．于是

第一类初等行变换

设 $𝑬$ 是交换第 $𝑖$ 行和第 $𝑗$ 行的初等矩阵，则

当 $𝑘 \neq 𝑖$ 且 $𝑘 \neq 𝑗$ 时， ${(𝑬)}_{𝑘, 𝑚} = {(𝑰)}_{𝑘, 𝑚}$ ，因此 ${(𝑬 𝑨)}_{𝑘, 𝑙} = {(𝑨)}_{𝑘, 𝑙}$ ．
当 $𝑘 = 𝑖$ 时， ${(𝑬)}_{𝑖, 𝑚} = {(𝑰)}_{𝑗, 𝑚}$ ，因此 ${(𝑬 𝑨)}_{𝑖, 𝑙} = {(𝑨)}_{𝑗, 𝑙}$ ．
当 $𝑘 = 𝑗$ 时， ${(𝑬)}_{𝑗, 𝑚} = {(𝑰)}_{𝑖, 𝑚}$ ，因此 ${(𝑬 𝑨)}_{𝑗, 𝑙} = {(𝑨)}_{𝑖, 𝑙}$ ．即左乘 $𝑬$ 等价于交换 $𝑨$ 的第 $𝑖$ 行和第 $𝑗$ 行．

第二类初等行变换

设 $𝑬$ 是将第 $𝑖$ 行乘以非零常数 $𝑐$ 的初等矩阵，则

当 $𝑘 \neq 𝑖$ 时， ${(𝑬)}_{𝑘, 𝑚} = {(𝑰)}_{𝑘, 𝑚}$ ，因此 ${(𝑬 𝑨)}_{𝑘, 𝑙} = {(𝑨)}_{𝑘, 𝑙}$ ．
当 $𝑘 = 𝑖$ 时， ${(𝑬)}_{𝑖, 𝑚} = 𝑐 {(𝑰)}_{𝑖, 𝑚}$ ，因此 ${(𝑬 𝑨)}_{𝑖, 𝑙} = 𝑐 {(𝑨)}_{𝑖, 𝑙}$ ．

即左乘 $𝑬$ 等价于将 $𝑨$ 的第 $𝑖$ 行乘以 $𝑐$ ．

第三类初等行变换

设 $𝑬$ 是将第 $𝑖$ 行加上第 $𝑗$ 行的 $𝑐$ 倍的初等矩阵，则

当 $𝑘 \neq 𝑖$ 时， ${(𝑬)}_{𝑘, 𝑚} = {(𝑰)}_{𝑘, 𝑚}$ ，因此 ${(𝑬 𝑨)}_{𝑘, 𝑙} = {(𝑨)}_{𝑘, 𝑙}$ ．
当 $𝑘 = 𝑖$ 时， ${(𝑬)}_{𝑖, 𝑚} = {(𝑰)}_{𝑖, 𝑚} + 𝑐 {(𝑰)}_{𝑗, 𝑚}$ ，因此 ${(𝑬 𝑨)}_{𝑖, 𝑙} = {(𝑨)}_{𝑖, 𝑙} + 𝑐 {(𝑨)}_{𝑗, 𝑙}$ ．

即左乘 $𝑬$ 等价于将 $𝑨$ 的第 $𝑖$ 行加上第 $𝑗$ 行的 $𝑐$ 倍．

对于右乘初等列矩阵的情况，对 $𝑨$ 进行列变换，即对 $𝑨^{𝖳}$ 进行行变换后再转置回来，即：

{(𝜎 (𝑨^{𝖳}))}^{𝖳} = {(𝑬 𝑨^{𝖳})}^{𝖳} = 𝑨 𝑬^{𝖳}

也就证明了右乘初等列矩阵等价于施加对应的初等列变换． $∎$

作为这一命题的直接推论，我们知道初等变换以及有限次初等变换是线性置换．那么相反地，我们自然的会问：任意 $𝕂^{𝑚 \times 𝑛}$ 上的线性置换是否都能表示为有限次初等变换的复合？答案是肯定的．

命題 LA36.

设

𝑨, 𝑩

是

𝑛 + 1

階方陣. 初等行变换

𝑨

數次得

𝑩

, 那么与

𝑩

对应的线性方程组和与

𝑨

对应的线性方程组线性同解.

證 .

$∎$

三類初等行變換對應了 Gaußsche 消元法的三類操作．因此這個定理說明了 Gaußsche 消元法確實不會改變線性方程組的解集．

命題 LA37.

亚定方程组的解

如果齐次线性方程组

𝑨 𝒙 = 𝟎

亚定，则必有非平凡解．

證 .

$∎$

方程的正定，亚定与超定

相容与不相容

不相容方程组无解．但是我们可以找到最优近似解．也就是最小二乘解．

评论