\documentclass[UTF8,a4paper,11pt,fontset=none]{ctexart}
\usepackage{fontspec}
\setmainfont{Times New Roman}
\setmonofont{Times New Roman}
\setCJKmainfont{SimSun}[BoldFont=SimSun,AutoFakeBold=1.8,ItalicFont=KaiTi]
\setCJKsansfont{SimSun}[BoldFont=SimSun,AutoFakeBold=1.8]
\setCJKmonofont{SimSun}
\setCJKfamilyfont{song}{SimSun}[BoldFont=SimSun,AutoFakeBold=1.8]
\setCJKfamilyfont{kai}{KaiTi}
\newcommand{\songti}{\CJKfamily{song}}
\newcommand{\kaishu}{\CJKfamily{kai}}
\usepackage{amsmath,amssymb,geometry,fancyhdr,needspace,enumitem}
\geometry{left=22mm,right=22mm,top=23mm,bottom=23mm,headheight=15pt,headsep=7mm,footskip=11mm}
\usepackage[unicode,hidelinks]{hyperref}
\hypersetup{pdftitle={线性代数计算笔记},pdfauthor={},pdfsubject={MIT 18.06 · Lecture 1--16 选编}}
\ctexset{section={format=\Large\kaishu,beforeskip=10pt,afterskip=18pt},subsection={format=\large\kaishu,beforeskip=18pt,afterskip=9pt}}
\setlength{\parindent}{0pt}
\setlength{\parskip}{5pt}
\linespread{1.22}
\setlength{\abovedisplayskip}{9pt}
\setlength{\belowdisplayskip}{9pt}
\allowdisplaybreaks[1]
\raggedbottom
\emergencystretch=2em
\setlist{nosep,leftmargin=2em,topsep=4pt}
\pagestyle{fancy}
\fancyhf{}
\fancyhead[L]{\small\songti 线性代数计算笔记}
\fancyhead[R]{\small\songti\nouppercase{\leftmark}}
\fancyfoot[C]{\small\thepage}
\renewcommand{\headrulewidth}{0.35pt}
\renewcommand{\footrulewidth}{0pt}
\setcounter{tocdepth}{2}
\newcommand{\blocklabel}[1]{\par\needspace{3\baselineskip}\noindent{\kaishu #1}\quad}
\begin{document}
\begin{titlepage}
\thispagestyle{empty}
\vspace*{7mm}
{\large MIT\quad /\quad 18.06}\par
\vspace{7mm}\hrule height 0.5pt
\vspace{26mm}
{\fontsize{32}{44}\selectfont\kaishu 线性代数计算笔记}\par
\vspace{7mm}
{\Large\kaishu 从方程组到最小二乘}\par
\vspace{13mm}
{\large Lecture 1--16 选编}\par
\vfill
\hfill $\displaystyle\begin{bmatrix}1&0&1\\0&1&1\\1&1&2\end{bmatrix}$
\vspace{17mm}
\hrule height 0.5pt
\vspace{5mm}
{\small\songti 计算方法\quad /\quad 独立例题\quad /\quad 精确验算}\par
\vspace{2mm}
{\small Version 1.0\hfill 2026.11.03}
\end{titlepage}
\pagenumbering{roman}\begingroup\setlength{\parskip}{0pt}\linespread{1.08}\selectfont\tableofcontents\endgroup\clearpage\pagenumbering{arabic}
\phantomsection
\section*{Lecture 1：线性方程组的几何解释}
\addcontentsline{toc}{section}{Lecture 1：线性方程组的几何解释}
\markboth{Lecture 1}{}
本讲把同一个方程组分别看成平面的交点与列向量的线性组合。先学会转换表示，再判断解的情况。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{1.1 从方程组写出矩阵式}
\addcontentsline{toc}{subsection}{1.1 从方程组写出矩阵式}
\blocklabel{适用}已知线性方程组，需要整理系数、未知量和常数项。

\blocklabel{步骤}固定未知量顺序；逐行抄出系数，缺项补零；把常数写成同一顺序的列向量。

\blocklabel{例题}把下面方程组写成矩阵式：
\[
\begin{cases}x_1+x_2+x_3=2,\\2x_1-x_2+x_3=-1,\\x_1+2x_2-x_3=6.\end{cases}
\]

按未知量 $x_1,x_2,x_3$ 的顺序排列：
\[
A=\begin{bmatrix}1&1&1\\2&-1&1\\1&2&-1\end{bmatrix},\quad x=\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix},\quad b=\begin{bmatrix}2\\-1\\6\end{bmatrix},\quad Ax=b.
\]

每行对应三维空间中的一个平面。三个平面的公共点为
\[
x=\begin{bmatrix}1\\2\\-1\end{bmatrix}.
\]



\blocklabel{验算}$Ax=\begin{bmatrix}2\\-1\\6\end{bmatrix}=b$，三个方程均成立。

\blocklabel{易错}换未知量顺序时必须同时交换矩阵的列；常数项不能混入系数矩阵。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{1.2 把矩阵乘向量写成列组合}
\addcontentsline{toc}{subsection}{1.2 把矩阵乘向量写成列组合}
\blocklabel{适用}想理解 $Ax=b$ 是否能由 $A$ 的列向量拼出 $b$。

\blocklabel{步骤}记 $A=[a_1\ a_2\ a_3]$；用 $x_i$ 乘第 $i$ 列，再逐项相加。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&0\\0&1&1\\2&0&1\end{bmatrix},\quad x=\begin{bmatrix}2\\-1\\3\end{bmatrix}.
\]

求 $Ax$。按列展开：
\[
Ax=2\begin{bmatrix}1\\0\\2\end{bmatrix}-\begin{bmatrix}2\\1\\0\end{bmatrix}+3\begin{bmatrix}0\\1\\1\end{bmatrix}=\begin{bmatrix}0\\2\\7\end{bmatrix}.
\]

因此 $b$ 是三列的线性组合，组合系数依次是 $2,-1,3$。

\blocklabel{验算}按行计算得到 $Ax=(2-2,\,-1+3,\,4+3)^T=(0,2,7)^T$。

\blocklabel{易错}系数乘的是整列；不能把 $x_i$ 与第 $i$ 行对应。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{1.3 区分唯一解、无解和无穷多解}
\addcontentsline{toc}{subsection}{1.3 区分唯一解、无解和无穷多解}
\blocklabel{适用}观察独立约束是否足够，以及方程之间是否相容。此处先看简单结构，系统消元放在下一讲。

\blocklabel{步骤}先找能直接求出的未知量；若某行是其他行的和，就比较右端项是否也满足同样关系。

\blocklabel{例题}情形一：
\[
A=\begin{bmatrix}1&0&2\\0&1&-1\\0&0&3\end{bmatrix},\quad b=\begin{bmatrix}5\\0\\6\end{bmatrix}.
\]

第三行给 $x_3=2$，第二行给 $x_2=2$，第一行给 $x_1=1$，故唯一解为 $x=(1,2,2)^T$。

情形二、三使用同一组系数，比较两个右端项：
\[
B=\begin{bmatrix}1&1&0\\0&1&1\\1&2&1\end{bmatrix},\quad c=\begin{bmatrix}2\\3\\5\end{bmatrix},\quad d=\begin{bmatrix}2\\3\\6\end{bmatrix}.
\]

第三行是前两行之和。对 $Bx=c$，第三个常数也是前两个之和，令 $x_3=t$ 得
\[
x=\begin{bmatrix}-1\\3\\0\end{bmatrix}+t\begin{bmatrix}1\\-1\\1\end{bmatrix},\quad t\in\mathbb R.
\]

对 $Bx=d$，却要求 $2+3=6$，所以无解。

\blocklabel{验算}唯一解代回 $Ax=b$；无穷多解检查 $Bx_p=c$、$Bs=0$；无解检查常数项矛盾。

\blocklabel{易错}方程多并不保证唯一解；关键在于独立约束和相容性。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 2：矩阵消元}
\addcontentsline{toc}{section}{Lecture 2：矩阵消元}
\markboth{Lecture 2}{}
消元的目标是逐步减少未知量之间的耦合。每次行变换都必须同时作用于右端项。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{2.1 高斯消元与回代}
\addcontentsline{toc}{subsection}{2.1 高斯消元与回代}
\blocklabel{适用}方程组需要先化为上三角形，再自下而上求解。

\blocklabel{步骤}选择非零主元；用“目标行减倍数乘主元行”消元；得到上三角方程组后回代。

\blocklabel{例题}
\[
A=\begin{bmatrix}2&1&-1\\4&3&1\\-2&1&2\end{bmatrix},\quad b=\begin{bmatrix}-3\\1\\2\end{bmatrix}.
\]

先做 $R_2\leftarrow R_2-2R_1$、$R_3\leftarrow R_3+R_1$，再做 $R_3\leftarrow R_3-2R_2$：
\[
[A\mid b]\longrightarrow \begin{bmatrix}2&1&-1&-3\\0&1&3&7\\0&2&1&-1\end{bmatrix}\longrightarrow \begin{bmatrix}2&1&-1&-3\\0&1&3&7\\0&0&-5&-15\end{bmatrix}.
\]

回代：$-5x_3=-15$，$x_2+3x_3=7$，$2x_1+x_2-x_3=-3$，得到
\[
x=\begin{bmatrix}1\\-2\\3\end{bmatrix}.
\]



\blocklabel{验算}$Ax=\begin{bmatrix}-3\\1\\2\end{bmatrix}=b$。

\blocklabel{易错}后一步使用的是已经更新的行；不要继续使用消元前的旧数据。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{2.2 用消元矩阵表示行变换}
\addcontentsline{toc}{subsection}{2.2 用消元矩阵表示行变换}
\blocklabel{适用}需要把一次行操作写成矩阵乘法，或恢复被消去的行。

\blocklabel{步骤}在单位矩阵上实施同样的行变换得到 $E$；左乘 $A$；恢复时用 $E^{-1}$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&-1\\3&5&2\\2&-1&4\end{bmatrix}.
\]

要做 $R_2\leftarrow R_2-3R_1$，在 $I$ 上做同样操作：
\[
E=\begin{bmatrix}1&0&0\\-3&1&0\\0&0&1\end{bmatrix},\qquad EA=\begin{bmatrix}1&2&-1\\0&-1&5\\2&-1&4\end{bmatrix}.
\]

逆操作为 $R_2\leftarrow R_2+3R_1$，因此
\[
E^{-1}=\begin{bmatrix}1&0&0\\3&1&0\\0&0&1\end{bmatrix}.
\]



\blocklabel{验算}$E^{-1}(EA)=A$，且只有第二行发生变化。

\blocklabel{易错}行变换对应左乘；连续先做 $E_1$ 再做 $E_2$，总矩阵是 $E_2E_1$。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{2.3 主元为零时换行}
\addcontentsline{toc}{subsection}{2.3 主元为零时换行}
\blocklabel{适用}当前位置主元为零，但同列下方仍有非零元素。

\blocklabel{步骤}先交换行，把非零元素移到主元位置；同步交换右端项；继续消元。

\blocklabel{例题}
\[
A=\begin{bmatrix}0&2&1\\1&-1&2\\2&1&0\end{bmatrix},\quad b=\begin{bmatrix}1\\-1\\5\end{bmatrix}.
\]

交换 $R_1,R_2$：
\[
[PA\mid Pb]=\begin{bmatrix}1&-1&2&-1\\0&2&1&1\\2&1&0&5\end{bmatrix}.
\]

再做 $R_3\leftarrow R_3-2R_1$、$R_3\leftarrow R_3-\frac32R_2$：
\[
[U\mid c]=\begin{bmatrix}1&-1&2&-1\\0&2&1&1\\0&0&- \frac{11}{2}&\frac{11}{2}\end{bmatrix}.
\]

回代得到 $x_3=-1$、$x_2=1$、$x_1=2$。

\blocklabel{验算}$A(2,1,-1)^T=b$。

\blocklabel{易错}某个主元为零不等于矩阵不可逆；应先检查能否换行。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{2.4 从矛盾行判定无解}
\addcontentsline{toc}{subsection}{2.4 从矛盾行判定无解}
\blocklabel{适用}消元时系数行变成零，但对应常数不为零。

\blocklabel{步骤}先消去线性相关的行；观察是否出现 $[0\ \cdots\ 0\mid c]$ 且 $c\ne0$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&1\\2&4&2\\0&1&-1\end{bmatrix},\quad b=\begin{bmatrix}3\\7\\0\end{bmatrix}.
\]

做 $R_2\leftarrow R_2-2R_1$：
\[
\begin{bmatrix}1&2&1&3\\0&0&0&1\\0&1&-1&0\end{bmatrix}.
\]

第二行要求 $0=1$，因此无解，后续未知量无需继续求。

\blocklabel{验算}原方程左端第二行是第一行的两倍，但 $7\ne2\times3$。

\blocklabel{易错}零系数行且右端也为零，只表示冗余约束，不是矛盾。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 3：矩阵乘法与逆矩阵}
\addcontentsline{toc}{section}{Lecture 3：矩阵乘法与逆矩阵}
\markboth{Lecture 3}{}
先掌握矩阵乘法的四种组织方式，再用行变换求逆。四种乘法使用四组独立数据。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{3.1 行乘列：逐元素计算}
\addcontentsline{toc}{subsection}{3.1 行乘列：逐元素计算}
\blocklabel{适用}需要积矩阵的少数元素，或矩阵没有明显结构。

\blocklabel{步骤}若 $A$ 为 $m\times n$、$B$ 为 $n\times p$，则 $c_{ij}=\sum_{k=1}^n a_{ik}b_{kj}$；每个元素用一行点乘一列。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&-1\\0&3&2\\2&-1&1\end{bmatrix},\quad B=\begin{bmatrix}2&0&1\\1&-2&3\\0&1&2\end{bmatrix}.
\]

例如第一行第三列为 $1\times1+2\times3+(-1)\times2=5$。逐项计算得
\[
AB=\begin{bmatrix}4&-5&5\\3&-4&13\\3&3&1\end{bmatrix}.
\]



\blocklabel{验算}另查 $c_{32}=2\times0+(-1)(-2)+1\times1=3$，与结果一致。

\blocklabel{易错}相乘条件是内侧维数相同；结果的行数来自 $A$，列数来自 $B$。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{3.2 按列计算矩阵乘积}
\addcontentsline{toc}{subsection}{3.2 按列计算矩阵乘积}
\blocklabel{适用}右矩阵各列较稀疏，适合把积矩阵逐列求出。

\blocklabel{步骤}写 $B=[b_1\ b_2\ b_3]$，则 $AB=[Ab_1\ Ab_2\ Ab_3]$；每列再看成 $A$ 的列组合。

\blocklabel{例题}
\[
A=\begin{bmatrix}2&0&1\\1&1&-1\\0&2&3\end{bmatrix},\quad B=\begin{bmatrix}1&0&2\\0&1&-1\\1&2&0\end{bmatrix}.
\]


\[
\begin{aligned}
Ab_1=a_1+a_3=\begin{bmatrix}3\\0\\3\end{bmatrix}, \\Ab_2=a_2+2a_3=\begin{bmatrix}2\\-1\\8\end{bmatrix}, \\Ab_3=2a_1-a_2=\begin{bmatrix}4\\1\\-2\end{bmatrix}.
\end{aligned}
\]

把三列按原顺序拼回：
\[
AB=\begin{bmatrix}3&2&4\\0&-1&1\\3&8&-2\end{bmatrix}.
\]



\blocklabel{验算}检查第一列第一项 $2\times1+0\times0+1\times1=3$。

\blocklabel{易错}这是按 $B$ 的列分解；列组合的素材取自 $A$。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{3.3 按行计算矩阵乘积}
\addcontentsline{toc}{subsection}{3.3 按行计算矩阵乘积}
\blocklabel{适用}左矩阵各行较稀疏，适合把积矩阵逐行求出。

\blocklabel{步骤}记 $B$ 的行为 $r_1,r_2,r_3$；$AB$ 的第 $i$ 行为 $a_{i1}r_1+a_{i2}r_2+a_{i3}r_3$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&2\\0&-1&1\\2&1&0\end{bmatrix},\quad B=\begin{bmatrix}1&3&0\\2&-1&1\\0&2&4\end{bmatrix}.
\]


\[
\begin{aligned}
(AB)_{1,:}=r_1+2r_3=\begin{bmatrix}1&7&8\end{bmatrix}, \\(AB)_{2,:}=-r_2+r_3=\begin{bmatrix}-2&3&3\end{bmatrix}, \\(AB)_{3,:}=2r_1+r_2=\begin{bmatrix}4&5&1\end{bmatrix}.
\end{aligned}
\]


\[
AB=\begin{bmatrix}1&7&8\\-2&3&3\\4&5&1\end{bmatrix}.
\]



\blocklabel{验算}第一行第二项也可由 $1\times3+0\times(-1)+2\times2=7$ 得到。

\blocklabel{易错}行组合的系数来自 $A$ 的行，被组合的是 $B$ 的行。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{3.4 列乘行：外积之和}
\addcontentsline{toc}{subsection}{3.4 列乘行：外积之和}
\blocklabel{适用}需要把乘积拆成秩至多为一的简单矩阵，或利用非零列、行对。

\blocklabel{步骤}写 $A=[a_1\ a_2\ a_3]$，记 $B$ 的行为 $r_k$；计算 $AB=\sum_{k=1}^3a_kr_k$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&-1\\2&1&0\\0&3&1\end{bmatrix},\quad B=\begin{bmatrix}2&1&0\\0&-1&2\\1&0&3\end{bmatrix}.
\]

每项取左矩阵的一列乘右矩阵的对应行：
\[
\begin{aligned}
a_1r_1=\begin{bmatrix}2&1&0\\4&2&0\\0&0&0\end{bmatrix}, \\a_2r_2=\begin{bmatrix}0&0&0\\0&-1&2\\0&-3&6\end{bmatrix}, \\a_3r_3=\begin{bmatrix}-1&0&-3\\0&0&0\\1&0&3\end{bmatrix}.
\end{aligned}
\]


\[
AB=a_1r_1+a_2r_2+a_3r_3=\begin{bmatrix}1&1&-3\\4&1&2\\1&-3&9\end{bmatrix}.
\]



\blocklabel{验算}按行乘列检查 $(AB)_{23}=2\times0+1\times2+0\times3=2$。

\blocklabel{易错}外积的结果是矩阵；不要误算成行乘列得到的标量。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{3.5 Gauss–Jordan 消元求逆}
\addcontentsline{toc}{subsection}{3.5 Gauss–Jordan 消元求逆}
\blocklabel{适用}$A$ 是方阵，并且能够消元得到单位矩阵。

\blocklabel{步骤}把单位矩阵接在右侧；所有行操作同步作用于整个增广矩阵；左侧变为 $I$ 后，右侧就是逆矩阵。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&1&0\\0&1&1\\1&0&0\end{bmatrix}.
\]

先做 $R_3\leftarrow R_3-R_1$、$R_3\leftarrow R_3+R_2$：
\[
[A\mid I]\longrightarrow \begin{bmatrix}1&1&0&1&0&0\\0&1&1&0&1&0\\0&0&1&-1&1&1\end{bmatrix}.
\]

再做 $R_2\leftarrow R_2-R_3$、$R_1\leftarrow R_1-R_2$：
\[
[I\mid A^{-1}]=\begin{bmatrix}1&0&0&0&0&1\\0&1&0&1&0&-1\\0&0&1&-1&1&1\end{bmatrix}.
\]



\blocklabel{验算}$AA^{-1}=A^{-1}A=I$。

\blocklabel{易错}右侧必须跟着做全部行操作；不能只把 $A$ 化简后再拼一个单位矩阵。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{3.6 用消元判断不可逆}
\addcontentsline{toc}{subsection}{3.6 用消元判断不可逆}
\blocklabel{适用}方阵是否有逆尚不确定。

\blocklabel{步骤}先消元；若缺少某列主元，或出现零行，秩就小于阶数，矩阵不可逆。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&3\\0&1&1\\1&3&4\end{bmatrix}.
\]

做 $R_3\leftarrow R_3-R_1-R_2$，得到零行；继续化简：
\[
R=\begin{bmatrix}1&0&1\\0&1&1\\0&0&0\end{bmatrix}.
\]

只有两个主元，$\operatorname{rank}(A)=2<3$，所以 $A^{-1}$ 不存在。

\blocklabel{验算}$A(-1,-1,1)^T=0$，存在非零零空间向量。

\blocklabel{易错}只有方阵才讨论通常意义的双侧逆；满秩的非方阵也不应直接记作 $A^{-1}$。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{3.7 计算矩阵乘积的逆}
\addcontentsline{toc}{subsection}{3.7 计算矩阵乘积的逆}
\blocklabel{适用}乘积中的每个方阵均可逆。

\blocklabel{步骤}把乘积的因子顺序反过来，再分别求逆：$(AB)^{-1}=B^{-1}A^{-1}$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&1\\0&1&0\\0&0&1\end{bmatrix},\quad B=\begin{bmatrix}1&0&0\\2&1&0\\0&0&1\end{bmatrix}.
\]


\[
A^{-1}=\begin{bmatrix}1&0&-1\\0&1&0\\0&0&1\end{bmatrix},\quad B^{-1}=\begin{bmatrix}1&0&0\\-2&1&0\\0&0&1\end{bmatrix}.
\]


\[
(AB)^{-1}=B^{-1}A^{-1}=\begin{bmatrix}1&0&-1\\-2&1&2\\0&0&1\end{bmatrix}.
\]



\blocklabel{验算}直接相乘有 $(AB)(B^{-1}A^{-1})=I$；本题 $A^{-1}B^{-1}$ 的 $(2,3)$ 项为 $0$，而正确结果该项为 $2$。

\blocklabel{易错}一般不能交换矩阵乘法顺序；逆矩阵的顺序必须倒置。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 4：分解为 A = LU}
\addcontentsline{toc}{section}{Lecture 4：分解为 A = LU}
\markboth{Lecture 4}{}
把消元过程保存下来，就可以重复求解同一系数矩阵对应的不同方程组。这里的 L 对角线统一为 1。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{4.1 从消元倍数构造 LU 分解}
\addcontentsline{toc}{subsection}{4.1 从消元倍数构造 LU 分解}
\blocklabel{适用}方阵消元时无需换行，并且各步主元非零。

\blocklabel{步骤}把消元后的上三角矩阵记作 $U$；把第 $i$ 行消去第 $j$ 列时的倍数 $l_{ij}$ 填入 $L$ 的对应位置。

\blocklabel{例题}
\[
A=\begin{bmatrix}2&1&0\\4&5&1\\-2&8&5\end{bmatrix}.
\]

操作为 $R_2\leftarrow R_2-2R_1$、$R_3\leftarrow R_3+R_1$、$R_3\leftarrow R_3-3R_2$。倍数分别为 $2,-1,3$，所以
\[
L=\begin{bmatrix}1&0&0\\2&1&0\\-1&3&1\end{bmatrix},\quad U=\begin{bmatrix}2&1&0\\0&3&1\\0&0&2\end{bmatrix},\quad A=LU.
\]



\blocklabel{验算}相乘 $LU=\begin{bmatrix}2&1&0\\4&5&1\\-2&8&5\end{bmatrix}=A$。

\blocklabel{易错}$L$ 中填消元倍数本身；消元矩阵中对应位置才是倍数的相反数。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{4.2 前代、回代与多右端项复用}
\addcontentsline{toc}{subsection}{4.2 前代、回代与多右端项复用}
\blocklabel{适用}已经知道 $A=LU$，需要求一个或多个右端项对应的解。

\blocklabel{步骤}先从上向下解 $Ly=b$；再从下向上解 $Ux=y$。换右端项时复用同一组 $L,U$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&1\\-1&0&-2\\2&6&4\end{bmatrix},\quad L=\begin{bmatrix}1&0&0\\-1&1&0\\2&1&1\end{bmatrix},\quad U=\begin{bmatrix}1&2&1\\0&2&-1\\0&0&3\end{bmatrix}.
\]

第一组右端项为 $b_1=\begin{bmatrix}1\\-5\\4\end{bmatrix}$。前代依次得
\[
y_1=\begin{bmatrix}1\\-4\\6\end{bmatrix}.
\]

回代：$3x_3=6$，$2x_2-x_3=-4$，$x_1+2x_2+x_3=1$，得到 $x^{(1)}=(1,-1,2)^T$。

第二组右端项为 $b_2=\begin{bmatrix}3\\0\\6\end{bmatrix}$，直接复用分解：
\[
Ly_2=b_2\Rightarrow y_2=\begin{bmatrix}3\\3\\-3\end{bmatrix},\qquad Ux^{(2)}=y_2\Rightarrow x^{(2)}=\begin{bmatrix}2\\1\\-1\end{bmatrix}.
\]



\blocklabel{验算}$Ax^{(1)}=b_1$、$Ax^{(2)}=b_2$；两个方程组不需要重复分解。

\blocklabel{易错}$Ly=b$ 用前代，$Ux=y$ 用回代；不要把两个右端项混用。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{4.3 需要换行时计算 PA = LU}
\addcontentsline{toc}{subsection}{4.3 需要换行时计算 PA = LU}
\blocklabel{适用}消元前需要交换行。这里示范首步换行的情形。

\blocklabel{步骤}把换行记作 $P$；对 $PA$ 进行普通消元得到 $L,U$；解方程时同步改用 $Pb$。

\blocklabel{例题}
\[
A=\begin{bmatrix}0&2&1\\1&1&0\\2&0&2\end{bmatrix},\quad b=\begin{bmatrix}3\\3\\0\end{bmatrix}.
\]

交换前两行，再用倍数 $2,-1$ 消去第三行的前两项：
\[
P=\begin{bmatrix}0&1&0\\1&0&0\\0&0&1\end{bmatrix},\quad L=\begin{bmatrix}1&0&0\\0&1&0\\2&-1&1\end{bmatrix},\quad U=\begin{bmatrix}1&1&0\\0&2&1\\0&0&3\end{bmatrix}.
\]


\[
PA=LU,\qquad Pb=\begin{bmatrix}3\\3\\0\end{bmatrix}.
\]

前代 $Ly=Pb$ 得 $y=(3,3,-3)^T$，回代得 $x=(1,2,-1)^T$。

\blocklabel{验算}$PA=LU$ 且 $Ax=b$。

\blocklabel{易错}若消元进行到中途才换行，$L$ 中此前已记录的相应行部分也要同步交换。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 5：转置、置换与实向量空间}
\addcontentsline{toc}{section}{Lecture 5：转置、置换与实向量空间}
\markboth{Lecture 5}{}
本讲区分矩阵的行、列操作，并开始检查向量集合是否构成子空间。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{5.1 转置与乘积转置}
\addcontentsline{toc}{subsection}{5.1 转置与乘积转置}
\blocklabel{适用}需要交换行列，或把矩阵乘积整体转置。

\blocklabel{步骤}把 $(i,j)$ 元移到 $(j,i)$；乘积转置时反转顺序：$(AB)^T=B^TA^T$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&-1&2\\0&2&1\\3&0&1\end{bmatrix},\quad B=\begin{bmatrix}0&1&2\\1&0&-1\\2&1&0\end{bmatrix}.
\]


\[
A^T=\begin{bmatrix}1&0&3\\-1&2&0\\2&1&1\end{bmatrix},\quad B^T=\begin{bmatrix}0&1&2\\1&0&1\\2&-1&0\end{bmatrix}.
\]


\[
(AB)^T=B^TA^T=\begin{bmatrix}3&4&2\\3&1&4\\3&-2&6\end{bmatrix}.
\]



\blocklabel{验算}先求 $AB$ 再交换行列，得到相同结果。

\blocklabel{易错}一般 $(AB)^T\ne A^TB^T$；转置不是求逆。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{5.2 置换矩阵的左乘与右乘}
\addcontentsline{toc}{subsection}{5.2 置换矩阵的左乘与右乘}
\blocklabel{适用}需要用矩阵表示交换行或交换列。

\blocklabel{步骤}对 $I$ 交换两行得到 $P$；$PA$ 交换 $A$ 的对应行，$AP$ 交换对应列。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&4\\3&5&7\\6&8&9\end{bmatrix},\quad P=\begin{bmatrix}0&1&0\\1&0&0\\0&0&1\end{bmatrix}.
\]


\[
PA=\begin{bmatrix}3&5&7\\1&2&4\\6&8&9\end{bmatrix},\qquad AP=\begin{bmatrix}2&1&4\\5&3&7\\8&6&9\end{bmatrix}.
\]

本题左乘交换第 1、2 行，右乘交换第 1、2 列。

\blocklabel{验算}$P^TP=I$，交换两次恢复原矩阵：$P(PA)=A$、$(AP)P=A$。

\blocklabel{易错}一般置换要用 $P^{-1}=P^T$ 恢复；本题单次对换才满足 $P^{-1}=P$。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{5.3 计算 A 的转置乘 A 并检查对称性}
\addcontentsline{toc}{subsection}{5.3 计算 A 的转置乘 A 并检查对称性}
\blocklabel{适用}要计算列向量之间的内积，或构造一个对称矩阵。

\blocklabel{步骤}$A^TA$ 的 $(i,j)$ 元是第 $i,j$ 列的内积；先算对角和上三角，再利用对称性补齐。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&1&0\\2&0&1\\0&1&2\end{bmatrix}.
\]

例如 $g_{11}=1^2+2^2+0^2=5$，$g_{12}=1\times1+2\times0+0\times1=1$，$g_{23}=0+0+2=2$。
\[
A^TA=\begin{bmatrix}5&1&2\\1&2&2\\2&2&5\end{bmatrix}.
\]



\blocklabel{验算}结果与其转置相同；对角线是各列长度的平方，均非负。

\blocklabel{易错}$A^TA$ 与 $AA^T$ 通常不同；对非方阵，两者的阶数也可能不同。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{5.4 检验子空间并写成参数形式}
\addcontentsline{toc}{subsection}{5.4 检验子空间并写成参数形式}
\blocklabel{适用}集合由向量约束给出，需要判断是否为子空间。

\blocklabel{步骤}检查零向量、加法与数乘封闭性；齐次线性约束可以直接用其线性性质验证；再把受约束变量表示成自由参数。

\blocklabel{例题}考虑 $S=\{x\in\mathbb R^3:Ax=0\}$，其中
\[
A=\begin{bmatrix}1&1&1\\2&2&2\\3&3&3\end{bmatrix}.
\]

三个约束等价于 $x_1+x_2+x_3=0$。零向量满足约束；若 $Au=Av=0$，则 $A(\alpha u+\beta v)=0$，故 $S$ 是子空间。令 $x_2=s,x_3=t$：
\[
x=s\begin{bmatrix}-1\\1\\0\end{bmatrix}+t\begin{bmatrix}-1\\0\\1\end{bmatrix},\quad s,t\in\mathbb R.
\]

对比 $T=\{x:Ax=(1,2,3)^T\}$：零向量不满足，所以 $T$ 不是子空间。

\blocklabel{验算}参数式中任意向量都满足三行约束；$s=t=0$ 时得到零向量。

\blocklabel{易错}只检查加法不够；只要零向量不在集合内，就可直接否定。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 6：列空间与零空间}
\addcontentsline{toc}{section}{Lecture 6：列空间与零空间}
\markboth{Lecture 6}{}
列空间回答“哪些右端项能够求解”，零空间回答“哪些输入会得到零”。本讲先用直接关系计算，第 7 讲再系统构造特殊解。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{6.1 判断向量是否属于列空间}
\addcontentsline{toc}{subsection}{6.1 判断向量是否属于列空间}
\blocklabel{适用}给定 $b$，判断它是否可写成 $A$ 的列向量的线性组合。

\blocklabel{步骤}解 $Ax=b$；存在解就属于 $C(A)$。有明显的行关系时，可以先写出右端项必须满足的条件。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&1\\0&1&1\\1&1&2\end{bmatrix},\quad b=\begin{bmatrix}2\\3\\5\end{bmatrix}.
\]

第三行是前两行之和，故可解条件为 $b_3=b_1+b_2$。本题 $5=2+3$，并且
\[
A\begin{bmatrix}2\\3\\0\end{bmatrix}=\begin{bmatrix}2\\3\\5\end{bmatrix}.
\]

所以 $b\in C(A)$。相反，$c=(2,3,6)^T$ 不满足该关系，故 $c\notin C(A)$。

\blocklabel{验算}直接求出组合 $b=2a_1+3a_2$，不只停留在条件判断。

\blocklabel{易错}属于列空间只要求存在一个解，不要求解唯一。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{6.2 利用主元列计算列空间的基}
\addcontentsline{toc}{subsection}{6.2 利用主元列计算列空间的基}
\blocklabel{适用}需要从原矩阵的列中选出独立生成向量。

\blocklabel{步骤}对 $A$ 行化简；记录主元所在列号；回到原矩阵取对应列。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&0&3\\0&0&1&1\\2&4&1&7\end{bmatrix}\longrightarrow R=\begin{bmatrix}1&2&0&3\\0&0&1&1\\0&0&0&0\end{bmatrix}.
\]

主元在第 1、3 列，因此
\[
\mathcal B_{C(A)}=\left\{\begin{bmatrix}1\\0\\2\end{bmatrix},\;\begin{bmatrix}0\\1\\1\end{bmatrix}\right\},\qquad \dim C(A)=2.
\]

原矩阵另外两列满足 $a_2=2a_1$、$a_4=3a_1+a_3$，所以两列已能生成全部列。

\blocklabel{验算}所选两列线性无关，且每个未选列均可由它们组合得到。

\blocklabel{易错}行变换一般改变列空间；$R$ 的主元列只提供列号，不能直接替代 $A$ 的列。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{6.3 由阶梯方程直接读出零空间}
\addcontentsline{toc}{subsection}{6.3 由阶梯方程直接读出零空间}
\blocklabel{适用}矩阵已是简单阶梯形，未知量之间的关系容易回代。

\blocklabel{步骤}令无主元列对应变量为参数；由下往上表示主元变量；把参数提取到向量前。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&-1\\0&1&3\\0&0&0\end{bmatrix},\quad Ax=0.
\]

第二行给 $x_2=-3x_3$，第一行给 $x_1=-2x_2+x_3=7x_3$。令 $x_3=t$：
\[
x=t\begin{bmatrix}7\\-3\\1\end{bmatrix},\quad N(A)=\operatorname{span}\left\{\begin{bmatrix}7\\-3\\1\end{bmatrix}\right\}.
\]

零空间位于 $\mathbb R^3$，维数为 1。

\blocklabel{验算}$A(7,-3,1)^T=0$。

\blocklabel{易错}零空间一定包含零向量；参数取零不能被排除。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 7：求解 Ax = 0：主元变量与特殊解}
\addcontentsline{toc}{section}{Lecture 7：求解 Ax = 0：主元变量与特殊解}
\markboth{Lecture 7}{}
每个自由变量对应一个特殊解。把特殊解放成列，就得到零空间的一组基。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{7.1 行最简形与特殊解}
\addcontentsline{toc}{subsection}{7.1 行最简形与特殊解}
\blocklabel{适用}一般齐次方程组，需要系统求出全部解。

\blocklabel{步骤}化为 $R$；找自由变量；每次只令一个自由变量为 1，其余为 0，再求主元变量。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&1&0\\2&4&3&1\\1&2&2&1\end{bmatrix}\longrightarrow R=\begin{bmatrix}1&2&0&-1\\0&0&1&1\\0&0&0&0\end{bmatrix}.
\]

可先做 $R_2\leftarrow R_2-2R_1$、$R_3\leftarrow R_3-R_1$，再消去重复行和主元上方元素。主元变量为 $x_1,x_3$，自由变量为 $x_2,x_4$。

令 $(x_2,x_4)=(1,0)$ 和 $(0,1)$，分别得到
\[
s_1=\begin{bmatrix}-2\\1\\0\\0\end{bmatrix},\quad s_2=\begin{bmatrix}1\\0\\-1\\1\end{bmatrix}.
\]


\[
x=c_1s_1+c_2s_2,\qquad c_1,c_2\in\mathbb R.
\]



\blocklabel{验算}$As_1=As_2=0$，两特殊解的自由分量构成 $2\times2$ 单位阵，所以线性无关。

\blocklabel{易错}特殊解是齐次解的基向量，不是非齐次方程的特解。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{7.2 从标准分块形式直接构造零空间矩阵}
\addcontentsline{toc}{subsection}{7.2 从标准分块形式直接构造零空间矩阵}
\blocklabel{适用}主元列已排在前面，行最简形的非零部分为 $[I\ F]$。

\blocklabel{步骤}由 $x_p+Fx_f=0$ 得 $x_p=-Fx_f$；因此全部解为 $x=Nx_f$，其中 $N=\binom{-F}{I}$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&2&-1\\0&1&-1&3\\1&1&1&2\end{bmatrix}\longrightarrow R=\begin{bmatrix}1&0&2&-1\\0&1&-1&3\\0&0&0&0\end{bmatrix}.
\]

前两列为主元列，后两列为自由列。取 $F$ 为前两行后两列：
\[
F=\begin{bmatrix}2&-1\\-1&3\end{bmatrix},\quad N=\begin{bmatrix}-2&1\\1&-3\\1&0\\0&1\end{bmatrix}.
\]


\[
x=N\begin{bmatrix}s\\t\end{bmatrix},\qquad s,t\in\mathbb R.
\]

矩阵 $N$ 的两列就是零空间基。这里出现的 $2\times2$ 块只是原矩阵计算中的分块。

\blocklabel{验算}$AN=0$；$N$ 的最后两行是单位阵，保证两个基向量独立。

\blocklabel{易错}只有在主元变量和自由变量按对应顺序排列后，才能直接套用这个分块表达式。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{7.3 主元列不连续时还原变量顺序}
\addcontentsline{toc}{subsection}{7.3 主元列不连续时还原变量顺序}
\blocklabel{适用}自由列与主元列交错，或第一列本身就是自由列。

\blocklabel{步骤}按原列号标记变量；直接逐个设置自由变量；最终向量仍按 $x_1,x_2,\ldots$ 排列。若先交换列，最后必须逆置换。

\blocklabel{例题}
\[
A=\begin{bmatrix}0&1&2&3\\0&2&4&6\\0&1&3&4\end{bmatrix}\longrightarrow R=\begin{bmatrix}0&1&0&1\\0&0&1&1\\0&0&0&0\end{bmatrix}.
\]

主元列为第 2、3 列，自由变量是 $x_1,x_4$；方程为 $x_2+x_4=0$、$x_3+x_4=0$。因此
\[
x=s\begin{bmatrix}1\\0\\0\\0\end{bmatrix}+t\begin{bmatrix}0\\-1\\-1\\1\end{bmatrix},\quad s,t\in\mathbb R.
\]



\blocklabel{验算}将两个向量分别代入 $A$，结果均为零。第一列全零，所以 $(1,0,0,0)^T$ 必在零空间中。

\blocklabel{易错}不能见到两个主元就默认 $x_1,x_2$ 为主元变量；应看实际列号。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 8：求解 Ax = b：行最简形}
\addcontentsline{toc}{section}{Lecture 8：求解 Ax = b：行最简形}
\markboth{Lecture 8}{}
非齐次方程先判断是否相容，再求一个特解，最后加上全部齐次解。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{8.1 对含参数右端项求相容条件}
\addcontentsline{toc}{subsection}{8.1 对含参数右端项求相容条件}
\blocklabel{适用}系数矩阵固定，右端项含一个或多个参数。

\blocklabel{步骤}对系数部分消元；同样操作作用于右端；每个零系数行对应一个必须为零的线性表达式。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&1&0\\0&1&2\\1&2&2\end{bmatrix},\quad b=\begin{bmatrix}b_{1}\\b_{2}\\b_{3}\end{bmatrix}.
\]

做 $R_3\leftarrow R_3-R_1-R_2$：
\[
\begin{bmatrix}1&1&0&b_{1}\\0&1&2&b_{2}\\0&0&0&- b_{1} - b_{2} + b_{3}\end{bmatrix}.
\]

所以相容条件为
\[
b_3=b_1+b_2.
\]

相容时令 $x_3=t$，由第二行得 $x_2=b_2-2t$，再由第一行得 $x_1=b_1-b_2+2t$。

\blocklabel{验算}代入第三行得到 $x_1+2x_2+2x_3=b_1+b_2$，与相容条件一致。

\blocklabel{易错}相容条件来自零系数行的右端，不是要求右端项的每个分量都为零。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{8.2 特解加齐次解：写出全部非齐次解}
\addcontentsline{toc}{subsection}{8.2 特解加齐次解：写出全部非齐次解}
\blocklabel{适用}方程组相容，并存在自由变量。

\blocklabel{步骤}对 $[A\mid b]$ 化简；先令自由变量为零求 $x_p$；再求 $Ax_n=0$ 的特殊解；相加。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&1&1&0\\0&1&2&1\\1&2&3&1\end{bmatrix},\quad b=\begin{bmatrix}1\\-1\\0\end{bmatrix}.
\]

做 $R_3\leftarrow R_3-R_1-R_2$、$R_1\leftarrow R_1-R_2$，得到
\[
[R\mid d]=\begin{bmatrix}1&0&-1&-1&2\\0&1&2&1&-1\\0&0&0&0&0\end{bmatrix}.
\]

自由变量为 $x_3,x_4$。令二者为零得 $x_p=(2,-1,0,0)^T$；再分别令自由变量为 $(1,0)$、$(0,1)$，得到
\[
s_1=\begin{bmatrix}1\\-2\\1\\0\end{bmatrix},\quad s_2=\begin{bmatrix}1\\-1\\0\\1\end{bmatrix}.
\]


\[
x=\begin{bmatrix}2\\-1\\0\\0\end{bmatrix}+s\begin{bmatrix}1\\-2\\1\\0\end{bmatrix}+t\begin{bmatrix}1\\-1\\0\\1\end{bmatrix},\qquad s,t\in\mathbb R.
\]



\blocklabel{验算}$Ax_p=b$、$As_1=As_2=0$，所以任意参数都给出同一右端项。

\blocklabel{易错}特解只需要找一个；齐次部分必须包含全部自由方向。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{8.3 用秩分类解的数量}
\addcontentsline{toc}{subsection}{8.3 用秩分类解的数量}
\blocklabel{适用}已经得到阶梯形，需要快速确定解的类型。

\blocklabel{步骤}先比较 $r=\operatorname{rank}(A)$ 和 $\operatorname{rank}([A\mid b])$；不等则无解，相等则有解。相容时，$r=n$ 为唯一解，$r<n$ 为无穷多解。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&2\\0&1&-1\\2&1&3\end{bmatrix},\quad b=\begin{bmatrix}1\\2\\4\end{bmatrix},\quad c=\begin{bmatrix}1\\2\\5\end{bmatrix}.
\]

对 $A$ 做 $R_3\leftarrow R_3-2R_1-R_2$ 得零行。$b_3=2b_1+b_2$，故两个秩均为 2，有一个自由变量；对 $c$，相同行操作的右端为 $1$，故增广矩阵秩为 3，无解。

再看唯一解的例子：
\[
B=\begin{bmatrix}1&1&0\\0&1&2\\1&0&1\end{bmatrix},\quad d=\begin{bmatrix}3\\0\\2\end{bmatrix}.
\]

做 $R_3\leftarrow R_3-R_1$、$R_3\leftarrow R_3+R_2$，第三个主元为 $3$，所以两个秩均为 3，唯一解为
\[
x=\begin{bmatrix}\frac{7}{3}\\\frac{2}{3}\\- \frac{1}{3}\end{bmatrix}.
\]



\blocklabel{验算}对相容系统，自由变量数一律为 $n-r$；唯一解代回 $Bx=d$。

\blocklabel{易错}未知量数量 $n$ 是列数；不要拿方程数量 $m$ 与秩比较来判断唯一性。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 9：线性无关、基与维数}
\addcontentsline{toc}{section}{Lecture 9：线性无关、基与维数}
\markboth{Lecture 9}{}
把向量并成矩阵后，主元列决定哪些向量独立；参数表示决定子空间需要多少个独立方向。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{9.1 用齐次方程判断线性无关}
\addcontentsline{toc}{subsection}{9.1 用齐次方程判断线性无关}
\blocklabel{适用}给定向量组，需要判断能否非平凡地组合成零。

\blocklabel{步骤}将向量作为列组成 $A$；求 $Ac=0$。只有零解则独立，有非零解则相关，并可读出关系式。

\blocklabel{例题}
\[
A=[v_1\ v_2\ v_3]=\begin{bmatrix}1&0&1\\1&1&2\\0&1&1\end{bmatrix}\longrightarrow R=\begin{bmatrix}1&0&1\\0&1&1\\0&0&0\end{bmatrix}.
\]

令 $c_3=t$，得到 $c_1=c_2=-t$。取 $t=1$ 得
\[
-v_1-v_2+v_3=0.
\]

所以三个向量线性相关，其中 $v_3=v_1+v_2$。

\blocklabel{验算}直接按坐标相加可验证；矩阵只有两个主元。

\blocklabel{易错}一个非零向量本身独立，但多个非零向量仍可能线性相关。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{9.2 从生成向量中筛选一组基}
\addcontentsline{toc}{subsection}{9.2 从生成向量中筛选一组基}
\blocklabel{适用}已知某子空间由若干向量生成，需要去掉冗余。

\blocklabel{步骤}将生成向量并为矩阵；行化简；取原矩阵的主元列；主元数就是维数。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&0&1\\1&2&1&2\\1&2&2&3\end{bmatrix}\longrightarrow R=\begin{bmatrix}1&2&0&1\\0&0&1&1\\0&0&0&0\end{bmatrix}.
\]

主元列为第 1、3 列，所以
\[
\mathcal B=\left\{\begin{bmatrix}1\\1\\1\end{bmatrix},\;\begin{bmatrix}0\\1\\2\end{bmatrix}\right\},\quad \dim\operatorname{span}(v_1,v_2,v_3,v_4)=2.
\]

剩余列满足 $v_2=2v_1$、$v_4=v_1+v_3$，可以删去。

\blocklabel{验算}保留列独立，删去列仍能由保留列生成，两个条件都满足。

\blocklabel{易错}基必须既独立又能生成；不能仅凭向量数量判断是否为基。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{9.3 从线性约束计算子空间的基和维数}
\addcontentsline{toc}{subsection}{9.3 从线性约束计算子空间的基和维数}
\blocklabel{适用}子空间以满足一组齐次方程的向量集合给出。

\blocklabel{步骤}把约束写为 $Ax=0$；消元识别独立约束；参数化并提取参数向量；参数向量独立时就是基。

\blocklabel{例题}求 $S=\{x\in\mathbb R^4:Ax=0\}$ 的基，其中
\[
A=\begin{bmatrix}1&1&0&1\\0&1&1&0\\1&2&1&1\end{bmatrix},\quad R=\begin{bmatrix}1&0&-1&1\\0&1&1&0\\0&0&0&0\end{bmatrix}.
\]

约束为 $x_1-x_3+x_4=0$、$x_2+x_3=0$。令 $x_3=s,x_4=t$：
\[
x=s\begin{bmatrix}1\\-1\\1\\0\end{bmatrix}+t\begin{bmatrix}-1\\0\\0\\1\end{bmatrix}.
\]

所以这两个参数向量构成 $S$ 的一组基，$\dim S=4-2=2$。

\blocklabel{验算}两个向量分别满足原来的三条约束；它们的自由分量独立。

\blocklabel{易错}第三条约束若由前两条相加得到，就不能再多减一次维数。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{9.4 把独立向量补成整个空间的一组基}
\addcontentsline{toc}{subsection}{9.4 把独立向量补成整个空间的一组基}
\blocklabel{适用}已知几个独立向量，需要补成整个空间的一组基。

\blocklabel{步骤}依次尝试加入标准基向量；只保留能增加秩的列；达到所在空间的维数时停止。

\blocklabel{例题}已知 $v_1=(1,1,0)^T$、$v_2=(1,0,1)^T$。尝试加入 $e_1=(1,0,0)^T$，构成主体矩阵
\[
B=[v_1\ v_2\ e_1]=\begin{bmatrix}1&1&1\\1&0&0\\0&1&0\end{bmatrix}.
\]

做 $R_2\leftarrow R_2-R_1$、$R_3\leftarrow R_3+R_2$，主元依次为 $1,-1,-1$。因此 $\{v_1,v_2,e_1\}$ 是 $\mathbb R^3$ 的一组基。

\blocklabel{验算}三个主元说明三列独立；三个独立方向已经生成 $\mathbb R^3$。

\blocklabel{易错}不能任意添加一个向量就认为能补全基；添加后秩必须增加。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{9.5 求向量在给定基下的表示系数}
\addcontentsline{toc}{subsection}{9.5 求向量在给定基下的表示系数}
\blocklabel{适用}基向量已给定，需要知道某个向量由它们怎样组合。

\blocklabel{步骤}按指定顺序将基向量排成列矩阵 $B$；解 $Bc=v$；系数列 $c$ 就是该基下的坐标。

\blocklabel{例题}
\[
B=[v_1\ v_2\ v_3]=\begin{bmatrix}1&1&0\\0&1&1\\1&0&2\end{bmatrix},\quad v=\begin{bmatrix}1\\2\\8\end{bmatrix}.
\]

方程为 $c_1+c_2=1$、$c_2+c_3=2$、$c_1+2c_3=8$。用前两式消去 $c_1,c_3$，第三式变为 $5-3c_2=8$，因此
\[
[v]_{\mathcal B}=c=\begin{bmatrix}2\\-1\\3\end{bmatrix}.
\]



\blocklabel{验算}$2v_1-v_2+3v_3=v$。

\blocklabel{易错}基向量顺序改变，坐标分量的顺序也会改变；$v$ 的标准坐标通常不同于 $[v]_{\mathcal B}$。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 10：四个基本子空间}
\addcontentsline{toc}{section}{Lecture 10：四个基本子空间}
\markboth{Lecture 10}{}
对 m×n 矩阵，列空间与左零空间在实 m 维空间中，行空间与零空间在实 n 维空间中。四种基本计算各用独立例题。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{10.1 计算列空间 C(A)}
\addcontentsline{toc}{subsection}{10.1 计算列空间 C(A)}
\blocklabel{适用}求输出方向构成的空间及其维数。

\blocklabel{步骤}消元记录主元列号；取原矩阵对应列；维数等于秩。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&1&2\\0&1&1\\1&2&3\\2&1&3\end{bmatrix}\longrightarrow R=\begin{bmatrix}1&0&1\\0&1&1\\0&0&0\\0&0&0\end{bmatrix}.
\]

第 1、2 列为主元列，所以
\[
\mathcal B_{C(A)}=\left\{\begin{bmatrix}1\\0\\1\\2\end{bmatrix},\;\begin{bmatrix}1\\1\\2\\1\end{bmatrix}\right\},\quad \dim C(A)=2.
\]

这些基向量有四个分量，因此 $C(A)\subseteq\mathbb R^4$；第三列为前两列之和。

\blocklabel{验算}两列独立并生成全部三列；$r=2$。

\blocklabel{易错}不要把列数 3 当作列空间所在空间的维数；每列的分量数才决定所在空间。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{10.2 计算行空间 C(A 的转置)}
\addcontentsline{toc}{subsection}{10.2 计算行空间 C(A 的转置)}
\blocklabel{适用}求所有行向量生成的空间。

\blocklabel{步骤}对 $A$ 行化简；取行最简形的所有非零行；若统一写列向量，就把这些行转置。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&2&1&0\\0&1&1&1\\1&3&2&1\end{bmatrix}\longrightarrow R=\begin{bmatrix}1&0&-1&-2\\0&1&1&1\\0&0&0&0\end{bmatrix}.
\]


\[
\mathcal B_{C(A^T)}=\left\{\begin{bmatrix}1\\0\\-1\\-2\end{bmatrix},\;\begin{bmatrix}0\\1\\1\\1\end{bmatrix}\right\},\quad \dim C(A^T)=2.
\]

每个基向量有四个分量，因此行空间在 $\mathbb R^4$ 中。行变换只做可逆行组合，行空间保持不变。

\blocklabel{验算}原第一行等于 $R$ 的第一行加两倍第二行；原第二行就是 $R$ 的第二行；第三行是原前两行之和。

\blocklabel{易错}行空间可以取 $R$ 的非零行；这条规则不能套用到列空间。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{10.3 计算零空间 N(A)}
\addcontentsline{toc}{subsection}{10.3 计算零空间 N(A)}
\blocklabel{适用}求所有使 $Ax=0$ 的输入向量。

\blocklabel{步骤}求 $R$；为每个自由变量构造一个特殊解；特殊解组成零空间基，维数为 $n-r$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&-1&2&0\\0&1&1&2\\1&0&3&2\end{bmatrix}\longrightarrow R=\begin{bmatrix}1&0&3&2\\0&1&1&2\\0&0&0&0\end{bmatrix}.
\]

由 $x_1+3x_3+2x_4=0$、$x_2+x_3+2x_4=0$ 得
\[
\mathcal B_{N(A)}=\left\{\begin{bmatrix}-3\\-1\\1\\0\end{bmatrix},\;\begin{bmatrix}-2\\-2\\0\\1\end{bmatrix}\right\},\quad \dim N(A)=4-2=2.
\]

零空间在 $\mathbb R^4$ 中，因为输入有四个分量。

\blocklabel{验算}两个基向量分别满足 $Av=0$；自由分量分别是 $(1,0)$ 与 $(0,1)$。

\blocklabel{易错}$N(A)$ 中向量的分量数是列数；不是零行的数量。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{10.4 转置后求左零空间 N(A 的转置)}
\addcontentsline{toc}{subsection}{10.4 转置后求左零空间 N(A 的转置)}
\blocklabel{适用}求所有满足 $y^TA=0$ 的行关系，统一把 $y$ 写成列向量。

\blocklabel{步骤}先转置；对 $A^Ty=0$ 构造特殊解；所得基向量位于 $\mathbb R^m$，维数为 $m-r$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&1\\0&1&2\\1&1&3\\2&-1&0\end{bmatrix},\quad \operatorname{rref}(A^T)=\begin{bmatrix}1&0&1&2\\0&1&1&-1\\0&0&0&0\end{bmatrix}.
\]

自由变量是 $y_3,y_4$。分别取 $(1,0)$、$(0,1)$：
\[
\mathcal B_{N(A^T)}=\left\{\begin{bmatrix}-1\\-1\\1\\0\end{bmatrix},\;\begin{bmatrix}-2\\1\\0\\1\end{bmatrix}\right\},\quad \dim N(A^T)=4-2=2.
\]

第一个基向量表示原矩阵第 3 行等于前两行之和；第二个表示第 4 行等于第 1 行的两倍减第 2 行。

\blocklabel{验算}分别计算 $A^Ty=0$，等价地验证各行的加权和为零。

\blocklabel{易错}左零空间不是 $N(A)$；应先转置，未知量个数随之变为行数。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{10.5 累计行变换直接提取左零空间}
\addcontentsline{toc}{subsection}{10.5 累计行变换直接提取左零空间}
\blocklabel{适用}已经对 $A$ 消元，希望同时记录零行来自哪些原始行。

\blocklabel{步骤}对 $[A\mid I_m]$ 同步做行变换，得到 $[R\mid E]$；$R$ 中每个零行对应的 $E$ 行转置后，就是左零空间基。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&1&0\\0&1&2\\1&3&4\end{bmatrix}.
\]

做 $R_3\leftarrow R_3-R_1$、$R_3\leftarrow R_3-2R_2$，最后做 $R_1\leftarrow R_1-R_2$：
\[
[A\mid I]\longrightarrow[R\mid E]=\begin{bmatrix}1&0&-2&1&-1&0\\0&1&2&0&1&0\\0&0&0&-1&-2&1\end{bmatrix}.
\]

第三行左侧为零，取右侧第三行的转置：
\[
y=\begin{bmatrix}-1\\-2\\1\end{bmatrix},\quad N(A^T)=\operatorname{span}\left\{\begin{bmatrix}-1\\-2\\1\end{bmatrix}\right\}.
\]

本题 $m=n=3,r=2$，四个空间的维数依次为 $2,2,1,1$。

\blocklabel{验算}$EA=R$，且 $y^TA=0$；右侧来自可逆行操作，取出的零行关系相互独立。

\blocklabel{易错}只有把整个行变换同步作用于单位矩阵，右侧才能正确记录系数。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 11：把矩阵视为向量：矩阵子空间}
\addcontentsline{toc}{section}{Lecture 11：把矩阵视为向量：矩阵子空间}
\markboth{Lecture 11}{}
本讲仅保留矩阵子空间的基与维数。这里的“向量”是整个矩阵，线性组合仍按对应元素进行。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{11.1 参数化矩阵子空间并提取基}
\addcontentsline{toc}{subsection}{11.1 参数化矩阵子空间并提取基}
\blocklabel{适用}矩阵集合的各元素满足线性约束，或整个矩阵由若干参数描述。

\blocklabel{步骤}先用互相独立的参数表示所有元素；对每个参数提取一个系数矩阵；检查系数矩阵独立，数量就是维数。

\blocklabel{例题}求以下矩阵空间的基和维数：
\[
S=\left\{\begin{bmatrix}a&b&c\\b&a&0\\c&0&a\end{bmatrix}:a,b,c\in\mathbb R\right\}.
\]

逐参数拆开：
\[
X=a\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}+b\begin{bmatrix}0&1&0\\1&0&0\\0&0&0\end{bmatrix}+c\begin{bmatrix}0&0&1\\0&0&0\\1&0&0\end{bmatrix}.
\]

三块矩阵都属于 $S$，并生成任意 $X$。若 $\alpha B_1+\beta B_2+\gamma B_3=0$，依次看 $(1,1),(1,2),(1,3)$ 元，得到 $\alpha=\beta=\gamma=0$。因此 $\{B_1,B_2,B_3\}$ 是基，$\dim S=3$。

一般情况下，也可按固定顺序把每个 $3\times3$ 矩阵展开为九维列向量，然后用消元判断这些矩阵是否独立。

\blocklabel{验算}将任意参数代入拆分式可恢复原矩阵；三块系数矩阵没有非平凡零组合。

\blocklabel{易错}这里求的是矩阵空间的维数，不是某一个 $3\times3$ 矩阵的秩；两者不能混同。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 14：正交向量与正交子空间}
\addcontentsline{toc}{section}{Lecture 14：正交向量与正交子空间}
\markboth{Lecture 14}{}
从本讲继续使用 MIT 原讲次编号。正交计算的核心是内积为零；子空间问题只需检查一组生成向量。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{14.1 用内积判断向量是否正交}
\addcontentsline{toc}{subsection}{14.1 用内积判断向量是否正交}
\blocklabel{适用}判断实向量之间是否垂直。

\blocklabel{步骤}对应分量相乘再求和；内积为零则正交，长度不必为 1。

\blocklabel{例题}
\[
u=\begin{bmatrix}1\\2\\-1\end{bmatrix},\quad v=\begin{bmatrix}2\\-1\\0\end{bmatrix},\quad w=\begin{bmatrix}1\\0\\1\end{bmatrix}.
\]


\[
\begin{aligned}
u^Tv=1\times2+2\times(-1)+(-1)\times0=0, \\u^Tw=1\times1+2\times0+(-1)\times1=0, \\v^Tw=2\times1+(-1)\times0+0\times1=2.
\end{aligned}
\]

所以 $u\perp v$、$u\perp w$，但 $v,w$ 不正交。

\blocklabel{验算}内积对调次序不变；$u^Tu=6$，因此 $u$ 不是单位向量。

\blocklabel{易错}与同一个向量正交的两个向量，不一定彼此正交。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{14.2 用生成矩阵判断两个子空间正交}
\addcontentsline{toc}{subsection}{14.2 用生成矩阵判断两个子空间正交}
\blocklabel{适用}两个子空间各有一组生成向量；这些向量不必本身都是基。

\blocklabel{步骤}把生成向量分别排成列矩阵 $A,B$；计算 $A^TB$；整个乘积为零才表示每对方向都正交。

\blocklabel{例题}令 $U=C(A),V=C(B)$，其中
\[
A=\begin{bmatrix}1&0&1\\0&1&1\\1&0&1\\0&1&1\end{bmatrix},\quad B=\begin{bmatrix}1&0&1\\0&1&1\\-1&0&-1\\0&-1&-1\end{bmatrix}.
\]


\[
A^TB=\begin{bmatrix}0&0&0\\0&0&0\\0&0&0\end{bmatrix}.
\]

因此 $U\perp V$。本题两矩阵都秩为 2，且 $2+2=4$，所以进一步得到 $V=U^\perp$。

\blocklabel{验算}任取 $u=A\alpha,v=B\beta$，都有 $u^Tv=\alpha^TA^TB\beta=0$。

\blocklabel{易错}只检验一对向量不够；要断言互为正交补，还需维数相加等于环境维数。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{14.3 把求正交补转化为求零空间}
\addcontentsline{toc}{subsection}{14.3 把求正交补转化为求零空间}
\blocklabel{适用}已知子空间由若干向量生成，要找与其中所有向量都正交的方向。

\blocklabel{步骤}把生成向量放成列矩阵 $A$；解 $A^Ty=0$，即 $C(A)^\perp=N(A^T)$。

\blocklabel{例题}设 $S=C(A)$，其中
\[
A=\begin{bmatrix}1&0&1\\1&1&2\\0&1&1\\1&-1&0\end{bmatrix}.
\]


\[
\operatorname{rref}(A^T)=\begin{bmatrix}1&0&-1&2\\0&1&1&-1\\0&0&0&0\end{bmatrix}.
\]

令自由变量 $y_3=s,y_4=t$，得
\[
y=s\begin{bmatrix}1\\-1\\1\\0\end{bmatrix}+t\begin{bmatrix}-2\\1\\0\\1\end{bmatrix}.
\]

所以两参数向量构成 $S^\perp$ 的基，$\dim S^\perp=4-2=2$。

\blocklabel{验算}两基向量与 $A$ 的每一列内积均为零；维数之和为 4。

\blocklabel{易错}与列空间正交用 $A^T$；若求行空间的正交补，应解 $Ax=0$。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{14.4 验证四个子空间的正交关系并判断可解性}
\addcontentsline{toc}{subsection}{14.4 验证四个子空间的正交关系并判断可解性}
\blocklabel{适用}需要联系行空间、列空间和两个零空间，或检查 $Ax=b$ 是否相容。

\blocklabel{步骤}行空间的基与零空间基逐对内积；列空间基与左零空间基逐对内积。可解性要求 $b$ 与整个左零空间正交。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&2\\0&1&1\\1&1&3\end{bmatrix}.
\]


\[
\mathcal B_{C(A^T)}=\left\{\begin{bmatrix}1\\0\\2\end{bmatrix},\;\begin{bmatrix}0\\1\\1\end{bmatrix}\right\},\quad \mathcal B_{N(A)}=\left\{\begin{bmatrix}-2\\-1\\1\end{bmatrix}\right\}.
\]

零空间基与两行空间基的内积分别为 $-2+2=0$、$-1+1=0$，所以 $C(A^T)^\perp=N(A)$。再看
\[
\mathcal B_{C(A)}=\left\{\begin{bmatrix}1\\0\\1\end{bmatrix},\;\begin{bmatrix}0\\1\\1\end{bmatrix}\right\},\quad \mathcal B_{N(A^T)}=\left\{\begin{bmatrix}-1\\-1\\1\end{bmatrix}\right\}.
\]

左零空间基 $y=(-1,-1,1)^T$ 与两个列空间基内积都为零，且两个空间的维数为 $2$ 和 $1$，因此 $C(A)^\perp=N(A^T)$。

对 $b=(2,1,3)^T$，$y^Tb=-2-1+3=0$，所以有解，例如 $x=(2,1,0)^T$；对 $c=(2,1,4)^T$，$y^Tc=1\ne0$，所以无解。

\blocklabel{验算}两对空间的维数都加起来等于 3；直接检查 $Ax=b$。

\blocklabel{易错}左零空间维数大于 1 时，必须与其所有基向量正交，不能只查一个。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection
\section*{Lecture 15：投影到子空间}
\addcontentsline{toc}{section}{Lecture 15：投影到子空间}
\markboth{Lecture 15}{}
投影寻找子空间中离给定向量最近的点。计算完成后，最重要的检查是误差与目标子空间正交。

\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{15.1 投影到一条直线}
\addcontentsline{toc}{subsection}{15.1 投影到一条直线}
\blocklabel{适用}目标直线经过原点，方向向量 $a\ne0$。

\blocklabel{步骤}先求投影系数 $\hat x=(a^Tb)/(a^Ta)$；再求 $p=a\hat x$；最后求误差 $e=b-p$。

\blocklabel{例题}
\[
a=\begin{bmatrix}1\\2\\2\end{bmatrix},\quad b=\begin{bmatrix}3\\0\\3\end{bmatrix}.
\]


\[
\begin{aligned}
\hat x=\frac{a^Tb}{a^Ta}=\frac{3+0+6}{1+4+4}=1, \\p=a\hat x=\begin{bmatrix}1\\2\\2\end{bmatrix},\quad e=b-p=\begin{bmatrix}2\\-2\\1\end{bmatrix}.
\end{aligned}
\]

系数 $\hat x$ 是标量，投影 $p$ 与误差 $e$ 都是三维向量。

\blocklabel{验算}$a^Te=2-4+2=0$。任意直线上点 $ta$ 满足 $\|b-ta\|^2=\|e\|^2+\|p-ta\|^2$，故 $p$ 最近。

\blocklabel{易错}分母是 $a^Ta$，不是 $\|a\|$；目标直线若不经过原点，应先平移。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{15.2 投影到具有正交基的子空间}
\addcontentsline{toc}{subsection}{15.2 投影到具有正交基的子空间}
\blocklabel{适用}已知子空间的一组非零正交基；这些向量未必单位化。

\blocklabel{步骤}分别求每个基方向上的投影，再相加：$p=\sum_i u_i(u_i^Tb)/(u_i^Tu_i)$。

\blocklabel{例题}设 $S=C(A)$，其中
\[
A=\begin{bmatrix}1&1&2\\1&-1&0\\0&2&2\end{bmatrix},\quad b=\begin{bmatrix}2\\0\\3\end{bmatrix}.
\]

第三列是前两列之和，前两列 $u=(1,1,0)^T$、$v=(1,-1,2)^T$ 是一组正交基，因为 $u^Tv=0$。分别计算
\[
\frac{u^Tb}{u^Tu}=\frac22=1,\qquad \frac{v^Tb}{v^Tv}=\frac86=\frac43.
\]


\[
p=u+\frac43v=\begin{bmatrix}\frac{7}{3}\\- \frac{1}{3}\\\frac{8}{3}\end{bmatrix},\quad e=b-p=\begin{bmatrix}- \frac{1}{3}\\\frac{1}{3}\\\frac{1}{3}\end{bmatrix}.
\]



\blocklabel{验算}$u^Te=0$、$v^Te=0$，所以误差与整个 $S$ 正交。

\blocklabel{易错}只能对一组正交基直接分方向相加；不能把生成矩阵中相关的第三列也再投影一次。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}
\phantomsection
\subsection*{15.3 通过正规方程投影到一般列空间}
\addcontentsline{toc}{subsection}{15.3 通过正规方程投影到一般列空间}
\blocklabel{适用}目标空间由满列秩矩阵 $A$ 的列生成，列向量不必正交。

\blocklabel{步骤}令 $p=A\hat x$；由误差正交 $A^T(b-A\hat x)=0$ 建立正规方程；解系数后回乘 $A$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\\1&1&1\end{bmatrix},\quad b=\begin{bmatrix}1\\2\\3\\2\end{bmatrix}.
\]

前面三行已保证三列独立。计算
\[
A^TA=\begin{bmatrix}2&1&1\\1&2&1\\1&1&2\end{bmatrix},\quad A^Tb=\begin{bmatrix}3\\4\\5\end{bmatrix}.
\]

正规方程为 $2\hat x_1+\hat x_2+\hat x_3=3$、$\hat x_1+2\hat x_2+\hat x_3=4$、$\hat x_1+\hat x_2+2\hat x_3=5$。令 $q=\hat x_1+\hat x_2+\hat x_3$，有 $\hat x_1+q=3$、$\hat x_2+q=4$、$\hat x_3+q=5$；相加得到 $4q=12$。于是
\[
\hat x=\begin{bmatrix}0\\1\\2\end{bmatrix},\quad p=A\hat x=\begin{bmatrix}0\\1\\2\\3\end{bmatrix},\quad e=b-p=\begin{bmatrix}1\\1\\1\\-1\end{bmatrix}.
\]

本例 $\hat x\in\mathbb R^3$，而 $p,e\in\mathbb R^4$，两种对象的维数不同。

\blocklabel{验算}$A^Te=0$；误差不为零，说明 $b$ 不在列空间。$A^TA$ 可逆来自列满秩。

\blocklabel{易错}不要把正规方程写成 $AA^T\hat x=Ab$；实际计算优先解方程，不必显式求逆。

\end{minipage}\par\vspace{8pt}
\clearpage
\phantomsection\section*{Lecture 16：投影矩阵与最小二乘}\addcontentsline{toc}{section}{Lecture 16：投影矩阵与最小二乘}\markboth{Lecture 16}{}
本讲将投影写成矩阵，并用正规方程计算最小二乘解及直线拟合。
\par\noindent\begin{minipage}{\linewidth}\phantomsection\subsection*{16.1 计算向一条直线投影的矩阵}\addcontentsline{toc}{subsection}{16.1 计算向一条直线投影的矩阵}
\blocklabel{适用}目标直线是 $\operatorname{span}\{a\}$，其中 $a\ne0$。

\blocklabel{步骤}先计算外积 $aa^T$ 和标量 $a^Ta$；求 $P=aa^T/(a^Ta)$；最后用 $p=Pb$ 得到投影。

\blocklabel{例题}
\[
a=\begin{bmatrix}1\\2\\1\end{bmatrix},\quad b=\begin{bmatrix}2\\1\\3\end{bmatrix}.
\]

计算 $a^Ta=6$，因此
\[
P=\begin{bmatrix}\frac{1}{6}&\frac{1}{3}&\frac{1}{6}\\\frac{1}{3}&\frac{2}{3}&\frac{1}{3}\\\frac{1}{6}&\frac{1}{3}&\frac{1}{6}\end{bmatrix},\qquad p=Pb=\begin{bmatrix}\frac{7}{6}\\\frac{7}{3}\\\frac{7}{6}\end{bmatrix},\quad e=b-p=\begin{bmatrix}\frac{5}{6}\\- \frac{4}{3}\\\frac{11}{6}\end{bmatrix}.
\]

此处 $aa^T$ 是 $3\times3$ 矩阵，而 $a^Ta$ 是标量。

\blocklabel{验算}直接相乘有 $P^2=P$、$P^T=P$；且 $a^Te=0$。

\blocklabel{易错}不要把外积 $aa^T$ 与内积 $a^Ta$ 混淆；分母要求 $a\ne0$。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}\phantomsection\subsection*{16.2 计算向列空间投影的矩阵}\addcontentsline{toc}{subsection}{16.2 计算向列空间投影的矩阵}
\blocklabel{适用}$A$ 的列线性无关，需要把 $b$ 投影到 $C(A)$。

\blocklabel{步骤}计算 $A^TA$；求 $P=A(A^TA)^{-1}A^T$；计算 $p=Pb$、$e=b-p$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\\1&2&0\end{bmatrix},\quad b=\begin{bmatrix}1\\2\\3\\4\end{bmatrix}.
\]

前 3 行为单位矩阵，因此 $A$ 列满秩。计算
\[
A^TA=\begin{bmatrix}2&2&0\\2&5&0\\0&0&1\end{bmatrix},\qquad (A^TA)^{-1}=\begin{bmatrix}\frac{5}{6}&- \frac{1}{3}&0\\- \frac{1}{3}&\frac{1}{3}&0\\0&0&1\end{bmatrix}.
\]


\[
P=\begin{bmatrix}\frac{5}{6}&- \frac{1}{3}&0&\frac{1}{6}\\- \frac{1}{3}&\frac{1}{3}&0&\frac{1}{3}\\0&0&1&0\\\frac{1}{6}&\frac{1}{3}&0&\frac{5}{6}\end{bmatrix}.
\]

因为 $A$ 是 $4\times3$，$P$ 是 $4\times4$。再计算
\[
p=Pb=\begin{bmatrix}\frac{5}{6}\\\frac{5}{3}\\3\\\frac{25}{6}\end{bmatrix},\qquad e=b-p=\begin{bmatrix}\frac{1}{6}\\\frac{1}{3}\\0\\- \frac{1}{6}\end{bmatrix}.
\]



\blocklabel{验算}$P^T=P$、$P^2=P$；代入计算得 $A^Te=0$。

\blocklabel{易错}必须先确认列满秩；否则 $A^TA$ 不可逆，不能直接套用这个逆矩阵公式。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}\phantomsection\subsection*{16.3 计算向正交补的投影}\addcontentsline{toc}{subsection}{16.3 计算向正交补的投影}
\blocklabel{适用}已知向子空间 $S$ 正交投影的矩阵 $P$，要求向 $S^\perp$ 的投影。

\blocklabel{步骤}计算 $Q=I-P$；再求 $p=Pb$、$e=Qb$；检查 $b=p+e$。

\blocklabel{例题}
\[
P=\begin{bmatrix}\frac{2}{3}&\frac{1}{3}&- \frac{1}{3}\\\frac{1}{3}&\frac{2}{3}&\frac{1}{3}\\- \frac{1}{3}&\frac{1}{3}&\frac{2}{3}\end{bmatrix},\quad b=\begin{bmatrix}3\\0\\0\end{bmatrix}.
\]

因此
\[
Q=I-P=\begin{bmatrix}\frac{1}{3}&- \frac{1}{3}&\frac{1}{3}\\- \frac{1}{3}&\frac{1}{3}&- \frac{1}{3}\\\frac{1}{3}&- \frac{1}{3}&\frac{1}{3}\end{bmatrix},\quad p=Pb=\begin{bmatrix}2\\1\\-1\end{bmatrix},\quad e=Qb=\begin{bmatrix}1\\-1\\1\end{bmatrix}.
\]

例如取 $A=\begin{bmatrix}1&0&1\\1&1&2\\0&1&1\end{bmatrix}$，其列空间恰为 $S$，而 $S^\perp=\operatorname{span}\{(1,-1,1)^T\}$。

\blocklabel{验算}$p+e=b$，$Pe=0$、$Qp=0$，且 $p^Te=0$；$Q^2=Q$。

\blocklabel{易错}$I-P$ 投影到正交补，不是一般意义上的矩阵逆；投影矩阵通常不可逆。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}\phantomsection\subsection*{16.4 求不相容方程组的最小二乘解}\addcontentsline{toc}{subsection}{16.4 求不相容方程组的最小二乘解}
\blocklabel{适用}$Ax=b$ 无解，需要使 $\|Ax-b\|^2$ 最小；本题 $A$ 列满秩。

\blocklabel{步骤}求 $A^TA$ 与 $A^Tb$；解正规方程得到 $\hat x$；计算 $p=A\hat x$、$e=b-p$ 及 $\|e\|^2$。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\\1&-1&1\end{bmatrix},\quad b=\begin{bmatrix}2\\0\\1\\2\end{bmatrix}.
\]

原方程前三行要求 $x=(2,0,1)^T$，但第四行左端为 $3\ne2$，所以无解。
\[
A^TA=\begin{bmatrix}2&-1&1\\-1&2&-1\\1&-1&2\end{bmatrix},\quad A^Tb=\begin{bmatrix}4\\-2\\3\end{bmatrix}.
\]

对增广矩阵 $[A^TA\mid A^Tb]$ 做 $R_2\leftarrow R_2+\frac12R_1$、$R_3\leftarrow R_3-\frac12R_1$，再做 $R_3\leftarrow R_3+\frac13R_2$，可自下而上回代得到
\[
\hat x=\begin{bmatrix}\frac{7}{4}\\\frac{1}{4}\\\frac{3}{4}\end{bmatrix},\quad p=A\hat x=\begin{bmatrix}\frac{7}{4}\\\frac{1}{4}\\\frac{3}{4}\\\frac{9}{4}\end{bmatrix},\quad e=b-p=\begin{bmatrix}\frac{1}{4}\\- \frac{1}{4}\\\frac{1}{4}\\- \frac{1}{4}\end{bmatrix}.
\]


\[
\|e\|^2=\frac{1}{4}.
\]



\blocklabel{验算}$A^Te=0$；对任意 $x$，$\|b-Ax\|^2=\|e\|^2+\|A(\hat x-x)\|^2$，所以所得值最小。

\blocklabel{易错}$\hat x$ 是系数向量，不是投影 $p$；不要把正规方程的右端写成 $b$。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}\phantomsection\subsection*{16.5 用最小二乘拟合直线}\addcontentsline{toc}{subsection}{16.5 用最小二乘拟合直线}
\blocklabel{适用}给定数据 $(t_i,y_i)$，拟合直线 $y=C+Dt$，使纵向残差平方和最小。

\blocklabel{步骤}把数据写成 $A(C,D)^T\approx b$；解 $A^TA(C,D)^T=A^Tb$；计算拟合值和残差。

\blocklabel{例题}对数据点 $(0,1),(1,2),(2,2),(3,4)$，有
\[
A=\begin{bmatrix}1&0\\1&1\\1&2\\1&3\end{bmatrix},\quad b=\begin{bmatrix}1\\2\\2\\4\end{bmatrix},\quad A^TA=\begin{bmatrix}4&6\\6&14\end{bmatrix},\quad A^Tb=\begin{bmatrix}9\\18\end{bmatrix}.
\]

正规方程是 $4C+6D=9$、$6C+14D=18$；消去 $C$ 得 $5D=\frac92$，回代得到
\[
\begin{bmatrix}C\\D\end{bmatrix}=\begin{bmatrix}\frac{9}{10}\\\frac{9}{10}\end{bmatrix},\qquad \hat y=C+Dt=\frac{9}{10}+\frac{9}{10}t.
\]


\[
p=A\hat x=\begin{bmatrix}\frac{9}{10}\\\frac{9}{5}\\\frac{27}{10}\\\frac{18}{5}\end{bmatrix},\quad e=b-p=\begin{bmatrix}\frac{1}{10}\\\frac{1}{5}\\- \frac{7}{10}\\\frac{2}{5}\end{bmatrix},\quad \|e\|^2=\frac{7}{10}.
\]

每个残差是观测值减对应的拟合值。设计矩阵的两列分别对应截距和斜率。

\blocklabel{验算}$\sum_i e_i=0$、$\sum_i t_i e_i=0$，即 $A^Te=0$。

\blocklabel{易错}这里最小化纵向残差，而不是点到直线的垂直距离；只有模型含截距时才能据此保证残差之和为零。

\end{minipage}\par\vspace{8pt}
\par\noindent\begin{minipage}{\linewidth}\phantomsection\subsection*{16.6 从正交条件判断候选最小二乘解}\addcontentsline{toc}{subsection}{16.6 从正交条件判断候选最小二乘解}
\blocklabel{适用}给定一个候选向量，判断它是否使 $\|Ax-b\|^2$ 最小。

\blocklabel{步骤}先算残差 $e_0=b-Ax_0$；再算 $A^Te_0$。结果为零当且仅当候选解为最小二乘解。

\blocklabel{例题}
\[
A=\begin{bmatrix}1&0&1\\0&1&0\\1&0&0\\0&1&1\end{bmatrix},\quad b=\begin{bmatrix}2\\1\\0\\4\end{bmatrix},\quad x_0=\begin{bmatrix}1\\1\\0\end{bmatrix}.
\]


\[
e_0=b-Ax_0=\begin{bmatrix}1\\0\\-1\\3\end{bmatrix},\qquad A^Te_0=\begin{bmatrix}0\\3\\4\end{bmatrix}\ne0.
\]

所以 $x_0$ 不是最小二乘解。解正规方程得到
\[
\hat x=\begin{bmatrix}- \frac{1}{4}\\\frac{5}{4}\\\frac{5}{2}\end{bmatrix},\quad e=b-A\hat x=\begin{bmatrix}- \frac{1}{4}\\- \frac{1}{4}\\\frac{1}{4}\\\frac{1}{4}\end{bmatrix}.
\]



\blocklabel{验算}$A^Te=0$，故 $\hat x$ 最优；本题 $A$ 列满秩，所以最优系数唯一。由于 $e\ne0$，原方程组无精确解。

\blocklabel{易错}最小二乘解的残差未必为零；必须区分 $A^Te=0$ 与 $e=0$。

\end{minipage}\par\vspace{8pt}
\clearpage
\thispagestyle{empty}
\null\vfill
\begin{center}
{\fontsize{48}{54}\selectfont 18.06}\par
\vspace{10mm}
\rule{42mm}{0.45pt}\par
\vspace{8mm}
{\Large\kaishu 线性代数计算笔记}\par
\vspace{5mm}
{\songti 方程组\quad ·\quad 子空间\quad ·\quad 最小二乘}\par
\end{center}
\vfill
\begin{center}{\small Version 1.0\quad /\quad 2026.11.03}\end{center}
\vspace*{8mm}
\end{document}