第 6 章 解线性方程组的迭代法

1. 6.1 迭代法的基本概念 6.2 雅可比迭代法与高斯-塞德尔迭代法 6.3 超松弛迭代法 6.4 共轭梯度法 第6章 解线性方程组的迭代法

2. （1.1） 其中 为非奇异矩阵，当 为低阶稠密矩阵时，第5章所讨 论的选主元消去法是有效方法. 但对于 的阶数 很大，零元素较多的大型稀疏矩阵 方程组，例如求某些偏微分方程数值解所产生的线性方程 组来说，利用迭代法求解则更为合适. 迭代法通常都可利用 中有大量零元素的特点. 6.1迭代法的基本概念 6.1.1引言 考虑线性方程组

3. （1.2） 记为 , 方程组的精确解是 . 例1 求解方程组 其中 现将(1.2)改写为

4. （1.3） 或写为 , 其中

5. 任取初始值，例如取 . 再将 分量代入(1.3)式右边得到 ，反复利用这个计 算程序，得到一向量序列和一般的计算公式(迭代公式) （1.3） 将这些值代入(1.3) 式右边 (若(1.3)式为等式即求得方程组的解，但一般不满足). 得到新的值

6. （1.4） 其中 表示迭代次数 简写为 迭代到第10次有

7. 从此例看出，由迭代法产生的向量序列 逐步逼近 方程组的精确解 . 对于任何由 变形得到的等价方程组 ， 迭代法产生的向量序列 不一定都能逐步逼近方程组 的解 . 如对方程组

8. 又设 为任取的初始向量， 设有唯一解 ， 其中 表迭代次数. 对于给定方程组 ， （1.5） 构造迭代法 则对任何的初始向量，得到的序列都不收敛. 则 按下述公式构造向量序列 （1.6）

9. 研究 的收敛性. （1.5） （1.6） 得 ， 定义1 (1) 对于给定的方程组 ，用公式(1.6)逐步代入求近似解的方法称为迭代法(或称为一阶定常迭代法，这里 与 无关). (2) 如果 存在(记为 )，称此迭代法收敛， 显然 就是方程组的解，否则称此迭代法发散. 引进误差向量 由(1.6)减去(1.5)式，

10. 要考察 的收敛性, 就要研究 在什么条件下有 亦即要研究 满足什么条件时有 递推得

11. 6.1.2向量序列与矩阵序列的极限 定义2 设有向量序列 如果存在 ，使 则称向量序列 收敛于 ，记为 显然 其中 为任一种向量范数.

12. 记为 则称 收敛于 ， 定义3 设有矩阵序列 及 , 如果 个数列极限存在且有

13. 由于，当 时，有 且设 ，考查其极限. 例2 设有矩阵序列 解 所以

14. 矩阵序列极限概念可以用矩阵算子范数来描述. 定理1 其中‖·‖为矩阵的任意一种算子范数. 显然有 证明 再利用矩阵范数的等价性，可证定理对其他算子范数亦对.

15. 定理2 的充分必要条件是 （1.7） 其中两个极限右端分别指零矩阵与零向量. 证明 对任一种矩阵的从属范数有 若 ，则 ，故对一切 ，有 . 所以(1.7)成立. 反之，若(1.7)成立，取 为第 个坐标向量 ，则 表示 的第 列元素极限均为零，当 时就证明了

16. 证明 用反证法，假定 有一个特征值 ， 满足 ，则存在 ，使 ，由此可得 当 时 不收敛于零向量. 由定理2知（1）不成立，从而知 ，即（2）成立. 下面讨论一种与迭代法(1.6)有关的矩阵序列的收敛性， 这种序列由矩阵的幂构成，即 ，其中 定理3 设 ，则下面3个命题等价： （1） ；（2） ；（3）至少存在 一种从属的矩阵范数 ，使

17. 根据第5章定理18，对任意 ，存在一 种从属范数 ，使 ，由(2)有 ， 适当选择 ，可使 ，即（3）成立. 由(3)给出的矩阵范数 ，由于 可得 ，从而有

18. 定理4 设 为任一种矩阵范数，则 （1.8） 证明 由第5章定理18，对一切 有 另一方面对任意 ，记 显然有 .由定理3有 ，所以存在正整数 ，使当 时，

19. 即当 时有 由 任意性即得定理结论.

20. 其中， 为非奇异矩阵. 将 分裂为 （1.9） 其中， 为可选择的非奇异矩阵，且使 容易求解， 一般选择为 的某种近似，称 为分裂矩阵. 6.1.3迭代法及其收敛性 设有线性方程组

21. 选取 阵，就得到解 的各种迭代法. 于是，求解 转化为求解 ， 称 为迭代法的迭代矩阵. 即求解 也就是求解线性方程组 （1.10） 从而可构造一阶定常迭代法 （1.11） 其中

22. 定理5 给定线性方程组 及一阶定常迭代法 对任意选取初始向量 ，迭代法收敛的充要条件是矩阵 的谱半径 证明 充分性.设 ，易知 (其中 )有唯一解，记为 ，则 误差向量

23. 由设 ， 其中 有 ， 即 于是对任意 , 设对任意  有 （1.10） 应用定理3，有 必要性. 显然，极限 是方程组(1.10)的解，且对任意 有 由定理2知 再由定理3，即得

24. （1.4） （1.2） 例3 考察线性方程组（1.2） 给出的迭代法（1.4）的收敛性

25. 解 先求迭代矩阵 的特征值. 由特征方程 可得 解得 即 .所以用迭代法（1.4）解线性方程组（1.2）是收敛的.

26. 其中 特征方程为 即 . 例4 考察用迭代法解方程组 的收敛性， 特征根 解 这说明用迭代法解此方程组不收敛.

27. 如果有 的某种算子范数 ，则 定理5 (迭代法收敛的充分条件) 设有方程组 及一阶定常迭代法 (1) 迭代法收敛，即对任取 有

28.  (2) 由关系式 及 证明 (1) 由基本定理知，结论(1)是显然的. 有 反复利用(b)即得(2).

29. (3) 考查 即 (4) 反复利用(a), 则得到(4).

30. 定理6只给出迭代法（1.11）收敛的充分条件，即使条定理6只给出迭代法（1.11）收敛的充分条件，即使条 件 对任何常用范数均不成立，迭代序列仍可能收敛. 例5 迭代法 ,其中 显然 表明 的各种范数均大于1，但由于 ，故由此迭代法产生的迭代序列 是收敛的.

31. 下面考察迭代法（1.11）的收敛速度. 假定迭代法（1.11）是收敛的，即 ，由 ，得 于是 根据从属范数定义，有

32. 所以 是迭代 次后误差向量 的范数与初始误差向量 的范数之比的最大值. 这样迭代 次后，平均每次迭代误差向量范数的压缩率 可看成是 ，若要求迭代 次后有 其中 ，可取 . 因为 ，故 ，由 两边取对数 得

33. 即 （1.12） 它表明迭代次数 与 成反比. 定义4 迭代法（1.11）的平均收敛速度定义为 （1.13） 平均收敛速度 依赖于迭代次数及所取范数，计 算分析并不方便.

34. 由定理4可知 ，所以 定义5 迭代法(1.11)的渐近收敛速度定义为 （1.14） 与迭代次数及 取何种范数无关，它反映了迭代次数趋 于无穷时迭代法的渐近性质，当 越小时 越大， 迭代法收敛越快，可用 （1.15） 作为迭代法（1.11）所需的迭代次数的估计.

35. 例1中迭代法(1.4)的迭代矩阵 的谱半径 若要求 ，则由(1.13)知 于是有 即取 即可达到要求.

36. 6.2雅可比迭代法与高斯-塞尔迭代法

37. （2.1） 6.2.1雅可比迭代法 将线性方程组(1.1)中的系数矩阵 分成三部分

38. （2.2） 称 为解 的雅可比迭代法的迭代阵. 设 ，选取 为 的对角元素部分，即选取 (对角阵)， ，由(1.11)式得到解 的雅可比(Jacobi)迭代法 其中

39. 于是，解 的雅可比迭代法的分量计算公式为 （2.2） 研究雅可比迭代法(2.2)的分量计算公式. 记 由雅可比迭代公式(2.2), 有 或

40. （2.3） 由(2.3)式可知，雅可比迭代法计算公式简单，每迭代 一次只需计算一次矩阵和向量的乘法且计算过程中原始矩 阵 始终不变.

41. （2.4） 称 为解 的高斯-塞德尔迭代法的迭 代阵. 6.2.2高斯-塞德尔迭代法 选取分裂矩阵 为 的下三角部分，即选取 (下三角阵)， 于是由(1.11)式得到解 的高斯-塞德尔(Gauss-Seidel)迭代法 其中

42. （2.4） 研究高斯-塞德尔迭代法的分量计算公式. 记 由(2.4)式有 或 即

43. （2.5） 于是解 的高斯-塞德尔迭代法计算公式为 （2.6） 或

44. 雅可比迭代法不使用变量的最新信息计算 ，而 由高斯-塞德尔迭代公式(2.6)可知，计算 的第 个分 量 时，利用了已经计算出的最新分量 高斯-塞德尔迭代法可看作雅可比迭代法的一种改进. 由(2.6)可知，高斯-塞德尔迭代法每迭代一次只需计算 一次矩阵与向量的乘法.

45. 迭代一次，这个算法需要的运算次数至多与矩阵 的 非零元素的个数一样多. 算法1 (高斯-塞德尔迭代法) 设 ，其中 为非奇异矩阵且 本算法用高斯-塞德尔迭代法解 ， 数组 开始存放 ,后存放 为最大迭代次数.

46. （1.2） 取 ， 迭代7次，得 ， 例6 用高斯-塞德尔迭代法解线性方程组(1.2). 按高斯-塞德尔迭代公式

47. 由此例可知，用高斯-塞德尔迭代法，雅可比迭代法解由此例可知，用高斯-塞德尔迭代法，雅可比迭代法解 线性方程组(1.2)(且取 )均收敛. 而高斯-塞德尔迭代法比雅可比迭代法收敛较快(即取  相同，达到同样精度所需迭代次数较少). （1.2） 但这结论只当 满足一定条件时才是对的. 且

48. 其中 其中 6.2.3雅可比迭代与高斯-塞德尔迭代收敛性 定理7 设 ，其中 为非奇异矩 阵且 非奇异，则 (1) 解方程组的雅可比迭代法收敛的充要条件是 ， (2) 解方程组的高斯-塞德尔迭代法收敛的充要条件是 由定理6还可得到雅可比迭代法收敛的充要条件是 高斯-赛德尔迭代法收敛的充要条件是

49. (1) 如果 的元素满足 称 为严格对角占优阵. (2) 如果 的元素满足 称 为弱对角占优阵. 定义6 (对角占优阵)设 且上式至少有一个不等式严格成立，

50. （2.7） 其中 为 阶方阵， 为 阶方阵 ， 则称 为可约矩阵. 否则，如果不存在这样置换阵 使(2.7)式成立，则 称 为不可约矩阵. 定义7(可约与不可约矩阵) 设 , 如果存在置换阵 使