第三章 参数估计

1. 第三章 参数估计 【教学目的与要求】 通过本章的教学，使学生理解参数点估计和参数区间估计的方法；掌握对单个和两个正态总体的均值与方差进行区间估计的方法及步骤等。

2. 点估计 第一节 点估计优劣的评判标准 第三节 区间估计 第二节 第四节 单侧置信限 第三章 参数估计

3. 引言 上一章，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理。它们是进一步学习统计推断的基础。 总体 研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质 随机抽样 作出推断 样本 描述 统计量

4. 参数估计问题 现在我们来介绍一类重要的统计推断问题。 参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数. 估计新生儿的体重 估计废品率 估计降雨量 估计湖中鱼数 … …

5. 这里所指的参数是指如下三类未知参数： • 类型已知的分布中所含的未知参数。如二点分布b(1, p)中的概率p；正态分布 中的 和 ； • 分布中所含的未知参数 的函数：如正态分布 的变量X不超过给定值x 的概率 • 是未知参数 的函数； • 分布的各种特征数也都是未知参数，如均值EX，方差VarX，分布中位数等等。 一般场合，常用 表示参数，参数 所有可能取值的集合称为参数空间，记为 。参数估计问题就是根据样本对上述各种参数做出估计。 参数估计问题

6. 点估计 参数估计 区间估计 设 是来自总体的样本，我们用一个统计量 的取值作为 的估计值， 称为 的点估 计或估计量，简称估计。 若给出参数 的估计是一个随机区间 ，使这个 区间包含参数真值的概率大到一定程度，此时称 为 参数 的区间估计。 1、矩估计法 2、极大似然法 3、最小二乘法 4、贝叶斯方法 …… 寻求估计量的方法

7. 若总体 的数学期望 有限,则有 第一节 点估计 一、矩法估计 矩估计法是英国统计学家K.皮尔逊最早提出来的。

8. 一、矩法估计 1、矩法估计的思想 替换原理：用样本矩去替换总体矩（矩可以是原点矩也可以是中心矩）；用样本矩的函数去替换总体矩的函数。 用替换原理得到的未知参数的估计量称为矩法估计。 理论依据：大数定理； 注： 矩法估计适用于总体分布形式未知场合，因此只要知道总体相应的矩即可，而不必知道其具体分布。

9. 一、矩法估计 2、概率函数已知时未知参数的矩法估计

10. 2、概率函数已知时未知参数的矩法估计 因此矩估计不唯一，此时，尽量采用低阶矩给出未知参数的估计。

11. 2、概率函数已知时未知参数的矩法估计

12. 【例】设总体 X 的均值 和方差 都存在 , 未知 . 是来自 X的样本 , 试求 的矩估计量 . 解 解得 于是 的矩估计量为 2、概率函数已知时未知参数的矩法估计

13. 一、矩法估计 3、矩估计的步骤

14. 一、矩法估计 矩法的优点：简单易行，并不需要事先知道总体是什么分布 。 缺点：当总体类型已知时，没有充分利用分布提供的信息。 一般场合下，矩估计量不具有唯一性。 其主要原因在于建立矩法方程时，选取哪些总体矩用相应样本矩代替带有一定的随意性。

15. 二 一 三 二、极大似然估计 四 极大似然估计的思想 极大似然估计法 极大似然估计的渐近正态性

16. Gauss Fisher 二、极大似然估计 它是在总体类型已知条件下使用的一种参数估计方法。它首先是由德国数学家高斯在1821年提出的。然而，这个方法常归功于英国统计学家费歇 。费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质。

17. 1、极大似然估计的思想 先看一个简单例子：某位同学与一位猎人一起外出打猎。一只野兔从前方窜过，只听一声枪响，野兔应声倒下。如果要你推测，是谁打中的呢？你会如何想呢? 你就会想，只发一枪便打中, 猎人命中的概率一般大于这位同学命中的概率。看来这一枪是猎人射中的。 极大似然法的基本思想：实际推断原理

18. 1、极大似然估计的思想

19. 方法一：似然方程法 当 是可微函数时， 的极大值点一定是驻点，从而求极大似然估计往往借助于求下列似然方程（组） 的解得到，而后利用极大值点的条件验证求出的是极大值点。 2、极大似然估计法

20. (1) 由总体分布导出样本的联合分布率(或联合密度)； (2) 把样本联合分布率 ( 或联合密度 ) 中自变量看成 已知常数，而把参数 看作自变量,得到似然函数L( )； (3) 求似然函数L( )的极大值点(常常转化为求ln L( ) 的最大值点) ，即的MLE； (4) 在极大值点的表达式中, 用样本值代入就得参数的 最大似然估计值。 2、求极大似然估计法 求极大似然估计(MLE)的一般步骤是：

21. 2、求极大似然估计法

22. 2、求极大似然估计法 -------它与矩估计量是相同的。

23. 2、求极大似然估计法

24. 2、求极大似然估计法

25. 2、求极大似然估计法 方法二：定义法 虽然求导函数是求极大似然估计量最常用的方法，但并不是所有场合求导都是有效的。

26. 2、求极大似然估计法

27. 1、求似然函数L( )的最大值点，可以应用微积分中的技巧。由于ln(x)是x 的增函数, lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( )是 的一个可微函数。通过求解方程： 若 是向量，上述方程必须用方程组代替。 可以得到 的MLE。 2、求极大似然估计法 总结： 2、用上述求导方法求参数的MLE有时行不通，这时要用最大似然原则来求。

28. 3、极大似然估计的渐近正态性

29. 样本均值是否是 的一个好的估计量？ 样本方差是否是 的一个好的估计量？ 第二节 点估计优劣的评价标准 • 这就需要讨论以下几个问题: • 我们希望一个“好的”估计量具有什么特性？ • (2) 怎样决定一个估计量是否比另一个估计量“好”？ • (3) 如何求得合理的估计量？ 估计量的评选标准！

30. 二、有效性 一、无偏性 评价标准 四、相合性 三、均方误差准则 第二节 点估计优劣的评价标准 评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量。 这是因为估计量是样本的函数，是随机变量。 因此，由不同的观测结果，就会求得不同的参数估计值。因此一个好的估计，应在多次试验中体现出优良性。

31. 一、无偏性 估计量是随机变量，对于不同的样本值会得到不同的估计值。 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值。这就导致无偏性这个标准 . 无偏性的实际意义是指没有系统性的偏差！ 例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差。

32. 一、无偏性

33. 一、无偏性

34. 一、无偏性

35. 一个参数往往有不止一个无偏估计, 若 和 都是参数的无偏估计量，我们可以比较 和 的大小来决定二者谁更优。 二、有效性 由于 所以无偏估计以方差小者为好, 这就引进了有效性这一概念。

36. 二、有效性

37. 二、有效性

38. 三、均方误差准则

39. 三、均方误差准则 证明 略。

40. 四、相合性（一致性） • 相合性被认为是对估计的一个最基本要求，如果一个估计量在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计是很值得怀疑的，通常，不满足相合性要求的估计一般不予考虑； • 相合性是大样本所具有的性质； • 注： 证明估计的相合性一般可应用大数定律或直接用定义来证，有时借助于依概率收敛的性质。

41. 四、相合性（一致性）

42. 四、相合性（一致性） 证明 略。

43. 第三节 区间估计 前面，我们讨论了参数点估计，它是用样本算得的一个值去估计未知参数。但是，点估计值仅仅是未知参数的一个近似值，它没有反映出这个近似值的误差范围，使用起来把握不大。区间估计正好弥补了点估计的这个缺陷 。 区间估计要求根据样本给出未知参数的一个范围，并保证真参数以指定的较大概率属于这个范围。 一、置信区间与置信水平 二、枢轴量法 三、单个正态总体参数的置信区间 四、两个正态参数的置信区间 五、0-1总体参数的置信区间（比率p的置信区间）

44. 就餐人数的真值 [ ] 这里所说的“可靠程度”是用概率来度量的，称为置信度或置信水平。 习惯上把置信水平记作 ，这里 是一个很小的正数 第三节 区间估计 一、置信区间与置信水平 sample 譬如，在估计来食堂就餐的人数问题中，若我们根据一个实际样本，得到人数 N 的极大似然估计为200人，实际上，N的真值可能大于200人，也可能小于200人。若我们能给出一个区间，在此区间内我们合理地相信 N 的真值位于其中。这样对人数的估计就有把握多了。 也就是说，我们希望确定一个区间，使我们能以比较高的可靠程度相信它包含真参数值。

45. 置信区间 样本统计量 (点估计) 置信下限 置信上限 第三节 区间估计 一、置信区间与置信水平

46. 一、置信区间与置信水平 我们用95%的置信水平得到某班学生考试成绩的置信区间为60-80分，如何理解？ 错误的理解：60-80区间以95%的概率包含全班同学平均成绩的真值；或以95%的概率保证全班同学平均成绩的真值落在60-80分之间。 正确的理解：如果做了多次抽样（如100次），大概有95次找到的区间包含真值，有5次找到的区间不包括真值。 真值只有一个，一个特定的区间“总是包含”或“绝对不包含”该真值。但是，用概率可以知道在多次抽样得到的区间中大概有多少个区间包含了参数的真值。 如果大家还是不能理解，那你们最好这样回答有关区间估计的结果：该班同学平均成绩的置信区间是60-80分，置信度为95%。

47. 第三节 区间估计 二、枢轴量法 如何求未知参数的置信区间呢？ 下面通过一个例子阐述其方法。 【引例】设总体Ｘ～N(μ,σ2), σ2已知。X1,X2 ,…，Xn 是一个样本，对于给定的置信水平1-α,求μ的置信区间。 如σ2＝0.15,样本的一组观测值为3.1, 3.4, 2.7, 2.9, 3.3, 2.9, 3.0, 3.1, 2.8（n=9),取α＝0.05,求出置信区间。

48. 因 是μ的一个点估计,μ的区间估计应为在 附近的 的一个区间,如何得到这样的区间？ 自然回想到构造含有 和待估参数μ的样本函数，且其分布已知(应与μ无关)。取 对于给定的置信水平 ，通过式 确定U的范围，而由 确定μ的范围，即 从而有 二、枢轴量法 分析

49. 1、明确问题。是求什么参数的置信区间? 置信水平 是多少? 3、寻找一个待估参数 和估计量 的函数 且其分布为已知。 2、寻找参数 的一个良好的点估计 4、对于给定的置信水平 ，根据的分布，确定常数a, b，使得 5、对“ ”作等价变形,得到如下形式: 于是就得到 的 的置信区间。 回顾上例的求解过程，按如下思路完成

50. 第一步，选取统计量 找样本（ Ｘ1，Ｘ2，…，Ｘn）的一个函数 G（ Ｘ1，Ｘ2，…，Ｘn;θ），并且G只含所求置信区间的未知参数θ，不含其它未知参数；G的分布（在大样本场合，可以是G的渐进分布）是已知的且与θ无关，此函数一般可从θ的某个点估计 经过变换得到。通常称这种函数 为枢轴量。 第二步，确定分位点 对于给出的置信水平 ，确定G的分位点。注意，在确定函数G时，确保G的分布有表可查。 第三步，变换不等式 利用不等式变形得到未知参数θ的置信区间。 二、枢轴量法 与将来进行相关假设检验时所采用的统计量为同一函数 现将枢轴量法求置信区间的步骤总结如下：