D7-1參數(shù)的概念與點估計

第七,章,參數(shù)估計概率,矩估計,估計量評選的標準,參數(shù)估計,區(qū)間估計,第七章,第七章,上一章，我們講了數(shù)理統(tǒng)計的基本概念，從這一章開始，我們研究數(shù)理統(tǒng)計的重要內(nèi)容之一即統(tǒng)計推斷。,所謂統(tǒng)計推斷，就是根據(jù)從總體中抽取得的一個簡單隨機樣本對總體進行分析和推斷。即由樣本來推斷總體，或者由部分推斷總體。這就是數(shù)理統(tǒng)計學(xué)的核心內(nèi)容。,它的基本問題包括兩大類問題，一類是估計理論；另一類是假設(shè)檢驗。而估計理論又分為參數(shù)估計與非參數(shù)估計，參數(shù)估計又分為點估計和區(qū)間估計兩種，這里我們主要研究參數(shù)估計這一部分數(shù)理統(tǒng)計的內(nèi)容。,第一節(jié),參數(shù)估計的概念,第七章,統(tǒng)計推斷的目的，是由樣本推斷出總體的具體分布,.,一般來說，要想得到總體的精確分布是十分困難的,.,在上一章里，介紹了經(jīng)驗分布可以作為總體的一個近似解，但是只有樣本容量,n,無限大時經(jīng)驗分布故以概率一致收斂于總體的分布函數(shù),.,而在實際問題中樣本容量,n,不,允許很大,.,我們已經(jīng)學(xué)習了中心極限定理，可以斷定在某些條件下的分布為正態(tài)分布；也可以根據(jù)樣本觀測值先對總體分布類型作出檢驗和判斷,（下一章介紹），這種方法可以得到總體的分布類型，其中有一個或幾個參數(shù),.,另外，有些統(tǒng)計推斷問題，我們不關(guān)心其分布類型，只關(guān)心其某些數(shù)學(xué)特征，如期望、方差等，通常把這些數(shù)學(xué)特征了稱為參數(shù),.,這時抽樣的目的就是為了解出這些參數(shù),.,參數(shù),.,估計參數(shù),.,例,1,：,設(shè)某總體,，,試由樣本,來估計,例,2,：,設(shè)某總體,，,試由樣本,來,上述二例中，,記為,.,如,:,例,1,中的,而,例,2,中的,定義,:,中提取有關(guān)總體的信息，,出統(tǒng)計量的觀測值,，,相應(yīng)待估參數(shù)的值,.,稱為參數(shù)的估計量,估計值,.,圍，,把參數(shù)的取值范圍稱為參數(shù)空間，,可以確定出參數(shù)的取值范,數(shù)的性質(zhì)和實際問題，,是指從樣本,所謂,參數(shù)估計,，,，,統(tǒng)計量,求,然后用樣本值代入，,用該值來作為,且把統(tǒng)計量,稱為參數(shù),的,把,但根據(jù)參,參數(shù)的取值雖未知，,即構(gòu)造樣本的函數(shù),參數(shù)估計分為點估計和區(qū)間估計兩從大類,.,點估計,:,區(qū)間估計：,根據(jù),樣本,及樣本值,構(gòu)造一統(tǒng),計量,，,計值,稱點估計,.,.,內(nèi),構(gòu)造,兩個統(tǒng)計量：,使得待估參數(shù)以已知的較大的概率落在,指對總體中的一維參數(shù) ，,為的區(qū)間估計,.,此時稱,指對總體分布中的參數(shù),，,作為,的估,將,為,的點估計量,則稱,簡,記為,第七章,第二節(jié),點,估計量的求法,二、極大似然估計,一、矩估計,一、矩估計法：,（,K.Pearson,提出）,矩估計法是一種古老的估計方法,.,大家知道，矩是描寫隨機變量的最簡單的數(shù)字特征,.,樣本來自于總體，從前面可以看到樣本矩在一定程度上也反映了總體矩的特征，因而自然想到用樣本矩作為總體矩的估計,.,的估計量,定義,1:,是其一個樣本,得一個包含,個,未知數(shù),的方程組,的一組解,中解出,用這個方程組的解,分別作為,該方法稱為,矩估計法,.,的觀察值稱為矩估計值,.,的情形）,令,從,矩估計,量,這種估計量稱為矩估計量，,（一般我們只需掌握,為總體,的待估參數(shù)，,假設(shè),例,1,:,又設(shè),是來自總體,的一個樣本，,的矩估計量,.,解,:,所以得,因為,而,試求,令,的均值及方差,都存在但均未知，,設(shè)總體,注：上述結(jié)果表明,總體均值與方差的矩估計量的表達式不會因總體的分布不同而異；同時，我們又注意到，,總體均值,是用,樣本均值,來估計的，而,總體方差,（即總體的二階中心矩）卻不是用樣本方差來估計的，而是用,樣本二階中心矩,來估計,.,那么，能否用,樣本方差,來估計,總體方差,呢？能的話，樣本二階中心矩與樣本方差哪個更好？下節(jié)課將再作詳細討論,.,這樣看來，雖然矩估計法計算簡單，不管總體服從什么分布，都能求出總體矩的估計量，但它仍然存在著一定的缺陷：對于一個參數(shù)，可能會有多種估計量,.,比如下面的例子：,求,的一個樣本,解,:,，,例,2,：,未知,是,的矩估計量,.,由以上可看出，這里的一個待估參數(shù)有兩個不同的矩估計量,.,這樣，就會給應(yīng)用帶來不便，為此，,R.A.Fisher,提出了以下的改進的方法：,，,設(shè),二、極大似然估計法,：,1,、似然函數(shù),為樣本的似然函數(shù)，,即,密度函數(shù),:,定義,2,：,設(shè)總體,的分布密度函數(shù)為,，,其中,（）,，,為待估參數(shù),，（）,我們稱之為,對數(shù)自然函數(shù),.,上式兩邊取自然對數(shù),得,是來自總體的一個樣本，,則稱樣本的聯(lián)合分布的,，,記為,、極大似然估計法,這種方法的基本思想是利用“,概率最大的事件最可能出現(xiàn),”，即我們認為所抽取的樣本是出現(xiàn)的概率最大的樣本,.,樣本也是隨機變量，其出現(xiàn)的概率是與其密度函數(shù)有關(guān)的，要使樣本出現(xiàn)的概率最大，只有密度函數(shù)在樣本取這一樣本值時取最大值,.,這里樣本的分布類型已知，所以概率只與待估參數(shù)有關(guān),.,極大似然估計就是利用：,樣本的密度函數(shù)（樣本的似然函數(shù)）在樣本取這一樣本值時取最大值,來估計參數(shù),.,即把問題轉(zhuǎn)化為求似然函數(shù)的最大值時待估參數(shù)的取值,.,(1),定義,:,的極大似然估計,.,則稱,為,(2),具體做法與步驟,:,及樣本的對數(shù)似然函數(shù),當作自變量，,求最大值點,.,對,求導(dǎo),上式稱為似然方程,就是,的極大似然估計,.,把待估參數(shù),利用高等數(shù)學(xué)里的知識，,滿足條件：,若統(tǒng)計量,，,寫出樣本的似然函數(shù),得：,對數(shù)似然函數(shù)當作目標函數(shù)，,即：,則其解,若其有解，,例3：,未知，,為,的一個樣本,.,的一個樣本值，,是,解：,所以似然函數(shù)為：,取對數(shù)：,分別對,求導(dǎo)數(shù)：,，,設(shè),的極大似然估計量及相應(yīng)的估計值,.,求,由(1),，,的極大似然估計量分別為：,，,的極大似然估計值分別為：,；,代入,(2),則似然函數(shù)為：,通過分析可知，用解似然方程極大值的方法,例,4,:,未知，,解：,，,以可用直接觀察法：,求極大似然估計很難求解（因為無極值點），所,由于,的極大似然估計,.,求,，,設(shè),的一樣本，,為來自總體,設(shè),有,則對于滿足條件：,的任意,有,即,在,時取得最大值：,故,的極大似然估計量為：,記,，,.,