在統計學中,一個概率樣本的置信區間(英語:Confidence interval,CI),是對產生這個樣本的總體的參數分佈(Parametric Distribution)中的某一個未知參數值,以區間形式給出的估計。相對於點估計(Point Estimation)用一個樣本統計量來估計參數值,置信區間還蘊含了估計的精確度的訊息。在現代機器學習中越來越常用的信賴集合(Confidence Set)概念是置信區間在多維分析的推廣[1]。
置信區間在頻率學派中間使用,其在貝氏統計中的對應概念是可信區間(Credible Interval)。兩者建立在不同的概念基礎上的,貝氏統計將分佈的位置參數視為隨機變量,並對給定觀測到的數據之後未知參數的後驗分布進行描述,故無論對隨機樣本還是已觀測數據,構造出來的可信區間,其可信水準都是一個合法的概率[2];而置信區間的置信水平,只在考慮隨機樣本時可以被理解為一個概率。
定義
對隨機樣本的定義
定義置信區間最清晰的方式是從一個隨機樣本出發。考慮一個一維隨機變量服從分佈,又假設是的參數之一。假設我們的數據採集計劃將要獨立地抽樣次,得到一個隨機樣本,注意這裏所有的都是隨機的,我們是在討論一個尚未被觀測的數據集。如果存在統計量(統計量定義為樣本的一個函數,且不得依賴於任何未知參數)滿足使得:
則稱為一個用於估計參數的置信區間,其中的,稱為置信水平。
對觀測到的數據的定義
接續隨機樣本版本的定義,現在,對於隨機變量的一個已經觀測到的樣本,注意這裏用小寫x表記的都是已經觀測到的數字,沒有隨機性了,定義基於數據的置信區間為:
注意,置信區間可以是單邊或者雙邊的,單邊的置信區間中設定或者,具體前者還是後者取決於所構造的置信區間的方向。
初學者常犯一個概念性錯誤,是將基於觀測到的數據所同樣構造的置信區間的置信水平,誤認為是它包含真實未知參數的真實值的概率。正確的理解是:置信水平只有在描述這個同樣構造置信區間的過程(或稱方法)的意義下才能被視為一個概率。一個基於已經觀測到的數據所構造出來的置信區間,其兩個端點已經不再具有隨機性,因此,類似的構造的間隔將會包含真正的值的比例在所有值中,其包含未知參數的真實值的概率是0或者1,但我們不能知道是前者還是後者[3]。
例子
例1:正態分佈,已知總體方差
水準的正態置信區間為:
- (雙邊)
- (單邊)
- (單邊)
以下為方便起見,只列出雙邊置信區間的例子,且區間中用""進行簡記:
例2:正態分佈,未知總體方差
水準的雙邊正態置信區間為:
例3:兩個獨立正態樣本
設有兩個獨立正態樣本和,樣本大小為和,估計總體均值之差,假設總體方差未知但相等:(如果未知且不等就要應用Welch公式來確定t分佈的自由度)
水準的雙邊正態置信區間為:
- ,其中且分別表示和的樣本標準差。
構造法
一般來說,置信區間的構造需要先找到一個樞軸變量(Pivotal quantity,或稱Pivot),其表達式依賴於樣本以及待估計的未知參數(但不能依賴於總體的其它未知參數),其分佈不依賴於任何未知參數。
下面以上述例2為例,說明如何利用樞軸變量構造置信區間。對於一個正態分佈的隨機樣本,可以證明(此證明對初學者並不容易)如下統計量互相獨立:
- 和
它們的分佈是:
- 和
所以根據t分佈的定義,有
於是反解如下等式左邊括號中的不等式
就得到了例2中雙邊置信區間的表達式。
與參數檢驗的聯繫
有時,置信區間可以用來進行參數檢驗。例如在上面的例1中構造的雙邊水準置信區間,可以用來檢驗具有相應的顯著水平為的雙邊對立假設,具體地說是如下檢驗:
正態分佈總體,知道總體方差,在顯著水平下檢驗:
- vs
檢驗方法是:當(且僅當)相應的水準置信區間不包含時拒絕虛無假設
例1中構造的雙邊水準置信區間也可以用來檢驗如下兩個顯著水平為的單邊對立假設:
- vs
和
- vs
檢驗方法是完全類似的,比如對於上述第一個單邊檢驗,當且僅當雙邊置信區間的左端點大於時拒絕虛無假設。
參考文獻
- ↑ Brittany Terese Fasy; Fabrizio Lecci; Alessandro Rinaldo; Larry Wasserman; Sivaraman Balakrishnan; Aarti Singh. Confidence sets for persistence diagrams. The Annals of Statistics. 2014, 42 (6): 2301–2339.
- ↑ Box, George EP; Tiao, George C. Bayesian inference in statistical analysis. John Wiley & Sons. 2011.
- ↑ Moore, D; McCabe, George P; Craig, B. Introduction to the Practice of Statistics. San Francisco, CA: Freeman. 2012.
參考書目
- 羅納德·費雪 (1956) Statistical Methods and Scientific Inference. Oliver and Boyd, Edinburgh. (See p. 32.)
- 弗羅因德 (1962) Mathematical Statistics Prentice Hall, Englewood Cliffs, NJ. (See pp. 227–228.)
- 伊安·海金 (1965) Logic of Statistical Inference. Cambridge University Press, Cambridge
- 齊平 (1962) Introduction to Statistical Inference. D. Van Nostrand, Princeton, NJ.
- 傑克·基弗(1977) "Conditional Confidence Statements and Confidence Estimators (with discussion)" Journal of the American Statistical Association, 72, 789–827.
- 澤西·內曼 (1937) "Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability" Philosophical Transactions of the Royal Society of London A, 236, 333–380. (Seminal work.)
- G.K.羅賓遜 (1975) "Some Counterexamples to the Theory of Confidence Intervals." Biometrika, 62, 155–161.