广义线性模型

在统计学上，广义线性模型 (generalized linear model，缩写作 GLM) 是一种应用灵活的线性回归模型。该模型允许因变量的偏差分布有除了正态分布之外的其它分布。此模型假设实验者所量测的随机变数的分布函数与实验中系统性效应(即非随机的效应)可经由一链结函数（link function）建立可解释其相关性的函数。

约翰·内尔德与彼得·麦古拉在1989年出版，被视为广义线性模式的代表性文献中提纲挈领地说明了广义线性模式的原理、计算（如最大似然估计量）及其实务应用。

概说

广义线性模型是简单最小二乘回归（OLS）的扩展，在广义线性模式中，假设每个资料的观测值 $\mathbf Y$ 来自某个指数族分布。该分布的平均数 $\boldsymbol\mu$ 可由与该点独立的X解释：

\operatorname{E}(\boldsymbol{y}) = \boldsymbol{\mu} = g^{-1}(\mathbf{X}\boldsymbol{\beta})

其中 $E(\boldsymbol y)$ 为 $\boldsymbol y$ 的期望值， $\mathbf X\boldsymbol\beta$ 是由未知待估计参数 $\boldsymbol\beta$ 与已知变数 $\mathbf X$ 构成的线性估计式， $g$ 则为链结函数。

在此模式下， $\boldsymbol y$ 的方差 $V$ 可表示为：

\operatorname{Var}(\boldsymbol{y}) = \operatorname{V}( \boldsymbol{\mu} ) = \operatorname{V}(g^{-1}(\mathbf{X}\boldsymbol{\beta})).

一般假设 $V$ 可视为一指数族随机变数的函数。

未知参数 $\boldsymbol\beta$ 通常会以最大似然估计量, 殆最大似然估计量, 或以贝氏方法来估计。

模式组成

广义线性模式包含了以下主要部分：

1. 来自指数族的分布函数

f

。

2. 线性预测子

\boldsymbol\eta = \mathbf X\boldsymbol\beta

。

3. 链结函数

g

使得

E(Y \mid X) = \boldsymbol\mu = g^{-1}(\boldsymbol\eta)

。

指数族

指数族随机变数意指其具参数θ与τ的机率密度函数, f (在论离散型随机变数时，则为概率质量函数)可表为：

{\displaystyle f_Y(y; \theta, \tau) = \exp{\left(\frac{a(y)b(\theta) + c(\theta)} {h(\tau)} + d(y,\tau) \right)}. \,\!}

τ称之为变异参数，通常用以解释变异数。函数a、b、c、d 及h为已知。许多（不包含全部）型态的随机变数可归类为指数族

θ与该随机变数的期望值有关。若a为恒等函数，则称该分布属于正则型式。另外，若b为恒等而τ已知，则θ称为正则参数，其与期望值的关系可表为：

\mu = \operatorname{E}(Y) = -c'(\theta). \,\!

一般情形下，该分布的变异数可表为：

\operatorname{Var}(Y) = -c''(\theta) h(\tau). \,\!

线性预测子

线性预测子是用将独立变数经由线性组合来寻模式所能提供之资讯的计量变数。符号η (希腊字母 "Η")通常用来表示线性预测子。它与资料的期望值的链结函数值有关(故称"预测子")。

η表为未知参数β的线性组合(故为"线性")。X则为独立变数所组合而成的观测矩阵。如此一来，η可表示为

\eta = \mathbf{X}\boldsymbol{\beta}.\,

X的元素通常为模式设计时可观测的资料或为实验时所得的数据。

链结函数

链结函数解释了线性预测子与分布期望值的关系。链结函数的选择可视情形而定。通常只要符合链结函数的值域有包含分布期望值的条件即可。

当使用具正则参数θ的分布时，链结函数需符合X^TY 为β的充份统计量此一条件。这在θ与线性预测子的链结函数值相等时方成立。下面列出若干指数族分布的典型链结函数及其反函数(有时称为均值函数)：

典型链结函数
Y的分布	名称	链结函数	均值函数
正态	恒等	$\mathbf{X}\boldsymbol{\beta}=\mu\,\!$	$\mu=\mathbf{X}\boldsymbol{\beta}\,\!$
指数	倒数	$\mathbf{X}\boldsymbol{\beta}=\mu^{-1}\,\!$	$\mu=(\mathbf{X}\boldsymbol{\beta})^{-1}\,\!$
Gamma	倒数	$\mathbf{X}\boldsymbol{\beta}=\mu^{-1}\,\!$	$\mu=(\mathbf{X}\boldsymbol{\beta})^{-1}\,\!$
逆高斯	二次倒数	$\mathbf{X}\boldsymbol{\beta}=\mu^{-2}\,\!$	$\mu=(\mathbf{X}\boldsymbol{\beta})^{-1/2}\,\!$
泊松	自然对数	$\mathbf{X}\boldsymbol{\beta}=\ln{(\mu)}\,\!$	$\mu=\exp{(\mathbf{X}\boldsymbol{\beta})}\,\!$
二项式	Logit	$\mathbf{X}\boldsymbol{\beta}=\ln{\left(\frac{\mu}{1-\mu}\right)}\,\!$	$\mu=\frac{\exp{(\mathbf{X}\boldsymbol{\beta})}}{1 + \exp{(\mathbf{X}\boldsymbol{\beta})}}\,\!$
多项式	Logit

在指数分布与Gamma分布中，其典型链结函数的值域并不包含分布均值，另外其线性预测子亦可能出现负值，此两种分布绝无均值为负的可能。当进行极大似然估计进行计算时需避免上述情形出现，这时便需要使用到非典型链结函数。

例子

一般线性模式

有些人可能会把一般线性模式和广义线性模式给弄混了。一般线性模式可视为广义线性模式的一个链结函数为恒等的特例。一般线性模式有着悠长的发展历史。广义线性模式具非恒等链结函数者有着渐近一致的结果。

线性回归

广义线性模式最简单的例子便是线性回归。此例中分布函数为正态分布而链结函数为恒等函数在变异数已知的条件下并符合正规式。这个例子具有广义线性模式罕有的极大似然估计的解析解

二元数据

在讨论二元反应结果(如有跟没有)时，通常以二项式分布建模。其期望值'μ_i通常解释为样本Y_i发生事件的机率p

二项式分布有许多常用的链结函数，最常用的链结函数是logit：

g(p) = \ln \left( { p \over 1-p } \right).

以此建模的广义线性模式通常称为logistic回归模式。

另外，任何连续型机率分配累积函数(CDF)的反函数皆可使用此模式，因为其值域为[0,1]，包含了二项式分布期望值的可能值域。正态机率分配累积函数 $\Phi$ 是一个广受应用于probit模式的选择。其链结函数为

g(p) = \Phi^{-1}(p).\,\!

有时恒等函数也会被用为二项式分布的链结函数，其缺点为预测值可能超出合理范围。经过若干修正可以避免上述问题，但会在解释上造成困难。此模式通常适用于p接近0.5的情形。此种建模很接近logit及probit的线性转换，有时计量经济学家会称其为Harvard模式。

二元资料的广义线性模式变异函数可写为

\operatorname{Var}(Y_{i})= \tau\mu_{i} (1-\mu_{i})\,\!

其中变异参数 $\tau$ 通常等于1，若非，则该模式称为溢变异或殆二元。

计次资料

另一个常用的例子为用于计次的泊松分布。此例的链结函数为自然对数，为正规链结。变异数函数与均值成等比

\operatorname{var}(Y_{i}) = \tau\mu_{i},\,

其中变异参数 $\tau$ 通常为1。若非，此模式通常称为溢变异或似泊松。

参考文献

Hastie, T. J.; Tibshirani, R. J. Generalized Additive Models. Chapman & Hall/CRC. 1990. ISBN 978-0-412-34390-2.
Madsen, Henrik; Thyregod, Poul. Introduction to General and Generalized Linear Models. Chapman & Hall/CRC. 2011. ISBN 978-1-4200-9155-7.
McCullagh, Peter; Nelder, John. Generalized Linear Models, Second Edition. Boca Raton: Chapman and Hall/CRC. 1989. ISBN 0-412-31760-5.
Wood, Simon. Generalized Additive Models: An Introduction with R. Chapman & Hall/CRC. 2006. ISBN 1-58488-474-6.

延伸阅读

McCullagh, Peter; John Nelder. Generalized Linear Models. London: Chapman and Hall. 1989. ISBN 0-412-31760-5.
Dobson, A.J. Introduction to Generalized Linear Models, Second Edition. London: Chapman and Hall/CRC. 2001.
Hardin, James; Joseph Hilbe. Generalized Linear Models and Extensions. College Station: Stata Press. 2001, 2007. 请检查|date=中的日期值 (帮助)