多元线性回归模型公式

多元线性回归模型公式 Prepared on 22 November 2020

二、多元线性回归模型 在多要素的地理环境系统中，多个（多于两个）要素之间也存在着相互影响、相互关联的情况。因此，多元地理回归模型更带有普遍性的意义。

（一）多元线性回归模型的建立

假设某一因变量y 受k 个自变量k x x x ,...,,21的影响，其n 组观测值为

（ka a a a x x x y ,...,,,21），n a ,...,2,1=。那么，多元线性回归模型的结构形式为：

a ka k a a a x x x y εββββ+++++=...22110（）

式中：

k βββ,...,1,0为待定参数；

a ε为随机变量。

如果k b b b ,...,,10分别为k ββββ...,,,210的拟合值，则回归方程为

=k k x b x b x b b ++++...22110（）

式中：

0b 为常数；

k b b b ,...,,21称为偏回归系数。

偏回归系数i b （k i ,...,2,1=）的意义是，当其他自变量j x （i j ≠）都固定时，自变量i x 每变化一个单位而使因变量y 平均改变的数值。

根据最小二乘法原理，i β（k i ,...,2,1,0=）的估计值i b （k i ,...,2,1,0=）应该使

()[]min (2)

12211012→++++-=??? ??-=∑∑==∧n a ka k a a a n a a a x b x b x b b y y y Q （） 有求极值的必要条件得

???????==??? ??--=??=??? ??--=??∑∑=∧=∧n a ja a a j

n a a a k j x y y b Q y y b Q 110),...,2,1(0202（） 将方程组（）式展开整理后得：

?????????????=++++=++++=++++=++++∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑===================n a a ka k n a ka n a ka a n a ka a n a ka n a a

a k n a ka a n a a n a a a n a a n a a a k n a ka a n a a a n a a n a a n a a k n a ka n a a n a a y x

b x b x x b x x b x y x b x x b x b x x b x y x b x x b x x b x b x y b x b x b x nb 11221211101

121221221121012111121211121011112121110)(...)()()(...)(...)()()()(...)()()()(...)()( （） 方程组（）式，被称为正规方程组。

如果引入一下向量和矩阵：

则正规方程组（）式可以进一步写成矩阵形式

B Ab =（3.2.15’）

求解（3.2.15’）式可得：

Y X X X B A b T T 11)(--==（）

如果引入记号：

则正规方程组也可以写成：

?????????----==+++=+++=+++k

k ky k kk k k y k k y k k x b x b x b y b L b L b L b L L b L b L b L L b L b L b L (22110221)

12222212111212111（3.2.15’’） （二）多元线性回归模型的显着性检验

与一元线性回归模型一样，当多元线性回归模型建立以后，也需要进行显着性检验。与前面的一元线性回归分析一样，因变量y 的观测值n y y y ,...,,21之间的波动或差异，是由

两个因素引起的，一是由于自变量k x x x ,...,,21的取之不同，另一是受其他随机因素的影响而引起的。为了从y 的离差平方和中把它们区分开来，就需要对回归模型进行方差分析，也就是将y 的离差平方和T S 或（L yy ）分解成两个部分，即回归平方和U 与剩余平方和Q ：

在多元线性回归分析中，回归平方和表示的是所有k 个自变量对y 的变差的总影响，它可以按公式

计算，而剩余平方和为

以上几个公式与一元线性回归分析中的有关公式完全相似。它们所代表的意义也相似，即回归平方和越大，则剩余平方和Q 就越小，回归模型的效果就越好。不过，在多元线性回归分析中，各平方和的自由度略有不同，回归平方和U 的自由度等于自变量的个数k ，而剩余平方和的自由度等于1--k n ，所以F 统计量为：

当统计量F 计算出来之后，就可以查F 分布表对模型进行显着性检验。