回归分析与独立性检验

定义

相关关系：当自变量 $x$ 取一定值时，因变量 $y$ 取值带有随机性但又有一定统计规律的变量关系。区别于函数关系（一一确定），相关关系具有不确定性。

经验回归方程（一元线性回归）：设已有 $n$ 组样本 $(x_i,y_i)$，$\bar{x}=\frac{1}{n}\sum x_i$、$\bar{y}=\frac{1}{n}\sum y_i$。由最小二乘法得回归系数

$\hat{b}=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{x}{)}^2},\hat{a}=\bar{y}-\hat{b}\bar{x}$

经验回归方程

$\hat{y}=\hat{b}x+\hat{a}$

相关系数 $r$：

$r=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2\sum (y_i-\bar{y}{)}^2}}$

$r\in [-1,1]$。$|r|$ 越大线性相关越强；$r>0$ 正相关、$r<0$ 负相关、$r\approx 0$ 无显著线性相关。

残差：${\hat{e}}_i=y_i-{\hat{y}}_i$，反映实际值与回归估计值之差。

2×2 列联表：分类变量 $X$（属性 $A_1$/$A_2$）与 $Y$（属性 $B_1$/$B_2$）的频数表

	$B_1$	$B_2$	合计
$A_1$	$a$	$b$	$a+b$
$A_2$	$c$	$d$	$c+d$
合计	$a+c$	$b+d$	$n$

${\chi }^2$ 统计量：

${\chi }^2=\frac{n(ad-bc{)}^2}{(a+b)(c+d)(a+c)(b+d)}$

推导

最小二乘法推导：设模型 $y=bx+a+\epsilon$，欲使残差平方和

$Q(a,b)={\sum }_{i=1}^n(y_i-b{x}_i-a{)}^2$

最小，分别对 $a$、$b$ 求偏导并令其为零：

$\frac{\partial Q}{\partial a}=-2\sum (y_i-b{x}_i-a)=0,\frac{\partial Q}{\partial b}=-2\sum x_i(y_i-b{x}_i-a)=0$

由 $\frac{\partial Q}{\partial a}=0$ 得 $\sum y_i=b\sum x_i+na$，即 $\bar{y}=b\bar{x}+a$，故 $\hat{a}=\bar{y}-\hat{b}\bar{x}$（回归直线过点 $(\bar{x},\bar{y})$）。

代入另一式解得

$\hat{b}=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2}=\frac{\sum x_i{y}_i-n\bar{x}\bar{y}}{\sum x_i^2-n{\bar{x}}^2}$

${\chi }^2$ 统计量推导：在 $H_0$（两变量独立）下，$A_1$ 行与 $A_2$ 行的 $B_1$ 频率应都接近 $\frac{a+c}{n}$，期望频数 $E_{11}=\frac{(a+b)(a+c)}{n}$、$E_{12}=\frac{(a+b)(b+d)}{n}$、$E_{21}=\frac{(c+d)(a+c)}{n}$、$E_{22}=\frac{(c+d)(b+d)}{n}$。

${\chi }^2=\sum \frac{(O-E{)}^2}{E}$

化简（$O$ 为观测频数 $a$、$b$、$c$、$d$）：

${\chi }^2=\frac{n(ad-bc{)}^2}{(a+b)(c+d)(a+c)(b+d)}$

独立性检验判定：

显著性水平 $\alpha$	临界值 $k$	推断
0.05	3.841	有 95% 把握认为两变量不独立
0.01	6.635	有 99% 把握认为两变量不独立

当 ${\chi }^2\ge k$ 时，拒绝 $H_0$，认为两变量有关联；当 ${\chi }^2<k$ 时，没有充分证据拒绝 $H_0$（不能断言独立，只能说不拒绝独立）。

典例精析

例 1：下表为 5 个学生的复习时间 $x$（小时）与成绩 $y$（分）数据，求回归方程。

$x$	2	3	4	5	6
$y$	64	70	76	82	88

$\bar{x}=4$、$\bar{y}=76$。

$\sum (x_i-\bar{x})(y_i-\bar{y})=(-2)(-12)+(-1)(-6)+0+(1)(6)+(2)(12)=24+6+0+6+24=60$。

$\sum (x_i-\bar{x}{)}^2=4+1+0+1+4=10$。

$\hat{b}=\frac{60}{10}=6$，$\hat{a}=76-6\times 4=52$。

回归方程：$\hat{y}=6x+52$。

若复习 7 小时，预测 $\hat{y}=6\times 7+52=94$ 分（仅限 $x\in [2,6]$ 附近内插可靠，外推须谨慎）。

例 2：调查 100 名学生，是否喜欢数学与性别是否相关，列联表如下：

	喜欢数学	不喜欢	合计
男	$a=30$	$b=10$	$40$
女	$c=20$	$d=40$	$60$
合计	$50$	$50$	$100$

${\chi }^2=\frac{100(30\times 40-10\times 20{)}^2}{40\times 60\times 50\times 50}=\frac{100\times 1000^2}{6000000}=\frac{100000000}{6000000}\approx 16.67$

$16.67>6.635$，有 99% 把握认为”是否喜欢数学”与”性别”有关联。

例 3：某化工厂产品纯度 $y$ 与反应温度 $x$ 的 8 组数据算得 $r=0.92$，能否用线性回归方程预测？

$|r|=0.92>0.75$，线性相关性强，可用线性回归方程建模。但需注意：(1) 数据范围内预测可靠；(2) 数据范围外（外推）风险大；(3) 若有新的工艺改进使反应机理变化，原回归方程可能失效。

对比

项目	回归分析	独立性检验
数据类型	数值型 $x$、$y$	两分类变量
核心工具	最小二乘法、$\hat{b}$、$r$	${\chi }^2$ 统计量、列联表
假设	$y=bx+a+\epsilon$	$H_0$：两变量独立
决策	建立回归方程预测	${\chi }^2$ 与临界值比较
适用前提	线性相关明显	频数足够大（每格 $\ge 5$）