轩辕春秋文化论坛 - Powered by Discuz! Board

标题: 对回归感兴趣的请进 [打印本页]

作者: 天宫公主 时间: 2005-2-4 10:13

在统计学里, 我们经常需要对数据做线性回归, 画上一条最佳描述数据关系的直线. 假设此线的表达为: y = a0 + a1 x, 众所周知, 两个系数(a0, a1)通常是用最小二乘法而求得的.

假设我们有数据点(x_i , y_i), i = 1,2,...,n, 在最小二乘法里面, 我们设一个"惩罚函数"(penalty function): p(a0, a1) = sum_{i=1}^n (y_i - a0 - a1 x_i)^2 (平方差的和), 然后选择(a0, a1)令惩罚函数达到最小. 其实, 最小二乘法不是唯一的回归方法, 我们可以用另外一个惩罚函数:

p(a0, a1) = sum_{i=1}^n |y_i - a0 - a1 x_i | (不用平方差和, 而用绝对差和)

这种回归叫做"绝对差回归". 好了, 现在开始提问题了:

1. 求证: 如果用绝对差回归方法来画回归线的话, 那么所画的回归线必定要经过至少一个数据点.
2. 以上情况对于用最小二乘法来画来做回归显然是不成立的. 在什么条件下, 用最小二乘法做回归是, 也会得到1里面所说的情况?

作者: chenwj 时间: 2005-2-4 11:18

天公，绝对是曲高和寡啊。。。

目标函数是绝对值形式的回归通常作robust regression 比较多，这方面的median regression和rank regression有很多应用。

a kind notice: 你这个贴子大概过不久就沉下去了，咕噜咕噜。。。

happy new year！

作者: gunnarlin 时间: 2005-2-4 11:23

1斜率固定的直线找一个变量比如x轴的交点作为变量而结论绝对差回归作为函数画出的函数线应该是一条直线所以对于任何斜率最大值最小值都应该取在折线的折点就是某个点上了，具体证明略
2暂时不明白

作者: 天宫公主 时间: 2005-2-5 19:11

chenwj: 对对对, 这个就是robust regression领域的题目.

作者: 奇迹魔术师·杨 时间: 2005-2-5 19:45

我初四,晕..............

作者: 爱喝绿茶 时间: 2005-2-6 16:19

我刚上过统计学，题目都没看懂

作者: lcarron78 时间: 2005-2-7 05:12

有数据点 (0,0), (0.1,2000), (10000,2000), (10001,0),

请教如果用绝对差回归方法来画回归线的话，回归线会在哪呢？

作者: 天宫公主 时间: 2005-2-13 16:02

P(a0,a1) = |0 - a0 - a1 0 |+|2000 - a0 - a1 0.1 |+|2000 - a0 - a1 10000 |+|0 - a0 - a1 10001 |
= |a0| + |2000 - a0 - a1 0.1 |+|2000 - a0 - a1 10000 |+|0 - a0 - a1 10001 |
然后用Matlab一类的软件求出使P最小的a0, a1即可。

作者: 天宫公主 时间: 2005-2-13 16:51

其实就是对一个二元函数求极值的问题。

欢迎光临轩辕春秋文化论坛 (http://xycq.org.cn/forum/)