标题: 对回归感兴趣的请进
性别:女-离线 天宫公主
(司徒家的颖颖)

虞国公主

Rank: 12Rank: 12Rank: 12
组别 限制发言用户
级别 大将军
好贴 6
功绩 517
帖子 11552
编号 1037
注册 2004-10-25
来自 天津
家族 司徒实业


发表于 2005-2-4 10:13 资料 主页 短消息 看全部作者 QQ
在统计学里, 我们经常需要对数据做线性回归, 画上一条最佳描述数据关系的直线. 假设此线的表达为: y = a0 + a1 x, 众所周知, 两个系数(a0, a1)通常是用最小二乘法而求得的.

假设我们有数据点(x_i , y_i), i = 1,2,...,n, 在最小二乘法里面, 我们设一个"惩罚函数"(penalty function): p(a0, a1) = sum_{i=1}^n (y_i - a0 - a1 x_i)^2 (平方差的和), 然后选择(a0, a1)令惩罚函数达到最小. 其实, 最小二乘法不是唯一的回归方法, 我们可以用另外一个惩罚函数:

p(a0, a1) = sum_{i=1}^n |y_i - a0 - a1 x_i | (不用平方差和, 而用绝对差和)

这种回归叫做"绝对差回归". 好了, 现在开始提问题了:

1. 求证: 如果用绝对差回归方法来画回归线的话, 那么所画的回归线必定要经过至少一个数据点.
2. 以上情况对于用最小二乘法来画来做回归显然是不成立的. 在什么条件下, 用最小二乘法做回归是, 也会得到1里面所说的情况?


顶部
性别:女-离线 天宫公主
(司徒家的颖颖)

虞国公主

Rank: 12Rank: 12Rank: 12
组别 限制发言用户
级别 大将军
好贴 6
功绩 517
帖子 11552
编号 1037
注册 2004-10-25
来自 天津
家族 司徒实业


发表于 2005-2-5 19:11 资料 主页 短消息 看全部作者 QQ
chenwj: 对对对, 这个就是robust regression领域的题目.


顶部
性别:女-离线 天宫公主
(司徒家的颖颖)

虞国公主

Rank: 12Rank: 12Rank: 12
组别 限制发言用户
级别 大将军
好贴 6
功绩 517
帖子 11552
编号 1037
注册 2004-10-25
来自 天津
家族 司徒实业


发表于 2005-2-13 16:02 资料 主页 短消息 看全部作者 QQ
P(a0,a1) = |0 - a0 - a1 0 |+|2000 - a0 - a1 0.1 |+|2000 - a0 - a1 10000 |+|0 - a0 - a1 10001 |
= |a0| + |2000 - a0 - a1 0.1 |+|2000 - a0 - a1 10000 |+|0 - a0 - a1 10001 |
然后用Matlab一类的软件求出使P最小的a0, a1即可。
顶部
性别:女-离线 天宫公主
(司徒家的颖颖)

虞国公主

Rank: 12Rank: 12Rank: 12
组别 限制发言用户
级别 大将军
好贴 6
功绩 517
帖子 11552
编号 1037
注册 2004-10-25
来自 天津
家族 司徒实业


发表于 2005-2-13 16:51 资料 主页 短消息 看全部作者 QQ
其实就是对一个二元函数求极值的问题。
顶部

正在浏览此帖的会员 - 共 2 人在线




当前时区 GMT+8, 现在时间是 2025-1-31 10:55
京ICP备2023018092号 轩辕春秋 2003-2023 www.xycq.org.cn

Powered by Discuz! 5.0.0 2001-2006 Comsenz Inc.
Processed in 0.009181 second(s), 9 queries , Gzip enabled

清除 Cookies - 联系我们 - 轩辕春秋 - Archiver - WAP