042月

最小二乘法的几何意义 – 巧妙记忆公式的方法 – 【人人分享

    我写了一篇文字来解说什么价钱投射的和热欧姆系列节目。,瞄准我以为谈谈什么价钱投射的与最小二乘法的触感,这种触感的有益的是不管多复杂的婴儿食品,这是记取这片刻。本文的首要思惟是:最小二乘法打中什么价钱意思是高维投宿打中本人航向在低维子投宿的投射的。这么思惟在MIT愉快宁静的晚年Gilbert Strang的直线性代数的坦率的追逐上有议论,在喂,我将把这么怀孕了。。文字极限的会把热欧姆系列节目和最小二乘法放合作做个较比和总结,我祝愿你能领会这两个如同缺少什么都可以意思的怀孕I。。

1。在投射的立体上的三维投宿航向

    率先咱们必要在投射的回想三维投宿航向。这是本人高维投宿投射的的最复杂的榜样,相识二维投射的的三维,高维的形势下易于扩大,因二维投宿(即立体)和高维投宿。喂我不消二维到一维的投射的做榜样是因这么时候低维子投宿纯粹由本人航向表现,缺少普通的矩阵。

    如图1所示,由于本人决定的的航向在三维投宿 u,用航向 v1,v2 本人二维的立体表格,航向 p 为 u 这么立体的投射的,它是 v1,v2 的直线性结成:

(1)

    咱们不得已回复的成绩是:以任何方式见 c1,c2 我信任大伙儿看过我极限的长度日记的冤家都认识以任何方式来它。,As long as the use of u – P 这么航向分开。 v1,v2 这两个术语的铅直,可以计算 c1,c2。算学语言表达的运用,上面是两个。。 

(2)

    为了便于当前扩大到高维形势,咱们把它们兼并成本人。,让V = [ V1,v2],(2)婴儿食品相当于

(3)
The type (1) to (3) type,因此,矩阵的调换(调换)(这纯粹对T的悠闲地,上面这么婴儿食品。
(4)
在喂,C2 ] T。因而C的表达

(5)
请坚持到底,这是婚配表达高维侦查。条件咱们用二维到一维投射的为例,因此对VTV(内侧T是矩阵的调换,如此在字。,当归结起来大伙儿的体式,它将出现时分母,像过来的日记(3),这种状态的限制性太强。值得一提的是,咱们以为 v1,v2 非垂直测器,因而 c1,从u到C2不 v1,v2 找到投射的分开。
2. 最小二乘法
咱们来回想一下是什么最小二乘法。认为咱们有n个最高纪录的结合,{(席,yi): i = 1, 2, … , n},为了探究y和x变量中间的相干。,咱们要运用本人多项的来配它,但以任何方式决定多项的的系数?这自然是,最小二乘法告知咱们,多项的的系数应使每个点背离和推测唤回铸成合金。。作为本人复杂的榜样,如下图所示,我可以用本人直线性作用来婚配这些最高纪录(也称为直线性回归,亦即

(6)

    因此每个点的背离可以写为
(7)

    咱们要放量增加背离平方和。,这是在A0以下,a1 功用(坚持到底),xi,Yi是大伙儿已知的最高纪录。:

(8)
这是寻觅作用的极值成绩,咱们以为你可以用石暗示列表两方程零速,为了博得 a0,a1。我缺乏的喂列出的全过程。,只抚养极限的的答案,某人搁浅他们本身的趣味。答案可以写成上面这么矩阵状态。

发表评论

电子邮件地址不会被公开。 必填项已用*标注