落园 » 分类器|专注经济视角下的互联网

几个有趣的问题

今儿跑代码的百无聊赖的时间,看了一下昨天收藏的周志华老师的一个演讲:Boosting 25周年。链接在这里:

http://vdisk.weibo.com/s/FcILTUAi9m111

对Adaboost之类的我已经忘得差不多了,还好有当年ESL的笔记可以翻翻。看周老师这张slide,基本上是总结了一下集成学习(ensemble learning)的大概思路。

2014-10-20 15_45_23-CCL2014_keynote-周志华.pdf按照这个思路,Boosting类和bagging以及random forests这种都算作ensemble learning了。然后在简单的回顾了adaboost的前世今生之后,抛出来一个有趣的问题:

理论上我们证明了,A[......]

Read more


统计学习精要(The Elements of Statistical Learning)课堂笔记(二十二):核函数和核方法

补上笔记。这节课讲的就是大名鼎鼎的Kernel Method...

核函数(正定)

定义 K(x,y), x,y\in\mathbb{R}满足:

1) 对称: K(x,y)=K(y,x)

2) 正定: n个观测x_{1},x_{2},...,x_{n}\in\mathbb{R}^{p},$$K_{n}=\left[\begin{array}{ccc}K(x_{1},x_{1}) & \cdots & K(x_{1},x_{n})\\\vdots & \ddots & \vdots\\K(x_{n},x_{1}) &[......]

Read more


统计学习精要(The Elements of Statistical Learning)课堂笔记(二十一):SMO算法

1. SVM优化问题

1) 原问题

\min\frac{1}{2}\left\Vert w\right\Vert ^{2}+C\sum_{i}\xi_{i}

s.t.\, y_{i}(w_{i}+b)\geq1-\xi_{i},\forall i

2) 拉格朗日形式的表述

\min\mathcal{L}(y_{i},w^{'}x_{i}+b)+\lambda\left\Vert w\right\Vert ^{2}

其中,\mathcal{L}(y_{i},w^{'}x_{i}+b)=l(y(w'x+b))

3) 对偶问[......]

Read more


统计学习精要(The Elements of Statistical Learning)课堂笔记(二十):SVM

这节课主要是讲线性优化的对偶问题。感觉这东西貌似在运筹学的时候被折腾过一遍,现在又来了-_-||

附赠个老的掉牙的段子...

有人问经济学家一个数学问题,经济学家表示不会解...

然后那个人把这个数学问题转成了一个等价的最优化问题,经济学家立马就解出来了...

好吧,我还是乖乖的赘述一遍对偶问题吧,表示被各种经济学最优化问题折磨过的孩子这点儿真是不在话下。

--------------------------------------------------------------------

1. 对偶问题的一般情况

1) 优化问题

一个典型的最优化问题形如:[......]

Read more


≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(十九):SVM

支持向量机——最大边距方法

前言:这节课我人在北京,只能回来之后抄一下笔记,然后对着书和wiki理解一下....有什么错误还请大家及时指出。

------------------------------

1. 背景

  • 问题:两类分类问题
  • 数据:有标识、有监督\mathcal{D}=\left\{ (\mathbf{x}_{i},y_{i})\mid\mathbf{x}_{i}\in\mathbb{R}^{p},\, y_{i}\in\{-1,1\}\right\} _{i=1}^{n}
  • 模型:f(x)=sign(wx+b),线性模型
  • 准则:最大边[......]

Read more


123