踢DL馆的来了

还没细看这论文，不过貌似是 generative model 来踢 discriminative model 的馆。

根本没可比性

目的是执行parsing笔画这样的特殊任务，然后他这里指的DL貌似是几种convnet分类器

引用的两个deep learning 模型，一个是YanLeCun 1989
一个是这个https://dspace.mit.edu/handle/1721.1/90947

4楼有误
是one-short learning（从少量样本中分类）的任务，和三种DL模型比较；分类准确率优于三种DL模型，分别为
Yan LeCun 1989
https://dspace.mit.edu/handle/1721.1/90947
http://www.cs.toronto.edu/~zemel/documents/oneshot1.pdf
除此之外还能学着把图形画出来，parsing和画图形这部分貌似和DL无关？

其中Ψ为样本标签，θ为单个笔画标签，I为θ对应的图像；
联合概率分布可以拆成这样的形式

用来做对比的DL模型，其实也是能抽象出笔画的
Learning with Hierarchical-Deep Model
http://www.cs.toronto.edu/~rsalakhu/papers/HD_PAMI.pdf

浅绿为Deep Siamese Convnet，针对此任务对CNN做了某些改进
深绿为标准CNN，用其他任务训练集做预训练，然后用少量真训练做one-short learning
蓝色为deep Boltzmann machines

最早搞one-shot learning 的是李飞飞
http://vision.stanford.edu/documents/Fei-Fei_ICCV03.pdf
然后貌似成为了一个独立的方向

siamese network是YanLeCun等搞出来的用来比较两个东西（如图片）是否一样而设计的网络，P是一个sigmoid，倒数第二层d是一个比较层，用L1 distance 或 cross-entropy之类

话说近来发表AI论文同时也透过主流媒体发布造势新闻的情形好像越来越多。希望这不会是泡沫化的前兆。

一些感想：
- One-shot 或 rich supervised learning （如DeepMind NPI) 之类的领域比较适合小团队做研究,因为目前主流的convnet需要太多数据和计算资源。直觉是这领域也要用上某种形式的generative model才能做得好。
- 这论文稍作了点弊，因为所提供的笔画数据其他做对比的算法其实也用不上。真要比的话应该跟基于LSTM的笔画识别系统之类的作比较。
- 这算法要说是做 program induction 是夸张了些，因为并不处理程序逻辑。 DeepMind 的 NPI 可以说是货真价实的做 program induction,这论文做的比较像是笔画序列识别而已。Fig 1提的图像分解重组的例子貌似只是解释概念，论文并没提出可以做到那种程度的方法。
- 这个算法的核心学习算法就是简单的统计概率么？相形之下另一篇被引用的 Tenenbaum HDP 论文还比较有趣些。
- 这算法要做到可以在图像识别方面可以和convent竞争还有很长一段距离。发布的那篇NYTimes新闻很容易误导读者，令人以为这算法已经超越convnet了。

在新闻里看到这篇文章，特意来看吧里的状况，果然。。。。