哈哈，作为一个新人，看见这个吧还有几个人关注，就准备混个眼熟了。Mark一下~
关于现在的网络结构，我个人认为已经到了一个bottleneck（瓶颈）期了，到了一个比较尴尬的时期就是，有些网络效果好，但是呢，我不知道为什么这个东西效果好，理论方面的东西呢也极其匮乏，下面就是我的一点心得，欢迎讨论，要是说错了，求轻点打脸......
（1）关于卷积conv：卷积这一块呢，我最早接触的时候应该是叫做滑窗(sliding window)，这是模式识别或者说机器学习领域的经典做法，那个时候我接触的滑窗应该算是一种固定参数的滑窗或者说是求固定窗口内的一阶二阶梯度，主要的用途呢，就是边缘检测。到了现在呢，卷积也是用来进行高维特征选取的有效工具，有很多人也做过尝试去解释卷积，主要通过：梯度的可视化、卷积模块的可视化和特征图(feature map)的可视化等方式试图去寻找一个pattern来很好的解释它或者说很好的让我们去理解它。在我接触的卷积中呢，主要分为这么几种形式：第一种就是常规的n*n的卷积形式，这种卷积形式呢，就是常规的嘛，有点也就是书上说的平移不变性啊等优点（话说我好像还真就没发现它比其它形式的卷积有啥优势）。第二种，空洞卷积(atrous conv)这种卷积在论文里面第一次看见应该是在Deeplab系列的论文里面看见的，在那里面阐述为可以接受更加广的一个感受野（receptive field）。第三种，就是所谓的一维卷积了，这中形式的卷积出自谷歌之手，第一次出现大概是在阐述inception系列结构的时候做的应用，这种一维形式的卷积呢，主要有两个优点：第一个优点是可以节约参数，将一个3*3的卷积可以分解为两个1*1和一个1*3+3*1的形式，第二个优点呢也是比较明显的，就是采用了这种方式它的计算效率也是非常快的。第4中，就是所谓的1*1卷积了，当时呢，我还以为Network in Network就是所谓的1*1卷积呢，1*1卷积主要有两方面的作用：第一个方面就是它可以增加特征图的数量也可以减少用它可以进行支路数据的融合(dense\res)，多一句就是现在貌似用ZeroPadding比较流行， 第二个方面呢，就是用来替换最后一层的全连接（全连接是真的**，需要固定参数，而且参数还非常多），这就可以保证你设计网络是特征图的多样性了。
（2）关于池化pool：emmmm，了解的不多，当初看理论的时候说它是用来提取局部信息的，或者说局部最大值的，主要就是Maxpooling和Averagepooling， 现在有很多网络放弃了pool或者用的很少（用的很少的那一部分也就是在最开始第一个卷积之后和最后输出结果特征图之前用），它的替代品就是大步卷积（strides>1感觉这么翻译好别扭啊）。
先就说这么多吧，哈哈.......请多指教。