如何评价ILSVRC 2015 结果

如何评价ILSVRC 2015 结果

第一次回答此类问题，有不准确的地方敬请见谅。关于ILSVRC的背景知识， Filestorm 有一篇很好的文章，值得一读，我就不再赘叙了，免得我的文笔相形见绌：
从Clarifai的估值聊聊深度学习 - 机器视觉x模式识别

今年我们在Google提交的结果与去年相比有了很大的提高，并且在classification和detection两个方向都获得了最好的结果。不过，话说回来，大家也应该都估计到了今年的结果会比去年好：）个人觉得，更有意思的是“how to get the number"而不是“what the number is”。我从classification和detection两个track分别聊一下个人的拙见。

Classification：与Alex在2012年提出的AlexNet不同的一点是，我们这次的结果大大增加的网络的深度，并且去掉了最顶层的全连接层：因为全连接层（Fully Connected）几乎占据了CNN大概90%的参数，但是同时又可能带来过拟合（overfitting）的效果。这样的结果是，我们的模型比以前AlexNet的模型大大缩小，并且减轻了过拟合带来的副作用。另外，我们在每一个单独的卷积层上也作了一些工作（“with intuitions gained from the Hebbian principle”），使得在增加网络深度的情况下，依然可以控制参数的数量和计算量，这都是一些很有趣的方向。

Detection：个人觉得，在detection上最有意思的工作应该是ILSVRC2013以后，Jeff Donahue和Ross Girshick（和我在Berkeley同一个实验室的Phd学生和Postdoc）所发表的R-CNN方法。R-CNN的具体想法是，将detection分为寻找object（不管具体类别，只管“那儿好像有个东西”）和识别object（识别每个“东西”到底是狗还是猫）两个过程。在第一步，我们可以用很多底层特征，比如说图像中的色块，图像中的边界信息，等等。第二步就可以祭出CNN来做识别，网络越好，识别率也就越高。今年很多参与detection的组都借鉴了R-CNN的想法。

牛都从学术的高度解释了今年ilsvrc 2014的结果，也就不偷懒地从engineering的角度谈一下。 googlenet和vgg的classification模型从原理上并没有与传统的cnn模型有太大不同。大家所用的pipeline也都是：训练时候：各种数据augmentation（剪裁，不同大小，调亮度，饱和度，对比度，偏色），剪裁送入cnn模型，softmax，backprop。测试时候：尽量把测试数据又各种augmenting（剪裁，不同大小），把测试数据各种agumenting后在训练的不同模型上的结果再继续averaging出最后的结果。 今年的结果看起来是越深的模型越好（vgg的结果在12月份revised过的paper上也是他们最深的模型效果最好）。但是越深的模型训练所需要的时间越长。vgg的mode d我在4个gpu上跑了三周多。googlenet的训练时间看起来会短一些，但是怎样优化内存占用还不是很清楚，所以现在还没有重复出来的结果（没有distbelief啊喂！princeton的结果看起来还没有达到googlenet的效果）。 就今年的结果而言，还有几点在engineering上不太清楚： 1). vgg的模型，如果直接训练，不用mode a来初始化，结果会好些吗，可以用训练好的几个mode e来averaging吗？（似乎最近的结果看起来initialization对结果确实会有一些影响. 2). googlenet模型中那些分叉出去的softmax layers到底有效果，还是为了工程实践上的方便？ 3). vgg模型前两层的小reception fields到底有用吗？还是和googlenet一样用matt & fergus的7x7，5x5在前几层不影响？（大量的3x3 kernel convolution在前几层很慢，内存占用也大）。 4). 从其他人的结果看起来，似乎更多的data augmentation是有帮助的，但是在sub-10%的level，更多的data augmentation帮助到底有多大？ 5). googlenet的最后一层是average pooling，大大降低了参数数量，这样对结果有负面影响吗？ 6). 大家都用7、8个模型来averaging，把这些模型distilling到一起的话有帮助吗？ 总结一下的话，今年大家的结果都很好，但是要实用起来还有一段路.