发财哥的博客

1 2 3 4

怎样设计最优的卷积神经网络架构?| NAS原理剖析

虽然,深度学习在近几年发展迅速。但是,关于如何才能设计出最优的卷积神经网络架构这个问题仍在处于探索阶段。

其中一大部分原因是因为当前那些取得成功的神经网络的架构设计原理仍然是一个黑盒。虽然我们有着关于改进神经网络表现的丰富心得,但其实并没有真正了解神经网络是如何达到当前这么优秀的表现。关于CNNs的一些线索

我们从如下几点开始剖析。近期研究提供了一些具体地证据证明这几点确实可以用来提升CNN的表现:

增加图像分辨率

增加网络深度

增加网络宽度

增加跳过连接(密集块或残差块)

经验表明,以上几种方式是使得CNN之所以取得最优结果的关键。增加图像的分辨率可以“喂养”网络更多的信息去学习;增加网络宽度与深度使网络学习到更多的参数。另外,增加“跳过连接”可以增加网络的复杂性,从而增强网络的表征能力。

怎样设计最优的卷积神经网络架构?| NAS原理剖析

密集连接块(DenseNet)

怎样设计最优的卷积神经网络架构?| NAS原理剖析

一个宽网络上的跳过连接(ResNext)神经架构搜索

上一篇:从华为5G远程挖机看可能出现的行业变革
下一篇:首席技术官(Chief Technology Officer,简称CTO)