奶爸为8岁女儿解读深度学习篇之:11个事实
以下是由 Yann Lecun 设计的原始 LeNet-5 卷积神经网络的概述,他是早期采用该技术进行图像识别的人之一。 原始论文中的 LeNet-5 架构(来源:http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf) 事实 9:深度学习只是基于反馈回路的持续改进 技术之美不仅来自卷积,而且来自网络自身学习和适应的能力。通过实现名为反向传播的反馈回路,网络将使用权重来减轻和抑制不同层中的一些「神经元」。 我们来看看网络的输出,如果猜测(输出 0, 1, 2, 3, 4, 5, 6, 7, 8 或 9)是错误的,我们要看一下是哪个/些过滤器「出了错」,找到之后,我们给这个/些过滤器一个小小的权重,这样它们下次就不会犯同样的错误。瞧!系统在学习并不断改进自己。 事实 10:这一切都说明,深度学习是易并行过程 提取数千个图像,运行数十个过滤器,采用下采样,扁平化输出...... 所有这些步骤可以并行完成,这使得系统易于并行。它只是 GPGPU(通用图形处理单元)的完美用例,非常适合大规模并行计算。 事实 11:需要更精确?那网络就再深一点 当然这有点过于简单化,但如果我们看一下主要的「图像识别竞赛」,即 ImageNet 挑战,我们就可以看到错误率随着神经网络的深度增加而降低。人们普遍认为,排除其他因素,网络深度的增加将带来更好的泛化能力和准确性。 Imagenet 挑战赛获胜者错误率 VS 网络中的层数 (来源: https://medium.com/@sidereal/cnns-architectures-lenet-alexnet-vgg-googlenet-resnet-and-more-666091488df5) 结论 我们简要介绍了应用于图像识别的深度学习概念。值得注意的是,几乎所有用于图像识别的新架构(医疗、卫星、自动驾驶......)都使用相同的原理,只是具有不同数量的层,不同类型的滤波器,不同的初始化点,不同的矩阵大小,不同的技巧(如图像增强、dropout、权重压缩...)。概念都是一样的: 手写数字识别过程 深度学习模型的训练和推理可以归结为并行完成的大量基本矩阵运算,确切地说,这正是我们已有的图形处理器(GPU)的用途。
【编辑推荐】
点赞 0 (编辑:PHP编程网 - 黄冈站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |