KDD2016论文精品解读二_[#第一枪]

联合编译：高斐，章敏，陈杨英杰

导读：KDD2016是首屈一指的跨学科会议，它聚集了数据科学，数据挖掘，知识发现，大规模数据分析和大数据方面的研究人员和从业人员。

论文一：在频率域中压缩卷积神经网络

摘要

卷积神经网络(CNN)在计算机视觉的多个研究领域受到越来越广泛的应用。由于卷积神经网络能够通过利用数以百万计的参数，“吸收”大量的标记数据，这种神经网络的应用受到普遍关注。然而，随着模型尺寸不断增大，对分类器的储存与记忆要求也不断提升，如此便对许多应用，如手机及其他设备的图像识别，语音识别功能，形成阻碍。本文将呈现一种新型网络建构----对频率敏感的散列网（FreshNets），这种散列网是利用一个深度学习模型的卷积层与全面连接层之间固有存在的冗余建构形成，能够极大程度上节省记忆与存储消耗。学习卷积滤波器的权重通常是平稳和低频的，基于这一重大观察结果，我们首先将滤波器的权重转变为带有离散余弦变换的频域，使用低成本的散列函数随机将频率参数划分为散列桶位。被分配为同一个散列桶位的所有参数共享一个能够运用标准反向传播算法学会的单一值。为了进一步缩减模型的尺寸，我们将少数散列桶位分配给一些高频率组分，这些高频率组分通常不太重要。我们在八个数据集中对FreshNets进行评估，评估结果显示，与其他几种相关联的基线相比，FreshNets具备更高的压缩性能。

关键字：模型压缩；卷积神经网络；散列

第一作者简介Wenlin Chen

学校：圣路易斯华盛顿大学计算机科学与工程系博士

主要研究领域：机器学习，数据挖掘，人工智能，其中尤其对深度学习和大规模机器学习两个领域感兴趣

相关学术成果：

·Strategies for Training Large Vocabulary Neural Language Models（Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics.2016.（ACL-16））

·Compressing Convolutional Neural Networks in the Frequency Domain,（Proc. ACM SIGKDD Conference, 2016. （KDD-16））

·Deep Metric Learning with Data Summarization.European Conference on Machine Learning（2016 （ECML-16））

论文

斗轮堆取料机货源

其他灯具

封接材料价格