EN
2022年03月24日研究成果

世界上最深的SNN网络&最大的SNN数据集

李国齐团队

       当前脉冲神经网络的训练局限于浅层(小于等于10层)、简单任务,制约了融合网络的规模。中科院自动化所研究员、智源青年科学家李国齐团队在2018年提出的脉冲网络训练框架STBP的基础上,提出了阈值依赖的批归一化方法,提出了适合解决脉冲神经网络的脉冲衰减技术难题的网络结构,解决了大规模SNN无法直接训练的难题。2021年训练了世界上最深的SNN网络,将目前SNN的训练由3-5层的浅层结构拓展至50层的深层结构 (AAAI 2021),具有了训练50-500层深度SNN的能力,并提出了时间注意力机制的SNN网络(ECCV 2021)。在性能上,AAAI 2021的SNN网络在ImageNet上首次将Top1 的acc提升到65%,并在此工作基础之上,今年将Top1的acc提升到76%,是SNN领域报道的最好结果。在能效上,在ImageNet上针对ANN由6倍的提升,在DVS数据库上由30x的能效提升(该工作在IJCAI 2022审稿)。在数据集方向,提出了全向离散梯度(ODG)的快速有效算法将流行的计算机视觉数据集ILSVRC2012转换为适合SNN处理的事件流数据集ES-ImageNet (Front. Neurosci. 2021),它比目前其他神经形态分类数据集大几十倍,完全由软件生成。该项工作将为SNN和神经形态视觉提供一个新的大规模基准数据集。



分享到: