EN
2022年03月24日研究成果

深度网络层内结构设计

林宙辰团队

       北京大学教授、智源研究员林宙辰团队针对普通卷积不能满足旋转等变性的问题,即输入图像旋转若干角度,其特征图也旋转相应角度,率先利用偏微分算子来表达等变卷积,得到了连续情形严格等变、离散化后等变误差可控的新型等变卷积,计算量和参数量都较现有等变卷积大幅度下降,其中计算量可降为50%,参数量可降为10%;首次把度规等变性引入注意力机制,得到适用于流形数据的Transformer,参数量可降为1/15;提出等变模型的统一框架,并将特征聚合运算进行解耦,解决了一般的等变卷积不区分空间位置和计算量大的问题,得到了参数量、计算量、数据量均高效的等变网络,其中参数量可降为56%、计算量可降为68%。针对稀疏正则化子不能有效适应数据的问题,团队受优化算法启发,通过临近算子转化为学习激活函数,很好地解决了这个问题。


2.png

(图片来源:学者提供)


分享到: