建设电影网站视频,我们的爱情网站制作,百度贴吧入口,网站的字体做多大如何在卷积神经网络上运行 BERT#xff1f;你可以直接用 SparK —— 字节跳动技术团队提出的提出的稀疏层次化掩码建模 ( Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling )#xff0c;近期已被人工智能顶会 ICLR 2023 收录为 Spotligh…如何在卷积神经网络上运行 BERT你可以直接用 SparK —— 字节跳动技术团队提出的提出的稀疏层次化掩码建模 ( Designing BERT for Convolutional Networks: Sparse and Hierarchical Masked Modeling )近期已被人工智能顶会 ICLR 2023 收录为 Spotlight 焦点论文这也是 BERT 在卷积神经网络 (CNN) 上的首次成功论文和开源代码地址请在文末自取。先来感受一下 SparK 在预训练中的表现吧。输入一张残缺不全的图片还原出一只小狗另一张残缺图片原来是贝果三明治其他场景也可实现图片复原下面我们将展开讨论这项技术。BERT 和 Transformer 的天作之合“任何伟大的行动和思想都有一个微不足道的开始。”在 BERT 预训练算法的背后是简洁而深刻的设计。BERT 使用“完形填空”将一句话中的若干词语进行随机删除并让模型学会恢复。BERT 非常依赖于 NLP 领域的核心模型 —— Transformer。Transformer 由于生来就适合处理可变长度的序列数据例如一个英文句子所以能轻松应付 BERT 完形填空的“随机删除”。视觉领域的 CNN 也想享受 BERT两个挑战何在回顾计算机视觉发展史卷积神经网络模型 (CNN) 凝练了平移等变性、多尺度结构等等众多经典模型精华可谓 CV 界的中流砥柱。但与 Transformer 大相径庭的是CNN 天生无法适应经过完形填空“挖空”的、充满“随机孔洞”的数据因此乍一看无法享受到 BERT 预训练的红利。上图 a. 展示的是 MAE (Masked Autoencoders are Scalable Visual Learners) 这项工作由于使用的是 Transformer 模型而非 CNN 模型其可以灵活应对经过带有空洞的输入乃与 BERT “天作之合”。而右图 b. 则展示了一种粗暴融合 BERT 和 CNN 模型的方式——即把全部空洞区域“涂黑”并将这张“黑马赛克”图输入到 CNN 中结果可想而知会带来严重的像素强度分布偏移问题并导致很差的性能 (后文有验证)。这就是阻碍 BERT 在 CNN 上成功应用的挑战一。此外作者团队还指出源自 NLP 领域的 BERT 算法天然不具备“多尺度”的特点而多尺度的金字塔结构在计算机视觉的悠久历史中可谓“金标准”。单尺度的 BERT和天然多尺度的 CNN 之间的冲突则是挑战二。解决方案 SparK稀疏且层次化的掩码建模作者团队提出了 SparK (Sparse and hierarchical masKed modeling) 来解决前文两个挑战。其一受三维点云数据处理的启发作者团队提出将经过掩码操作 (挖空操作) 后的零碎图片视为稀疏点云并使用子流形稀疏卷积 (Submanifold Sparse Convolution) 来进行编码。这就让卷积网络能够自如处理随机删除后的图像。其二受 UNet 优雅设计的启发作者团队自然地设计了一种带有横向连接的编码器-解码器模型让多尺度特征在模型的多层次之间流动让 BERT 彻底拥抱计算机视觉的多尺度黄金标准。至此一种为卷积网络 (CNN) 量身定制的稀疏的、多尺度的掩码建模算法 SparK 诞生了。SparK 是通用的其可被直接运用在任何卷积网络上而无需对它们的结构进行任何修改或引入任何额外的组件——不论是我们耳熟能详的经典 ResNet还是近期的先进模型 ConvNeXt均可直接从 SparK 中受益。从 ResNet 到 ConvNeXt三大视觉任务性能提升作者团队选择了具代表性的两个卷积模型家族 ResNet 和 ConvNeXt并在图像分类目标检测、实例分割任务上进行了性能测试。在经典 ResNet-50 模型上SparK 作为唯一的生成式预训练达到了 State-of-the-art 水准在 ConvNeXt 模型上SparK 依旧领先。在预训练前ConvNeXt 与 Swin-Transformer 平分秋色而经预训练后ConvNeXt 在三个任务上均压倒性超过了 Swin-Transformer当从小到大在完整的模型家族上验证 SparK便可观察到无论模型的大与小、新与旧均可从 SparK 中受益且随着模型尺寸/训练开销的增长涨幅甚至更高体现出 SparK 算法的扩放 (scaling) 能力最后作者团队还设计了一个验证性的消融实验从中可见稀疏掩码和层次化结构 (第3行和第4行) 均是非常关键的设计一旦缺失就会造成严重的性能衰退相关链接论文https://arxiv.org/pdf/2301.03580开源代码https://github.com/keyu-tian/SparK
