比MAE更强,FAIR新方法MaskFeat用HOG刷新多个SOTA
mask-and-predict 的方法可能会成为计算机视觉领域的新流派。
自监督预训练在自然语言处理方面取得了惊人的成功,其基本思路中包含着掩码预测任务。前段时间,何恺明一作的论文《Masked Autoencoders Are Scalable Vision Learn比Mers》提出了一种简单实用的自监督学习方案 MAE,将 NLP 领域的掩码预测(mask-and-predict)方法用在了视觉问题上。现在来自 Facebook AI 研究院(FAIR)的研究团队又提出了一种自监督视觉预训练新方法 MaskFeat。
论文地址:https://arxiv.org/pdf/2AE112.09133.pdf
MaskFeat 首先随机掩码一部分输入序列,然后预测被掩码区域的特征。通过研究 5 种不同类型的特征,研究者发现方向梯度直方图 (HOG) 是一种很好的特征描述方法,在性能和效率方面都表现优异。并且研究者还观察到 HOG 中的局部对比归一化对于获得良好结果至关重要,这与之前更强使用 HOG 进行视觉识别的工作一致。
该方法可以学习丰富的视觉知识并驱动基于 Transformer 的大规模模型。在不使用额外的模型权重和监督的情况下,MaskFeat 在未标记的视频上进行预训练,使用 MViT-L 在 Kinetics-400 上实现了前所未有的 86.7% top-1 准确率。此外,Ma,FskFeat 还能进一步推广到图像输入,并在 ImageNet 上获得了有竞争力的结果。
方法
掩码视觉预测任务旨在修复被掩码的视觉内容。通过建模掩码样本,该模型从识别物体的部位和运动的意义上实现了视频理解。例如,要补全下图中的图像,模型必须首先根据可见区域识别对象,还要知道对象通常的形态和移动方AI式,以修复缺失区域。
该任务的一个关键组成部分是预测目标。在自然语言处理任务中,掩码语言建模使用词表 tokenize 语料库作为目标。而在视觉领域,原始视觉信号是连续的、高维的,并且没有可用的自然「词表」。
因此,MaskFeat 提出将预测被掩码区域的特征。借助从原始完整样本中提取的特征进行监督R新。目标特征的选择在很大程度上影响了预训练模型的属性,该研究对特征进行了广泛的解释,并主要考虑了 5 种不同类型的目标特征。
首先研究者将目标特征分为两组:1) 可以直接获得的单阶段目标,包括像素颜色和 HOG;2) 由经过训练的深度网络提取的两阶段目标。由于预测两阶段目标是借助训练有素的深度网络方法有效学得的(类似于模型蒸馏),因此教师模型的预训练和推理的额外计算成本是不可避免的。该研究主要探究的 5 种特征类型是:
像素颜色; 方向梯度直方图(HOG); 离散变分自编码器(dVAE); 深度特征; 伪标签。
该研究通过了一系列的分析探究了这 5 种特征的利弊。尽管掩码语言建模最初是在预定义词表上Ma预测分类分布,但 BEiT 中的离散化不需要视觉信息。分析结果表明,连续的无监督特征和图像描述符是性能较好的预测目标,其中前者需要模型蒸馏,后者则不需要额外的计算开销。
此外,研究者还发现监督训练的目标特征会产生较差的结果,这可能与存在于特征中的类级特定信息有关,即这种方法对于局部掩码建模来说过于全sk局化。总的来说,考虑性能和计算成本之间的权衡,该研究最终选择了 HOG 作为 MaskFeat 的默认特征。
方向梯度直方图(HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述方法,最早是在 CVPR 2005 的一篇论文《Histograms of Oriented Gradients for HFeuman Detection》中提出的。
HOG 特征提取的过程如下:首先把样本图像分割为若干个像素单元,把梯度方向平均划分为多个区间,在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计,得到一个多维的特征向量,每相邻的单元构成一个区间,把一个区间内的特征向量联起来得到多维的特征at向量,用区间对样本图像进行扫描,扫描步长为一个单元。最后将所有块的特征串联起来,就得到了完整的特征。
基于视频识别的实验
该研究在 K400 数据集上将 MaskFeat 和之前的工作进行了比较,结果如下表 3 所示,使用 MaskFeat 的 MViT-L 在 Kinetics-400 上实现了新的 SOTA——86.7用H% top-1 准确率。
迁移学习
为了评估该方法在下游任务上的迁移学习性能,该研究在 AVA v2.2 上微调了 MViT-L↑312,40×3 Kinetics 模型,实验结果如上表 3 和下表 4 所示,在 K600 上实现了 88.3% top-1 准确率,K700 上为 80.4%,均实现了新的 SOTA。
该研究在 AOGVA v2.2 上微调了 MViT-L↑312,40×3 Kinetics 模型,下表 5 给出了 MaskFeat 模型与现有方法相比的平均精度 (mAP)。MaskFeat 在全分辨率测试中达到了前所未有的 38.8 mAP,大大超过了以前所有方法。
感兴趣的读者可以阅读论文原文了解更多研究细节。
- ·Facebook年薪中位数170万元:凸显大厂在劳动力市场的网络效应
- ·混合云:如何让「混乱」回归秩序 译文
- ·浅谈漏斗分析
- ·儿童画中国龙
- ·被控在卢森堡非法避税 亚马逊赢得欧盟3亿美元税款上诉案
- ·阿里云无影AI云电脑亮相:体验超传统PC,可畅玩《黑神话:悟空》
- ·标签: 卓越睿新 智慧树 港股上市 数字化教学
- ·月之暗面发布新模型K2.6:长程任务与智能体能力实现新突破
- ·谷歌推出 AP2 协议,携手 PayPal 开启 AI 支付新时代
- ·男士衬衫39相当于什么尺码
- ·标签: T1 埃安 UT super 赵明 中国手机
- ·Anthropic 撤回 Claude Code 订阅限制测试,承认算力成本超出 Pro 套餐负荷
- ·标签: 比亚迪
- ·标签: Manus 蝴蝶效应 Meta AI智能体
- ·腾讯云开源 CubeSandbox:打造 AI Agent 的高性能“安全屋”
- ·标签: B站 财报 2025年 活跃用户
- ·云安全日报210430:IBM企业全面集成需求平台发现拒绝服务攻击漏洞,需要尽快升级
- ·微软 Copilot 拥抱竞争:集成 Anthropic AI 模型,打破 OpenAI 独家地位
- ·数据科学领域的顶级语言:Python 居首,SQL 次之
- ·标签: 自嗨锅 杭州金羚羊 蔡红亮 方便食品
- ·美国电影协会要求 OpenAI 停止 Sora2的版权侵权行为
- ·OpenAI 收购苹果 “快捷指令” 原团队新创公司
- ·标签: 国家通用语言文字法 网络游戏 国际交流 中文教育
- ·云安全日报210831:红帽RHEL系统内核发现特权提升漏洞,需要尽快升级
- ·3D大模型公司影眸科技再获数千万美元融资,蓝驰创投领投
- ·标签: 世喜
- ·Teresa Carlson谈AWS的云实施标准开发,全球培训可访问性工作
- ·Salesforce 2023财年第四财季净亏损9800万美元 同比有所扩大
- ·南网总调深化“云+AI”战略,与阿里云签订人工智能合作备忘录
- ·亚马逊推出 Lens Live,实时购物新体验助你发现好物!
- ·AI视频公司爱诗科技完成1亿元B+轮融资:ARR突破4000万美元,用户超1亿
- ·标签: 京东集团 京东零售 2026财年Q1 财报
- ·标签: 美团 钱江摩托 OTA锁电 AcFun
- ·云安全日报220304:IBM安全智能平台发现跨站脚本攻击漏洞,需要尽快升级
- ·美国15大避税公司:亚马逊位居榜首
- ·实操Install Victoriametrics in K8s
