公共建设工程中心网站,莱芜人论坛,网站建设实施流程,门户网站建设单位资质要求CAPAO#xff1a;一种高效的单阶段人体姿态估计模型
重新思考关键点表示#xff1a;将关键点和姿态建模作为多人姿态估计的对象#xff08;Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation#xf…CAPAO一种高效的单阶段人体姿态估计模型
重新思考关键点表示将关键点和姿态建模作为多人姿态估计的对象Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation
1. 摘要
在人体姿态估计等关键估计任务中基于热图的回归是主要的方法尽管存在明显的缺点热图本质上存在量化误差需要过多的计算来生成和后处理。为了找到一个更有效的解决方案我们提出在一个密集基于锚的单阶段检测框架其将单个关键点和空间相关的关键点即姿态建模为对象。因此我们将我们的方法称为KAPAO发音为“Ka-Pow”用于表示关键点并伪装成对象。将KAPAO应用于单阶段多人姿态估计问题同时检测人姿态和关键点对象利用两种人姿态表示的优势。在实验中我们观察到KAPAO比以前的方法更快、更准确受热图后处理的影响。在实际设置中当不使用测试时间增强时精度-速度的权衡特别有利。 论文https://arxiv.org/pdf/2111.08557.pdf 代码https://github.com/wmcnally/kapao 效果如下所示如果想要查看更多视频可以去源代码仓库查看
2. 简介 估计关键点位置最常用的方法是生成热图heat-maps即在目标关键点坐标上的中心二维高斯分布。然后利用深度卷积神经网络对输入图像上的目标热图进行回归并通过预测的热图的最大值参数进行关键点预测。 上述方法存在的弊端1.受到输出热图的空间分辨率的限制热图越大越有利但是即使使用了大型热图也需要特殊的后处理步骤来改进关键点预测从而减缓推理2.当同一类型即类的两个关键点彼此靠近时重叠的热图信号可能会被误认为是单个关键点。 我们引入了一种新的姿态对象表示以帮助检测空间相关的关键点集。此外我们同时检测关键点对象和姿态对象并使用一个简单的匹配算法来融合结果以利用这两种对象表示的好处。通过对姿态对象的检测统一了人的检测和关键点估计提供了一种高效的单阶段多人姿态估计方法其精度和速度如下图所示其中圆的大小与模型参数的数量成正比 由于没有使用热图KAPAO在准确性和推断速度方面比最近的单阶段人体姿态估计模型要更好特别是在不使用测试时间增强TTA时这代表了这些模型在实践中是如何部署的。如上所示KAPAO在没有TTA的情况下在微软COCO关键点验证集上实现了70.6的AP而平均延迟为54.4 ms转发通过后处理时间。与最先进的单级模型HigherHRNet SWAHR 相比KAPAO在不使用TTA时更快5.1×更精确3.3 AP。与中心组The center of attention: Center-keypoint grouping via attention for multi-person pose estimation. In: ICCV (2021)相比KAPAO更快3.1×更准确1.5 AP。这项工作的贡献总结如下 提出了一种新的姿态对象表示方法它通过包含一组与该对象相关联的关键点来扩展传统的对象表示方法。 通过同时检测关键点对象和姿态对象并融合检测结果提出了一种新的单阶段人体姿态估计方法。在不使用TTA的情况下所提出的无热图的方法明显比最先进的基于热图的方法更快、更准确。
3. 相关工作
3.1 Heatmap-free keypoint detection
DeepPose [58]使用深度神经网络的级联直接从图像中回归关键点坐标迭代地细化关键点预测。此后不久Tompson等人[57]引入了关键点热图的概念这在人类姿态估计和其他关键点检测应用中仍然普遍存在。注意到与生成热图相关的计算低效Li[30]等人解开了水平和垂直关键点坐标这样每个坐标都使用一个热编码向量表示。这节省了计算量并允许扩展输出分辨率从而减少了量化误差的影响并消除了细化后处理的需要。Li等人[27]引入了残余对数似然RLE这是一种基于归一化流[53]的直接关键点回归的新的损失函数。直接关键点回归也已尝试使用Transformers。
3.2 Single-stage human pose estimation 单阶段人体姿态估计方法使用单个前向通道来预测图像中每个人的姿态。相比之下两阶段的方法首先使用现成的人检测器例如更快的R-CNN [52]YOLOv3 [51]等来检测图像中的人。然后估计每个检测的姿态。单阶段方法通常不太准确但通常在拥挤的场景[28]中表现更好通常因为它们的简单和效率而被首选随着图像中人数的增加这变得特别有利。与两阶段方法相比单阶段方法在设计上的差异更大。例如它们可以(i)检测图像中的所有关键点并执行自下而上的分组到人体姿态ii扩展对象检测器以统一人检测和关键点估计或iii使用替代的关键点/姿态表示例如预测根关键点和相对位移。下面我们将简要总结一下最新的最先进的单阶段方法
Cheng等人[7]将HRNet [54]重新用于自底向上的人体姿态估计通过添加一个转置卷积来加倍输出热图分辨率HigherHRNet并使用关联嵌入[42]进行关键点分组。他们还实施了多分辨率训练来解决尺度变化问题。Geng等人的[12]使用HRNet骨干预测了人中心热图和2K个偏移图分别表示以每个像素为中心的候选姿态的K个关键点的偏移向量。他们还使用单独的回归头和自适应卷积来解开关键点回归DEKR。Luo等人[35]以HigherHRNet为基础提出了尺度和权重自适应热图回归SWAHR该回归基于人尺度对地面-真实热图高斯方差进行缩放并平衡前景/背景损失加权。他们的修改提供了比HigherHRNet的显著精度改进以及与许多两阶段方法相当的性能。再次使用HigherHRNet作为基础Bras‘o等人[3]提出中心小组使用一个完全可区分的自我注意模块端到端训练与关键点检测器。值得注意的是上述所有方法都遭受了昂贵的热图后处理因此它们的推理速度还有很多不足之处
3.3 Extending object detectors for human pose estimation
目标检测任务与人体姿态估计任务之间存在显著的重叠。例如
He等人[14]使用Mask R-CNN实例分割模型通过使用一个热掩模预测关键点来进行人体姿态估计。Wei等人[64]提出了点集锚它采用了视网膜网[32]目标探测器。Zhou等人。[70]使用基于热图的中心点和中心网建模对象并将姿态表示为中心点的2k维属性。Mao等人[36]使用动态滤波器[21]使用FCPose调整了FCOS [56]对象检测器。虽然这些基于目标探测器的方法提供了良好的效率但它们的精度并没有与最先进的基于热图的方法竞争。我们的工作最类似于点集锚点[64]然而我们的方法不需要定义依赖于数据的姿态锚点。此外我们同时检测单个关键点和姿态并融合检测以提高我们最终姿态预测的准确性。
4. KAPAO: Keypoints and Poses as Objects
KAPAO使用一个密集的检测网络来同时预测一组关键点对象和一组姿态对象.这两种对象表示法都具有独特的优势。关键点对象专门用于检测具有强局部特征的单个关键点。在人类姿态估计中常见的这些关键点的例子包括眼睛、耳朵和鼻子。然而关键点对象不携带关于人或姿势概念的信息。如果单独用于多人的人体姿态估计将需要一种自下而上的分组方法来将检测到的关键点解析为人体姿态。相比之下姿态对象更适合于定位具有弱局部特征的关键点因为它们使网络能够学习一组关键点内的空间关系。此外它们可以直接用于多人的人体姿态估计而不需要自下而上的关键点分组。认识到关键点对象存在于姿态对象的子空间中KAPAO网络被设计为使用单个共享网络头以最小的计算开销同时检测两种对象类型。在推理过程中使用一种简单的基于公差的匹配算法将更精确的关键点对象检测与人体姿态检测进行融合该算法在不牺牲任何大量推理速度的情况下提高了人体姿态预测的准确性。下面的部分详细介绍了网络架构、用于训练网络的损失函数和推理。
4.1 Architectural Details
下图提供了模型的算法结构它使用一个深度卷积神经网络N映射RGB输入图像I(hxwx3)到一组特征金字塔分别按照8、16、32、64进行采样其中N为多任务损失L训练的密集检测网络然后利用非极大值一直NMS获得候选检测结果姿态和关键点并利用匹配算法将其融合在一起获取最终的人体姿态预测结果P。 N是一个YOLO风格的特征提取器在特性金字塔[31]宏体系结构中广泛使用跨阶段-部分CSP瓶颈。为了为不同的速度要求提供灵活性通过缩放N中的层数和通道数我们训练了三种尺寸的KAPAO模型即KAPAO-S/M/L。此处翻译时公式比较难打直接附上原图
4.2 Loss Function 4.3 Inference 4.4 Limitations 5. Experiments
5.1 Microsoft COCO Keypoints
训练时
KAPAO-S/M/L都在2017年COCO列车上训练了500个周期使用内斯特罗夫动量的随机梯度下降权重衰减学习速率在单余弦周期上衰减.输入的图像被调整大小并填充到1280×1280保持原来的长宽比。在训练过程中使用的数据增强包括马赛克[2]、HSV颜色空间扰动、水平翻转、平移和缩放。许多训练超参数都继承自[23,61]包括锚盒A和减重量w、λobj、λbox和λcls。其他的包括关键点边界框大小bs和关键点损失权重λkps都是使用小网格搜索手动调整的。这些模型在4个v100gpu上进行训练每个gpu有32 GB内存批处理大小分别为128、72和48分别是KAPAO-S、M和L。在每个历元之后进行验证保存提供最高验证AP的模型权重。
测试结果直接放表格吧 5.1 CrowdPose
人群中的姿势
研究发现在之前的单阶段方法相比KAPAO在存在遮挡方面表现突出在所有指标上都取得了竞争性的结果以及AP的最先进的准确性。在拥挤场景中的熟练程度是明显的更多遮挡情况下准确度更高。
5.2 消融研究(Ablation Studies) 6. 结论
本文提出了一种基于关键点和对象建模的无热图关键点估计方法KAPAO。KAPAO通过检测人体姿态对象有效地应用于单阶段多人人体姿态估计问题。此外融合联合检测到的关键点对象可以以最小的计算开销提高预测的人体姿态的精度。当不使用测试时间增强时KAPAO明显比以前的单阶段方法更快、更准确这将受到热图后处理和自下而上的关键点分组的极大阻碍。此外KAPAO在严重遮挡下表现良好这可以由CrowdPose的竞争结果证明。
conda info --envs
