NEWS INFORMATION

共享的骨架网络(Pose,PRNPRN)(图)

: 使用 Pose 的快速多姿势

图1

简介：多人姿态估计可以分为两个子问题。第一个问题是准确检测人体关节；第二个问题是将检测到的关节点分配给人类实例。提出的使用姿态残差网络（Pose，PRN）共同解决了人体目标检测、关键点检测、人体分割和姿态估计等问题。作为一种自下而上的姿态估计方法，该方法在 COCO 数据集上实现了最好的姿态估计精度，在实时估计速度上表现出很强的竞争力。

文献资料

1个创新点

1.1 提出新的关键点分配网络——Pose

图 2

网络的输入是关键点和检测到的人物内容图。通过将相应的关键点分配给图像内容，为每个人构建相应的姿势。作者将网络命名为 Pose（如图 2 所示）。PRN使用感兴趣区域（RoI）对关键点检测结果进行处理，处理后的结果输入到残差多层感知网络中。PRN可以同时考虑和学习所有关键点的结构特征，从而更好地实现关键点分配问题。

2 方法概述

图 3

它是一种从低到高的二维图像姿态估计方法。它使用多任务学习模型共同解决字符和关键点检测、字符分割和姿态估计等问题。网络的整体流程如图3所示。网络首先使用共享骨架网络（ ）对2D图像进行特征提取，用于关键点检测子网和人物分割子网；然后使用 PRN 对获得的关键点和人物分割图进行姿态估计。下面描述每个模块的细节。

2.1 共享骨架网络

共享骨架网络实际上由两个特征金字塔网络( , FPN)组成，其中一个FPN用于关键点检测子网，另一个用于字符分割子网。FPN 目前在对人进行分类和定位方面表现出更好的性能。在论文的方法中，FPN分别与C2-C5中C2-C5卷积层的输出特征相连接，实现层次特征的充分利用。通过这种机制，FPN实现了高分辨率图像的强特征表示和低分辨率图像的弱分辨率表示。对于不同尺度的特征，采用不同的采样步骤。

2.2 关键点估计子网

图 4

关键点估计的具体过程如图4所示。关键点估计子网的输入是FPN提取的分割后的图像特征，输出是图像关键点和分割后的字符热图表示。

子网估计的热图使用高斯峰值函数来表示字符的关键点。每层热图代表一类关键点（鼻子、手腕等），包含的关键点数量由图像中的角色实例决定。最后一层热图表示的人物分割掩码编码图像中人物的像素级空间布局。

FPN提取的分层图像特征具有相同的深度和不同的尺度。经过激活和上采样后残差网络的核心设计，得到相同深度和尺度的分层特征。最终的通过1*1卷积得到，的层数为K+1，其中K代表一个字符的关键点个数，1表示最后一层是用于字符分割的。（还有疑问，为什么要有人物检测子网来预测人物分割图片？）

2.3 人员检测子网

图 5

人物检测的流程如图5所示，其中网络P是用于检测人物的金字塔网络，采用网络模型，只是分类和回归被修改为适合人物标签、损失函数和金字塔的数据处理特征提取等计算方法不变（同）。

2.4 姿态残差网络（Pose，PRN）

图 6

PRN的数据处理模式如图6左图所示。由于图像中可能存在重叠的人，所以在一个人检测帧中可能存在多个人的身体成分残差网络的核心设计，这在关键点分配过程中容易产生歧义（检测框中的哪个人被分配给重叠的关键点）。

将输入到 PRN 的人检测框形成相同大小的框，便于网络处理。

K个不同的关键点热图用X=\{x_{1},x_{2},...,x_{k}\}表示，PRN的目的是计算每个关键点的位置信息Y=\ {y_{1},y_{2},...,y_{k}\}，具体计算公式如下

y_{k}=\phi_{k}(X)+x_{k}

在公式中，\phi_{1}(\cdot),...,\phi_{K}(\cdot) 对 X 使用了残差连接，这些连接是使用多个感知残差网络实现的。输出层使用该函数计算关键点的概率分布，训练过程中使用二元交叉熵损失函数作为目标函数。

作者假设PRN的每个隐藏节点都编码了一个固定的人体姿态，图6右侧显示了部分PRN的输出（处理后）。

3 总结

图 7

文章姿态估计结果的呈现如图7所示。可以发现，该模型能够更好地预测多人图像中不同人的姿态，并且对于重叠的内容也能很好地进行姿态估计。人体。

如果能用于pose ，或许能解决多人pose 的问题

（如有错误请指正）

了解更多学习网络推广知识，就来广西网络推广。

上一篇：记住这句话非常重要：网络推广的本质以及内行该有的操作章法
下一篇：一下常见的网络推广方法有哪些呢？(组图)