一种人体遮挡程度确定方法、装置、电子设备和存储介质与流程

未命名 08-22 阅读:131 评论:0


1.本技术实施例涉及数据处理的技术领域,具体而言,涉及一种人体遮挡程度确定方法、装置、电子设备和存储介质。


背景技术:

2.在针对影视数据的处理场景中,画面中人物角色呈现的完整度影响着后续处理的准确度,示例地,在基于影视数据衍生的广告业务中,可以向用户推送影视中角色的同款服饰的购买链接,但是由于角色的姿势和站位不同,导致服饰在不同的镜头中会有不同的呈现,当画面中不同的角色靠的很近或者多个角色之间存在遮挡时,将会为后续的服饰识别与匹配等过程带来大量的噪声。
3.因此针对影视画面中的角色进行二次分析前,需要判断画面中角色是否存在遮挡,通过及时对被遮挡的角色进行相应的处理,可以有效减少后续处理过程中的噪声,提高后续处理过程的准确性。
4.目前在确定影视画面中人体是否存在遮挡时,有人工筛选和分类算法两种方法,但是人工筛选的效率低下,而分类算法无法对人体的遮挡情况进行量化,存在判断精度不高的问题。


技术实现要素:

5.本技术实施例提供一种人体遮挡程度确定方法、装置、电子设备和存储介质,旨在准确地判断人体的遮挡程度。
6.第一方面,本技术实施例提供一种人体遮挡程度确定方法,所述方法包括:
7.在目标视频中抽取待处理的图像;
8.对所述待处理的图像中的每个对象生成各自对应的人体区域框;
9.分别确定所述待处理的图像中每个对象各自对应的多个关键点,所述每个对象各自对应的多个关键点用于指示所述每个对象的多个人体关键部位;
10.根据所述每个对象的人体区域框中包含其他对象的关键点的个数,确定所述每个对象的遮挡程度。
11.可选地,对所述待处理的图像中的每个对象生成各自对应的人体区域框,包括:
12.在所述待处理的图像的特征图上预设多个不同尺寸的锚框;
13.基于真实人体区域修正所述多个不同尺寸的锚框的位置,并确定每个锚框各自包含对象的第一置信度;
14.在所述第一置信度大于第一阈值的多个锚框中,确定任意两个锚框之间的交并比;
15.当所述任意两个锚框之间的交并比大于第二阈值时,保留所述任意两个锚框中第一置信度更高的锚框,以使所述每个对象对应唯一一个锚框作为人体区域框。
16.可选地,基于真实人体区域修正所述多个不同尺寸的锚框的位置,包括:
17.对于任一个锚框,确定该锚框与任一个真实人体区域的偏移量;
18.根据所述每个锚框的预设位置与最小的偏移量,对所述每个锚框的位置进行修正。
19.可选地,分别确定所述待处理的图像中每个对象各自对应的多个关键点,包括:
20.根据所述待处理的图像,生成所述待处理的图像中每个对象的人体特征图;
21.根据所述每个对象的人体特征图,生成所述每个对象的每个关键点对应的热力图;
22.根据所述每个对象的每个关键点对应的热力图中热力值,确定所述每个对象的每个关键点的坐标位置与第二置信度,其中,所述第二置信度用于表征每个关键点在所述待处理的图像中存在的可靠程度;
23.剔除所述第二置信度小于第二阈值的关键点。
24.可选地,根据所述每个对象的人体区域框中包含其他对象的关键点的个数,确定所述每个对象的遮挡程度之后,所述方法还包括:
25.根据所述遮挡程度小于遮挡阈值的对象的多个关键点之间的位置关系,确定所述对象的姿态;
26.当所述对象的姿态为正面姿态时,将所述对象的服饰图像与服饰商品库中的商品图像进行匹配;
27.在目标视频中显示与所述服饰图像相同和/或相似的服饰的购买链接。
28.可选地,在目标视频中显示与所述服饰图像相同和/或相似的服饰的购买链接,包括:
29.在所述目标视频中待处理的图像所在的帧起,标定时间段内显示弹窗,所述弹窗中包括与所述服饰图像相同和/或相似的服饰的购买链接。
30.可选地,在目标视频中显示与所述服饰图像相同和/或相似的服饰的购买链接,包括:
31.在所述目标视频中待处理的图像所在的帧显示弹幕,所述弹幕中包含有与所述服饰图像相同和/或相似的服饰的购买链接。
32.第二方面,本技术实施例提供一种人体遮挡程度确定装置,所述装置包括:
33.抽取模块,用于在目标视频中抽取待处理的图像;
34.人体区域框确定模块,用于对所述待处理的图像中的每个对象生成各自对应的人体区域框;
35.关键点确定模块,用于分别确定所述待处理的图像中每个对象各自对应的多个关键点,所述每个对象各自对应的多个关键点用于指示所述每个对象的多个人体关键部位;
36.遮挡程度确定模块,用于根据所述每个对象的人体区域框中包含其他对象的关键点的个数,确定所述每个对象的遮挡程度。
37.第三方面,本技术实施例提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如实施例第一方面所述的人体遮挡程度确定方法。
38.第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如实施例第一方面所述的人体
遮挡程度确定方法。
39.有益效果:
40.首先在目标视频中抽取待处理的图像,然后对待处理的图像中的每个对象生成各自对应的人体区域框,再分别确定待处理的图像中每个对象各自对应的多个关键点,多个关键点表征了每个对象的多个人体关键部位,根据每个对象的人体区域框中包含其他对象的关键点的个数,确定每个对象的遮挡程度。
41.本方法通过确定一个对象的人体区域框中包含的其他对象的关键点的数量来确定遮挡程度,当画面中存在多个人物互相遮挡的情况时,可以将多个人物各种遮挡的情况进行量化,相比于人工确定对象的遮挡程度,提高了效率与筛选质量,而相比于分类算法,可以提高遮挡程度的准确性;同时,基于人物在画面中准确性更高的遮挡程度,可以在目标视频中选择出更符合实际业务要求的人物代表图,进而还可以提升后续业务算法结果的准确性。
附图说明
42.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
43.图1是本技术一实施例提出的人体遮挡程度确定方法的步骤流程图;
44.图2是本技术一实施例提出的生成关键点的过程示意图;
45.图3是本技术一实施例提供的每个对象的多个关键点的分布示意图;
46.图4本技术一实施例提供的遮挡场景示意图;
47.图5本技术一实施例提供的人体遮挡程度确定方法的执行流程图;
48.图6是本技术一实施例提供的人体遮挡程度确定装置的功能模块图。
具体实施方式
49.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
50.在基于影视数据衍生的相关业务中,需要在影视画面中提取角色的代表图进行数据处理,例如推送影视中角色的同款服饰的购买链接的广告业务,但是如果影视画面中多个角色距离靠的较近,如在拥抱等场景中,角色在画面中会呈现重叠或遮挡的情况,重叠或遮挡的多个角色会为后续业务中服饰的识别和匹配带来很大的噪声,容易导致处理结果不准确,甚至是导致处理失败。
51.因此需要对画面中角色的遮挡情况预先进行确定,进而根据业务的不同确定是否继续对被遮挡严重的角色而进行后续的处理,现有的确定影视画面中人体是否存在遮挡的方法包括人工筛选和分类算法两种,但是人工筛选的效率低下,且因为每个人的主观判断标准的不同而导致确定结果的质量不稳定;而分类算法无法对人体的遮挡情况进行量化,
存在判断精度不高的问题,进而影响整个业务的处理准确性。
52.为了可以更加准确地确定人物是否被遮挡,本技术实施例提供一种人体遮挡程度确定方法。
53.参照图1,示出了本技术实施例中的一种人体遮挡程度确定方法的步骤流程图,所述方法具体可以包括以下步骤:
54.s101:在目标视频中抽取待处理的图像。
55.在实际应用中,可以根据应用业务的不同采用不同的抽取方法,示例地,在服饰推荐业务中,可以选择人物穿着不同服饰的多个图像,也可以选择热度较高的服饰所在图像,还可以根据剧情选择经典场景的图像;本实施例对于待处理的图像的抽取方法不做限制。
56.s102:对所述待处理的图像中的每个对象生成各自对应的人体区域框。
57.具体地,首先将待处理的图像缩放为固定的尺寸,然后利用卷积神经网络对待处理的图像进行特征提取,生成待处理的图像的特征图;然后在待处理的图像的特征图上预设多个不同尺寸的锚框,示例地,为了尽可能包含特征图中不同尺寸的人物对象,可以对特征图上的每一个像素点预设9个不同尺寸的锚框,如长宽为100x100的特征图,每个像素点均预设9个不同尺寸的锚框,则该特征图总共会有100x100x9个锚框。
58.然而并不是每个锚框中都包含有人物对象,部分锚框中即使包含有人物对象也不是完整的,因此需要确定多个不同尺寸的锚框各自包含对象的第一置信度,还需要确定多个不同尺寸的锚框与真实人物对象的偏移量。
59.在实际实施的过程中,可以将待处理的图像输入训练完毕的人体区域框确定模型中,人体区域框确定模型是用携带有人工标注框的图像为标签训练得到的模型;训练过程中,人体区域框确定模型可以生成人体预测框,每个人体预测框对应有一个第一置信度,第一置信度用于表征人体预测框内包含人物对象的可靠程度,同时,人体区域框确定模型还可以根据人工标注框的位置,不断修正人体预测框的偏移量大小,使得人体预测框的位置接近于人工标注框的位置,由于每个锚框的坐标位置是已知的,根据每个锚框对应的的先验位置和偏移量,即可得到经过位置修正后的每个锚框。
60.由于每个锚框都携带有其对应的第一置信度,判断第一置信度与第一阈值的大小,当第一置信度小于第一阈值时,可以表明这个锚框内包含人物对象的可靠性较低,可以将第一置信度小于第一阈值的锚框进行剔除。
61.对于第一置信度大于等于第一阈值的锚框,由于锚框的尺寸不同,可能会出现多个锚框同时包含同一个对象的情况,为了针对一个人物对象只生成一个人体区域框,本实施例采用通过一个非极大抑制值(non-maximum suppressio,nms)算法,计算特征图中所有第一置信度大于等于第一阈值的锚框的交并比(intersection over union,iou),分别计算任意两个锚框之间的交并比,当任意两个锚框之间的交并比大于第二阈值时,表征这两个锚框包含的是同一个对象,因此在交并比大于第二阈值的两个锚框中,保留第一置信度更高的锚框,通过遍历所有第一置信度大于等于第一阈值的任两个锚框的交并比,可以使得每个对象都仅有一个锚框作为人体区域框。
62.本实施例在人体区域框的确定过程中采用基于锚框的目标检测方法,在其他实施例中还可以使用其他的方法确定每个对象的人体区域框。
63.s103:分别确定所述待处理的图像中每个对象各自对应的多个关键点,所述每个
对象各自对应的多个关键点用于指示所述每个对象的多个人体关键部位。
64.参照图2,示出了本技术实施例提供的生成关键点的过程示意图,在一种可行的实施方式中,确定每个对象的多个人体关键部位时,首先根据所述待处理的图像,生成所述待处理的图像中每个对象的人体特征图。
65.如图2,在实际实施时可以对待处理的图像中的人物和物体均进行图像识别,进而单独生成每个人物和每个物体对应的特征图,然后确定人物对象的每个人体关键部位各自对应的关键点,如人物1和人物2,而对于图中的物体则无法生成关键点。
66.为了提高处理效率,可以只提取待处理的图像中每个对象的人体所在位置,即只对人物对象生成特征图,减少其他非对象图形的干扰,以及减少计算成本;在本实施例中,可以提取每个对象的人体区域框内的图像信息,然后通过卷积神经网络进行特征提取,进而得到每个对象的人体特征图,然后分别针对每个对象的人体特征图,分别确定每个对象对应的多个关键点。
67.在一种可行的实施方式中,确定每个对象的多个人体关键点时,可以根据人体特征图生成每个关键点对应的热力图(heatmap),生成热力图的过程实际上是在空间维度上做特征匹配,卷积核在特征图平面上“滑动”,更多关注和利用局部信息,因此每一个关键点的计算是独立的,即通过一个卷积核在特征图上依次进行计算,看每一个局部是否符合关键点的特征。
68.具体地,将每一类坐标用一个概率图来表示,图片中的每个像素位置都对应有一个热力值,热力值用于表示该点属于对应关键点的概率,距离关键点位置越近的像素点的热力值越接近1,距离关键点越远的像素点的热力值越接近0,在可视化的角度,越是接近关键点位置的像素点颜色越亮。
69.参照图3,示出了每个对象的多个关键点的分布示意图,每个对象的关键点数量是确定的,本实施例中每个对象的关键点数量为22个,22个关键点数量可以描述人体的22个身体关键部位,具体包括:头顶,左耳,右耳,左眼,右眼,鼻子,左肩,右肩,左手肘,左手腕,右手肘,右手腕,左骻部,右胯部,左膝,左脚踝,右膝,右脚踝,左胸,右胸以及肚脐的身体部位。
70.在生成每个对象的每个关键点对应的热力图后,接着根据每个对象的每个关键点对应的热力图中热力值,确定每个对象的每个关键点的坐标位置与第二置信度,第二置信度可以表征每个关键点在待处理的图像中存在的可靠程度。
71.示例地,在任一个关键点对应的热力图中,将热力值最高的坐标位置和热力值第二高的坐标位置进行加权平均,得到该关键点的坐标位置和第二置信度,然后剔除第二置信度小于第二阈值的关键点,例如,一个对象仅出现了上半身,则下半身的关键点的第二置信度则小于第二阈值,将小于第二阈值的下半身的关键点剔除后,剩余的关键点可以表征待处理的图像中对象呈现的身体区域。
72.在实际实施的过程中,基于热力图确定关键点时,可以将待处理的图像输入已经训练好的人体关键点算法模型中,人体关键点算法模型可以输出待处理的图像中每个对象的关键点;除了基于热力图确定关键点,在其他实施例中还可以采用其他方法确定每个对象的多个关键点。
73.s104:根据所述每个对象的人体区域框中包含其他对象的关键点的个数,确定所
述每个对象的遮挡程度。
74.本实施例中,可以采用统计一个对象的人体区域框内含有的其他对象的关键点个数,每增加一个其他对象的关键点,则该对象的遮挡程度加一分;示例地,对象1的人体区域框中有2个对象2的关键点,有2个对象3的关键点,则对象1的遮挡程度为4分;本实施例将遮挡程度具体为与关键点个数对应的分值,在其他实施例中,也可以将遮挡程度量化为其他数据形式,例如可以计算对象1的人体区域框中其他对象的关键点数占有的比例。
75.在一种可行的实施例中,设置一个遮挡阈值,当任一对象的遮挡程度大于遮挡阈值时,表征该对象被大部分遮挡,不适用于后期的业务处理,进而可以剔除遮挡程度大于遮挡阈值的对象对应的人物区域框,只保留遮挡程度小于等于遮挡阈值的对象对应的人物区域框;示例地,在服饰推荐业务中,大部分被遮挡人作为服饰识别的对象,容易得到误差较大的识别结果,通过将遮挡程度高的对象进行筛除,保留在图像中呈现完整度较高的对象进行服饰识别,可以节省后续处理的资源,并且提高了后续整个业务的处理准确性。
76.参照图4,示出了本技术实施例提供的遮挡场景示意图,图4中实线框为人物a的人体区域框,虚线框为人物b的人体区域框,虽然可以直观地看出人物a和人物b由于站位很靠近而存在互相遮挡的情况,但是通过本实施例提供的方法可以将遮挡程度进行量化,得到更加准确的遮挡程度判断结果,具体地,人物a的人体区域框(实线框)中,人物b的关键点有13个;在人物b的人体区域框(虚线框)中,人物a的关键点有7个,则人物a的遮挡程度为13分,人物b的遮挡程度为7分。
77.在其他实施方式中,还可以通过设置多个不同的遮挡阈值,将对象的遮挡程度进行分级,对于不同的遮挡层级的对象进行不同的处理过程,具体地可以根据后续应用业务的不同而设置不同的遮挡阈值。
78.参照图5,示出了本技术实施例提供的人体遮挡程度确定方法的执行流程图,如图5,在一种可行的实施方式中,确定图像中人体的遮挡程度时,首先进行视频抽帧,从目标视频中确定待处理的图像,然后检测待处理的图像中是否存在人体,若待处理的图像中没有人体,则重新在目标视频中抽取新的待处理的图像;若是待处理的图像中有人体,则确定每个人体对应的人体区域框,并确定每个人体对应的多个关键点;接着,根据每个人体的人体区域框中包含的其他人体的关键点的数量,确定每个人体的遮挡程度,即得到每个人体的遮挡分数;最后,比较人体的遮挡分数是否大于遮挡阈值,若是则剔除该人体对应的人体区域框,否则保留人体区域框。
79.在一种可行的实施方式中,在服饰推荐业务中,确定每个对象的遮挡程度后,可以根据遮挡程度小于等于遮挡阈值的对象的多个关键点之间的位置关系,确定所述对象的姿态,例如,当对象只有左耳关键点,左肩和右肩的关键点之间的距离小于第一标定值,左胯部和右胯部的关键之间距离小于第二标定值时,表征对象为侧立姿态。
80.对于服饰推荐业务,需要选择最具代表性的服饰图像进行匹配,因此当对象的姿态为正面姿态时,服饰的呈现效果最佳,可以将正面姿态的对象的服饰图像与服饰商品库中的商品图像进行匹配,然后在目标视频中显示与服饰图像相同和/或相似的服饰的购买链接。
81.在目标视频中显示与服饰图像相同和/或相似的服饰的购买链接时,可以在目标视频中待处理的图像所在的帧起,标定时间段内显示弹窗,例如在一分钟内持续显示弹窗,
通过弹窗显示服饰图像相同和/或相似的服饰的购买链接,或者可以在目标视频中待处理的图像所在的帧显示弹幕,通过弹幕呈现服饰图像相同和/或相似的服饰的购买链接。
82.在实际实施时,还可以根据对象的关键点表示的身体区域分别推荐服饰,例如通过定位上半身的所有关键点,可以单独提取上衣的服饰图像进行匹配,并显示服饰的购买连接。
83.本实施例提供的遮挡程度确定方法,将对象的在图像中的遮挡程度进行了量化,相比于人工确定对象的遮挡程度而言,显著提高了效率与筛选质量,而相比于分类算法,可以提高遮挡程度的准确性;在确定对象的遮挡程度后,可以根据实际业务需求设定遮挡阈值,则针对遮挡程度小于遮挡阈值的对象进行后续的业务处理,可以提高处理结果的成功率与质量,减少遮挡程度较大的对象为后续处理带来的噪声与资源消耗。
84.参照图6,示出了本技术实施例中的一种人体遮挡程度确定装置的功能模块图,所述装置包括:
85.抽取模块100,用于在目标视频中抽取待处理的图像;
86.人体区域框确定模块200,用于对所述待处理的图像中的每个对象生成各自对应的人体区域框;
87.关键点确定模块300,用于分别确定所述待处理的图像中每个对象各自对应的多个关键点,所述每个对象各自对应的多个关键点用于指示所述每个对象的多个人体关键部位;
88.遮挡程度确定模块400,用于根据所述每个对象的人体区域框中包含其他对象的关键点的个数,确定所述每个对象的遮挡程度。
89.可选地,所述人体区域框确定模块包括:
90.预设锚框单元,用于在所述待处理的图像的特征图上预设多个不同尺寸的锚框;
91.第一确定单元,用于基于真实人体区域修正所述多个不同尺寸的锚框的位置,并确定每个锚框各自包含对象的第一置信度;
92.人体区域框确定单元,用于在所述第一置信度大于第一阈值的多个锚框中,确定任意两个锚框之间的交并比;当所述任意两个锚框之间的交并比大于第二阈值时,保留所述任意两个锚框中第一置信度更高的锚框,以使所述每个对象对应唯一一个锚框作为人体区域框。
93.可选地,所述第一确定单元包括:
94.偏移量确定子单元,用于对于任一个锚框,确定该锚框与任一个真实人体区域的偏移量;
95.修正子单元,用于根据所述每个锚框的预设位置与最小的偏移量,对所述每个锚框的位置进行修正。
96.可选地,所述关键点确定模块包括:
97.特征图生成单元,用于根据所述待处理的图像,生成所述待处理的图像中每个对象的人体特征图;
98.热力图生成单元,用于根据所述每个对象的人体特征图,生成所述每个对象的每个关键点对应的热力图;
99.第二确定单元,用于根据所述每个对象的每个关键点对应的热力图中热力值,确
定所述每个对象的每个关键点的坐标位置与第二置信度,其中,所述第二置信度用于表征每个关键点在所述待处理的图像中存在的可靠程度;并剔除所述第二置信度小于第二阈值的关键点。
100.可选地,所述装置还包括:
101.姿态确定模块,用于根据所述遮挡程度小于遮挡阈值的对象的多个关键点之间的位置关系,确定所述对象的姿态;
102.匹配模块,用于在所述对象的姿态为正面姿态时,将所述对象的服饰图像与服饰商品库中的商品图像进行匹配;
103.购买链接显示模块,用于在目标视频中显示与所述服饰图像相同和/或相似的服饰的购买链接。
104.可选地,所述购买链接显示模块包括:
105.第一显示单元,用于在所述目标视频中待处理的图像所在的帧起,标定时间段内显示弹窗,所述弹窗中包括与所述服饰图像相同和/或相似的服饰的购买链接。
106.可选地,所述购买链接显示模块包括:
107.第二显示单元,用于在所述目标视频中待处理的图像所在的帧显示弹幕,所述弹幕中包含有与所述服饰图像相同和/或相似的服饰的购买链接。
108.本技术实施例还提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如实施例所述的人体遮挡程度确定方法。
109.本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现实施例所述的人体遮挡程度确定方法。
110.本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
111.本领域内的技术人员应明白,本技术实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本技术实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
112.本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
113.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
114.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
115.尽管已描述了本技术实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
116.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
117.本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。

技术特征:
1.一种人体遮挡程度确定方法,其特征在于,所述方法包括:在目标视频中抽取待处理的图像;对所述待处理的图像中的每个对象生成各自对应的人体区域框;分别确定所述待处理的图像中每个对象各自对应的多个关键点,所述每个对象各自对应的多个关键点用于指示所述每个对象的多个人体关键部位;根据所述每个对象的人体区域框中包含其他对象的关键点的个数,确定所述每个对象的遮挡程度。2.根据权利要求1所述的方法,其特征在于,对所述待处理的图像中的每个对象生成各自对应的人体区域框,包括:在所述待处理的图像的特征图上预设多个不同尺寸的锚框;基于真实人体区域修正所述多个不同尺寸的锚框的位置,并确定每个锚框各自包含对象的第一置信度;在所述第一置信度大于第一阈值的多个锚框中,确定任意两个锚框之间的交并比;当所述任意两个锚框之间的交并比大于第二阈值时,保留所述任意两个锚框中第一置信度更高的锚框,以使所述每个对象对应唯一一个锚框作为人体区域框。3.根据权利要求2所述的方法,其特征在于,基于真实人体区域修正所述多个不同尺寸的锚框的位置,包括:对于任一个锚框,确定该锚框与任一个真实人体区域的偏移量;根据所述每个锚框的预设位置与最小的偏移量,对所述每个锚框的位置进行修正。4.根据权利要求1-3任一所述的方法,其特征在于,分别确定所述待处理的图像中每个对象各自对应的多个关键点,包括:根据所述待处理的图像,生成所述待处理的图像中每个对象的人体特征图;根据所述每个对象的人体特征图,生成所述每个对象的每个关键点对应的热力图;根据所述每个对象的每个关键点对应的热力图中热力值,确定所述每个对象的每个关键点的坐标位置与第二置信度,其中,所述第二置信度用于表征每个关键点在所述待处理的图像中存在的可靠程度;剔除所述第二置信度小于第二阈值的关键点。5.根据权利要求1所述的方法,其特征在于,根据所述每个对象的人体区域框中包含其他对象的关键点的个数,确定所述每个对象的遮挡程度之后,所述方法还包括:根据所述遮挡程度小于遮挡阈值的对象的多个关键点之间的位置关系,确定所述对象的姿态;当所述对象的姿态为正面姿态时,将所述对象的服饰图像与服饰商品库中的商品图像进行匹配;在目标视频中显示与所述服饰图像相同和/或相似的服饰的购买链接。6.根据权利要求5所述的方法,其特征在于,在目标视频中显示与所述服饰图像相同和/或相似的服饰的购买链接,包括:在所述目标视频中待处理的图像所在的帧起,标定时间段内显示弹窗,所述弹窗中包括与所述服饰图像相同和/或相似的服饰的购买链接。7.根据权利要求5所述的方法,其特征在于,在目标视频中显示与所述服饰图像相同
和/或相似的服饰的购买链接,包括:在所述目标视频中待处理的图像所在的帧显示弹幕,所述弹幕中包含有与所述服饰图像相同和/或相似的服饰的购买链接。8.一种人体遮挡程度确定装置,其特征在于,所述装置包括:抽取模块,用于在目标视频中抽取待处理的图像;人体区域框确定模块,用于对所述待处理的图像中的每个对象生成各自对应的人体区域框;关键点确定模块,用于分别确定所述待处理的图像中每个对象各自对应的多个关键点,所述每个对象各自对应的多个关键点用于指示所述每个对象的多个人体关键部位;遮挡程度确定模块,用于根据所述每个对象的人体区域框中包含其他对象的关键点的个数,确定所述每个对象的遮挡程度。9.一种电子设备,其特征在于,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7任一项所述的人体遮挡程度确定方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的人体遮挡程度确定方法。

技术总结
本申请提供一种人体遮挡程度确定方法、装置、电子设备和存储介质,属于数据处理的技术领域。所述方法包括在目标视频中抽取待处理的图像;对所述待处理的图像中的每个对象生成各自对应的人体区域框;分别确定所述待处理的图像中每个对象各自对应的多个关键点,所述每个对象各自对应的多个关键点用于指示所述每个对象的多个人体关键部位;根据所述每个对象的人体区域框中包含其他对象的关键点的个数,确定所述每个对象的遮挡程度。本申请旨在准确地判断人体的遮挡程度。判断人体的遮挡程度。判断人体的遮挡程度。


技术研发人员:屈杨
受保护的技术使用者:北京爱奇艺科技有限公司
技术研发日:2023.04.21
技术公布日:2023/8/21
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐