体态识别方法、装置、计算机设备及计算机可读存储介质与流程
未命名
07-27
阅读:76
评论:0

1.本技术涉及图像处理技术领域,具体涉及一种体态识别方法、装置、计算机设备及计算机可读存储介质。
背景技术:
2.随着人工智能技术的发展,其已逐步应用于各个领域,如人脸识别、人机问答、体态识别等,提高了人们的生活体验。其中,该体态识别技术可应用于人体姿势监测场景,如应用于学生、白领等伏案工作的人群的坐姿识别检测,以监督该人群用户的体态健康。
3.现有的体态识别技术在进行体态识别时,需要通过多个模块硬件结合的方式检测目标用户的体态信息,其对硬件配置要求比较高,且容易受限于模块硬件的响应时间,影响了体态识别效率。因此,该体态识别技术在应用研究上具有非常大的挑战性,目前,需要一种新的体态识别技术。
技术实现要素:
4.本技术实施例提供一种体态识别方法、装置、计算机设备及计算机可读存储介质,能够提高人体体态识别的效率。
5.本技术实施例提供一种体态识别方法,包括:
6.获取待识别图像,所述待识别图像包含目标对象的关键点特征;
7.对所述待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,所述关键点位置信息集合包括目标对象的各个关键点的位置信息;
8.基于所述关键点位置信息集合,构建关键点特征向量;
9.根据所述关键点特征向量确定所述目标对象的体态识别结果。
10.相应地,本技术实施例提供一种体态识别装置,包括:
11.获取单元,用于获取待识别图像,所述待识别图像包含目标对象的关键点特征;
12.识别单元,用于对所述待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,所述关键点位置信息集合包括目标对象的各个关键点的位置信息;
13.构建单元,用于基于所述关键点位置信息集合,构建关键点特征向量;
14.确定单元,用于根据所述关键点特征向量确定所述目标对象的体态识别结果。
15.在一些实施例中,所述确定单元,包括:
16.获取子单元,用于获取所述关键点特征向量对应的向量方向;
17.确定子单元,用于根据所述关键点特征向量对应的向量方向确定所述目标对象的体态识别结果。
18.在一些实施例中,所述获取子单元,还用于:
19.识别所述关键点特征向量在所述待识别图像中的矢量关系;
20.根据所述矢量关系确定所述关键点特征向量对应的向量方向。
21.在一些实施例中,所述获取子单元,还用于:
22.建立所述待识别图像对应的直角坐标系;
23.获取所述关键点特征向量在所述直角坐标系中的矢量关系。
24.在一些实施例中,所述获取子单元,还用于:
25.根据所述矢量关系确定所述关键点特征向量的方向角度;
26.根据所述方向角度确定所述关键点特征向量对应的向量方向。
27.在一些实施例中,关键点特征向量包括左耳指向左眼的第一子特征向量、左眼指向鼻子的第二子特征向量、右耳指向右眼的第三子特征向量和右眼指向鼻子的第四子特征向量,所述根据所述关键点特征向量对应的向量方向确定所述目标对象的体态识别结果,所述确定子单元,还用于:
28.基于所述第一子特征向量、第二子特征向量、第三子特征向量及第四子特征向量对应的向量方向,分别确定所述第一子特征向量、第二子特征向量、第三子特征向量及第四子特征向量与预设直角坐标系之间的象限特性关系;
29.若检测到所述第一子特征向量及第二子特征向量的象限特性关系为指向第四象限,且检测到所述第三子特征向量及第四子特征向量的象限特性关系为指向第三象限,则确定所述目标对象处于低头状态,并将所述低头状态确定为所述目标对象的体态识别结果。
30.在一些实施例中,所述关键点特征向量包括左耳指向右耳的第一平行向量和左眼指向右眼的第二平行向量,所述确定子单元,还用于:
31.基于所述第一平行向量及第二平行向量对应的向量方向,分别确定所述第一平行向量及第二平行向量的水平倾斜角度;
32.若检测到所述第一平行向量及第二平行向量的水平倾斜角度处于预设第一倾斜角度范围值,则确定所述目标对象处于侧头状态,并将所述侧头状态确定为所述目标对象的体态识别结果。
33.在一些实施例中,所述关键点特征向量包括左肩部指向右肩部的第一平衡向量,所述确定子单元,还用于:
34.根据所述第一平衡向量对应的向量方向,确定所述第一平衡向量的水平倾斜角度;
35.若检测到所述第一平衡向量的水平倾斜角度处于预设第二倾斜角度范围值,则确定所述目标对象处于斜体状态,并将所述斜体状态确定为所述目标对象的体态识别结果。
36.在一些实施例中,所述构建单元,还用于:
37.提取所述关键点数据集合中的多个关键点位置子信息;
38.确定所述关键点位置子信息在所述待识别图像中的目标位置坐标;
39.对多个所述目标位置坐标进行向量计算,得到关键点特征向量。
40.在一些实施例中,所述识别单元,还用于:
41.通过目标模型对所述待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,所述目标模型由样本图像中包含的样本体态信息及样本关键点位置信息训练得到。
42.在一些实施例中,所述识别单元,还用于:
43.从所述待识别图像进行截取所述目标对象的目标人体子图像;
44.将所述目标人体子图像输入所述目标模型进行关键点特征识别,得到关键点位置信息集合。
45.在一些实施例中,所述获取单元,还用于:
46.接收待处理视频;
47.从所述待处理视频提取所述目标对象在历史时段内的目标图像帧,并将所述目标图像帧确定为待识别图像。
48.在一些实施例中,所述获取单元,还用于:
49.对所述待处理视频进行分解处理,得到图像帧集合;
50.从所述图像帧集合中筛选出包含所述目标对象对应的多个图像子帧;
51.从所述多个图像子帧中提取符合历史时段的目标图像帧。
52.在一些实施例中,所述待识别图像为待处理视频中的一帧目标视频帧,所述体态识别装置还包括生成单元,用于:
53.若所述待处理视频中若干连续的目标视频帧的体态识别结果均为同一预设姿态,则确定所述目标对象处于错误体态,并生成所述错误体态对应的提示信息。
54.此外,本技术实施例还提供一种计算机设备,包括存储器和处理器;存储器存储有计算机程序,处理器用于运行存储器内的计算机程序,以执行本技术实施例提供的任一种体态识别方法。
55.此外,本技术实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序适于处理器进行加载,以执行本技术实施例提供的任一种体态识别方法。
56.本技术实施例可以获取待识别图像,待识别图像包含目标对象的关键点特征;对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,关键点位置信息集合包括目标对象的各个关键点的位置信息;基于关键点位置信息集合,构建关键点特征向量;根据关键点特征向量确定目标对象的体态识别结果。本方案通过对待识别图像中目标对象的人体关键点特征进行识别,以获取目标对象当前体态信息中各关键点特征的位置信息,得到关键点位置信息集合,进而,基于关键点位置信息集合,构建关键点特征向量,以便根据构建的关键点特征向量的方向来确定目标对象的体态识别结果,以此,可在对目标对象进行体态识别时摆脱对硬件模块的依赖,提高人体体态识别的效率。
附图说明
57.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
58.图1是本技术实施例提供的体态识别系统的场景示意图;
59.图2为本技术实施例提供种体态识别方法的步骤流程示意图;
60.图3是本技术实施例提供的体态识别方法的场景示意图;
61.图4是本技术实施例提供的体态识别方法的另一步骤流程示意图;
62.图5是本技术实施例提供的体态识别方法的场景流程示意图;
63.图6是本技术实施例提供的体态识别装置的结构示意图;
64.图7是本技术实施例提供的计算机设备的结构示意图。
具体实施方式
65.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
66.本技术实施例提供一种体态识别方法、装置、计算机设备及计算机可读存储介质。其中,该体态识别装置可以集成在计算机设备中,该计算机设备可以是服务器,也可以是终端等设备。
67.其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。
68.例如,参见图1,以体态识别装置集成在计算机设备,该计算机设备可包括终端或服务器。其中,该终端或服务器可以获取待识别图像,待识别图像包含目标对象的关键点特征;对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,所述关键点位置信息集合包括目标对象的各个关键点的位置信息;基于关键点位置信息集合,构建关键点特征向量;根据关键点特征向量确定目标对象的体态识别结果。
69.其中,体态识别过程可以包括获取包含目标对象所有关键点特征的待识别图像、识别图像中包含的关键点特征、构建关键点特征向量、确定目标对象的体态识别结果等处理方式。
70.以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
71.图2为本技术实施例提供的体态识别方法的步骤流程示意图,图3是本技术实施例提供的体态识别方法的场景示意图,为了便于理解,可并结合图2和图3,对本技术实施例进行理解。
72.在本技术实施例中,将从体态识别装置的角度进行描述,该体态识别装置具体可以集成在计算机设备中,该计算机设备可以是服务器,也可以是终端等设备。本技术实施例以体态识别装置具体集成在终端上为例,终端上的处理器执行信息处理方法对应的程序时,具体流程如下:
73.101、获取待识别图像。
74.其中,该待识别图像包含目标对象的关键点特征,该关键点特征可以是表示目标对象的相关部位的特征。示例性的,待识别图像为包含目标用户的整个身体的图像,该图像中的关键点对应的部位可以是目标用户的左耳、右耳、左眼、右眼、鼻子、嘴、左肩、右肩等,此处不做限定。
75.为了后续对目标对象进行体态识别,本技术实施例可以通过获取包含目标对象的关键点特征的图像作为待识别图像,以便于后续通过该待识别图像所包含的关键点特征信息来识别目标对象的体态信息,从而确定目标对象在目标时段的体态,或评估目标对象当前的体态。
76.其中,该待识别图像可以从历史时段中获取的图像,如目标对象在1秒前、1分钟前或5分钟前的图像。此外,本技术实施例该可以通过对目标对象进行实时监测,如通过摄像头对目标对象进行实时拍摄,以视频流的方式采集目标对象的体态信息。需要说明的是,在对目标对象进行实时拍摄过程中,可以实时将拍摄到的目标对象的数据(视频流、图像流等)传输至处理器(如终端或服务器);还可以间隔单位时间,将采集到的目标对象的视频流发送至处理器,如每间隔1分钟或30秒等;以此,以使得处理器从接收到的图像流或视频流数据中获取包含目标对象的关键点特征的待识别图像。
77.在一些实施方式中,步骤“获取待识别图像”,可以包括:接收待处理视频;从待处理视频提取目标对象在历史时段内的目标图像帧,并将目标图像帧确定为待识别图像。
78.其中,该待处理视频可以是对目标对象进行实时监控的短视频数据,其可包含目标对象在历史时间内的体态信息。
79.为了对获取用于识别目标对象的体态信息(所有关键点特征信息)的待识别图像,本技术实施例可以从包含目标对象的体态信息的视频中获取待识别图像。具体的,接收或获取录制的待处理视频,进而,从待处理视频中提取目标对象在历史时段内的目标图像帧,并确定为待识别图像。
80.在一些实施方式中,步骤“从待处理视频提取目标对象在历史时段内的目标图像帧”,可以包括:
81.对待处理视频进行分解处理,得到图像帧集合;从图像帧集合中筛选出包含目标对象对应的多个图像子帧;从多个图像子帧中提取符合历史时段的目标图像帧。
82.具体的,为了从待处理视频中提取目标图像帧,本技术实施例在得到待处理视频后,首先,可以对该待处理视频进行分解处理,如分帧处理,以获取该待处理视频对应的图像帧集合,该图像帧集合包含多个图像子帧;然后,从该图像帧中筛选出包含目标对象的多个图像子帧,以对其他不相关的图像子帧(如不包含目标对象的无效图像帧)进行过滤,避免该不相关的图像影响后续的体态识别的准确性和效率;最后,从包含目标对象的多个图像子帧中提取目标历史时段内的目标图像帧,如提取前5秒的图像子帧作为目标图像帧,并确定为待识别图像,以便于后续根据该待识别图像确定目标对象在目标时段的体态,或评估/预测目标对象当前的体态。
83.通过以上方式,可获取包含目标对象的体态信息的待识别图像,以便于后续基于该待识别图像识别目标对象的体态信息。
84.102、对待识别图像中目标对象的关键点特征进行识别,得到关键点位置信息集合。
85.其中,该关键点位置信息集合包括目标对象的各个关键点的位置信息;即该关键点位置信息集合可以包含多个关键点位置子信息,该关键点位置子信息可以是表示相应的关键点部位在待识别图像中的位置信息,如坐标、与图像中心的距离、显示占比等位置信息。
86.为了识别目标对象的体态信息,本技术实施例可以通过关键点特征的识别方式识别目标对象的体态信息。具体的,在得到待识别图像后,可通过对待识别图像中目标对象的关键点特征进行识别,以识别出目标对象的关键点特征,并确定识别到的关键点特征对应的位置信息。例如,识别出待识别图像中目标用户的左耳、右耳、左眼、右眼、鼻子、嘴、左肩、右肩等关键点部位,并确定以上关键点部位在待识别图像中的位置信息,即关键点位置信息,得到关键点位置信息集合。以此,识别到目标对象的体态信息,以便于后续根据该关键点位置信息集合中的各关键点位置信息确定目标对象的体态结果。
87.在一些实施方式中,步骤“对待识别图像中目标对象的关键点特征进行识别,得到关键点位置信息集合”,可以包括:
88.通过目标模型对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,目标模型由样本图像中包含的样本体态信息及样本关键点位置信息联合训练得到。
89.在本技术实施例中,该目标模型可由轻量化的预设模型迭代训练得到,例如,在选取预设模型时,可以选取light-openpose,还可将主干换成shufflenetv2-0.5x,以确定轻量级的预设模型。具体的,目标模型的训练过程可以是:获取包含样本关键点特征的样本图像;将该样本图像输入预设模型,得到关键点预测位置信息;获取关键点预测位置信息与样本关键点位置信息之间的位置信息差值;根据位置信息差值调整预设模型的网络参数,直至预设模型迭代收敛,得到目标模型。
90.其中,该样本图像可至少包含用户的上体部位,如用户的头部、颈部、肩部等,在实际训练中,可以样本图像的上体部位中的左耳、右耳、左眼、右眼、鼻子、嘴、左肩、右肩作为样本关键点特征,对预设模型进行训练。需要说明的是,在选取训练数据时,该样本图像可以从公开的数据集中继承使用;此外,从公开的数据集中获取得到一张图像后,还可根据预设放大倍数对同一图像进行放大,以获取不同放大倍数下的图像,将不同放大倍数下的图像作为样本图像,以此,将包含同一用户体态信息的不同放大倍数的样本图像作为预设模型的训练数据,以提高训练后模型在识别时的准确性。
91.此外,在选取用于训练的样本图像数据时,还可以对样本图像进行随机色彩变换、随机对比对变换、随机亮度变换、随机旋转等图像数据增强操作,得到处理后的样本图像,以通过该处理后的样本图像对预设模型进行训练,增加训练后的目标模型的相关鲁棒性。
92.具体的,通过目标模型对所述待识别图像中的目标对象的关键点进行识别,可以包括:
93.从待识别图像进行截取目标对象的目标人体子图像;将目标人体子图像输入目标模型进行关键点特征识别,得到关键点位置信息集合。
94.其中,该目标人体子图像可以是仅包含目标对象的人体表征信息的图像。本技术实施例可在得到待识别图像后,从待识别图像中截取人体表征信息部分,以作为目标人体子图像,以去除待识别图像中的其他无效信息;进而,将该目标人体子图像输入至训练后的目标模型,以获取对应的关键点位置信息集合。以此,避免图像中其他不相关的特征信息对识别过程造成干扰,提高目标模型在识别目标对象的关键点特征时的效率和准确性。
95.通过以上方式,可对待识别图像中目标对象的关键点特征信息进行识别,以获取关键点特征对应的位置信息集合,以便于后续以该关键点特征对应的关键点位置信息集合
作为依据,评估目标对象的体态结果。
96.103、基于关键点位置信息集合,构建关键点特征向量。
97.其中,该关键点特征向量可以是根据一个或多个关键点位置子信息结合构建的特征向量,该关键点特征向量可用于后续确定目标对象的体态。具体的,通过该关键点特征向量的方向或角度,可以确定目标对象相关部位的状态。示例性的,关键点特征包括左眼、右眼,通过左眼对应的关键点位置信息和右眼对应的关键点位置信息构建目标特征向量,通过该目标特征向量的方向或角度确定目标对象的头部是否处于侧(歪)头状态。
98.为了构建关键点特征向量,本技术实施例在得到关键点位置信息集合后,可以从该集合中选取相关的关键点位置子信息进行组合,以构建对应的关键点特征向量。
99.具体的,构建关键点特征向量的过程可以为:提取所述关键点数据集合中的多个关键点位置子信息;确定每一所述关键点位置子信息在所述待识别图像中的目标位置坐标;对多个所述目标位置坐标进行向量计算,得到关键点特征向量。
100.其中,该目标位置坐标可以是表示相应关键点在待识别图像中的具体位置数据,及精确的坐标信息;需要说明的是,在确定目标位置坐标时,可以根据对应的“关键点”区域的中心位置或中心像素点的坐标信息作为目标位置坐标;例如,以左眼作为关键点为例,则其对应的目标位置坐标可以是该“左眼”对应的图像区域中的中心点,具体根据实际情况而定。
101.其中,每个关键点特征向量可以结合多个关键点的目标位置坐标进行构建,具体可以是将多个关键点的目标位置坐标进行向量计算。具体的,在构建关键点特征向量时,需要先确定用于构建相应的关键点特征向量的多个目标位置坐标,该确定方式可以是:可以根据预设关键点特征向量规则,选取在构建关键点特征向量时所需要结合的相应关键点的目标位置坐标,然后,根据选取的目标位置坐标进行向量计算,以构建关键点特征向量。例如,根据左耳的目标位置坐标和左眼的目标位置坐标进行向量计算,从而构建左耳指向左眼的关键点特征向量。
102.例如,关键点特征可以包括:左眼、右眼、左耳、右耳、鼻子、左肩、右肩等;为了对以上关键点特征对应的位置坐标进行区分,关键点对应的目标位置坐标可以是:左耳对应的第一位置坐标、右耳对应的第二位置坐标、左眼对应的第三位置坐标、右眼对应的第四位置坐标、鼻子对应的第五位置坐标、左肩对应的第六位置坐标、右肩对应的第七位置坐标。其中,根据关键点位置坐标构建关键点特征向量,具体可以是:根据第一位置坐标及第三位置坐标计算左耳指向左眼的第一子特征向量,根据第三位置坐标及第五位置坐标计算左眼指向鼻子的第二子特征向量,根据第二位置坐标及第四位置坐标计算右耳指向右眼的第三子特征向量,根据第四位置坐标及第五位置坐标计算右眼指向鼻子的第四子特征向量,根据第一位置坐标及第二位置坐标计算左耳指向右耳的第五子特征向量,根据第三位置坐标及第四位置坐标计算左眼指向右眼的第六子特征向量,根据第六位置坐标及第七位置坐标计算左肩指向右肩的第七子特征向量;进而,将第一子特征向量、第二子特征向量、第三子特征向量、第四子特征向量、第五子特征向量、第六子特征向量及第七子特征向量确定为关键点特征向量。
103.通过以上方式,可构建关键点特征对应的关键点特征向量,以用于后续通过该关键点特征向量进行体态识别。
104.104、根据关键点特征向量确定目标对象的体态识别结果。
105.其中,体态识别结果可以是目标对象的身体姿态,用于表示待识别图像所记录的体态信息。该体态识别结果不限于包括低头状态、侧头状态、斜体状态(身体倾斜状态)等。
106.为了确定目标对象的体态识别结果,本技术实施例在构建关键点特征向量后,可以根据关键点特征向量确定目标对象的体态识别结果。具体的,该体态识别结果的确定过程可以是:获取关键点特征向量对应的向量方向;根据关键点特征向量对应的向量方向确定目标对象的体态识别结果。
107.其中,该向量方向用于描述对应的关键点特征向量的方向,具体可以是表示两个关键点特征之间的向量的方向。例如,以左眼和右眼作为关键点特征为例,以左眼为起点,构建从左眼指向右眼的特征向量,则该特征向量的方向是以左眼指向右眼;又如,以左眼和鼻子作为关键点特征为例,以左眼为起点,构建从左眼指向鼻子的特征向量,则该特征向量的方向是以左眼指向鼻子。
108.在一些实施方式中,步骤“获取关键点特征向量对应的向量方向”,可以包括:
109.(1)识别关键点特征向量在待识别图像中的矢量关系。
110.其中,该矢量关系可以是关键点特征向量在待识别图像中的位置关系、方向关系、角度关系等,通过该矢量关系可以确定相关的关键点特征向量的位置、指向以及角度等。
111.具体的,步骤“识别关键点特征向量在待识别图像中的矢量关系”,可以包括:建立待识别图像对应的直角坐标系;获取关键点特征向量在直角坐标系中的矢量关系。
112.其中,该直角坐标系可以是平面直角坐标系,本实施例通过建立待识别图像对应的直角坐标系,以描述关键点特征向量的矢量关系。
113.具体的,在构建直角坐标系时,可以将待识别图像正置(如以待识别图像的底边与水平面接触,且使得待识别图像垂直于水平面,具体可实际情况而定),以待识别图像的中部(中心点)作为坐标系的中点,以待识别图像的宽作为y轴方向,以待识别图像的高作为y轴方向,从而,建立待识别图像的直角坐标系。此外,还可以某一关键点特征为坐标系的中点,建立待识别图像的直角坐标系,此处不做限定。
114.进而,在建立待识别图像的直角坐标系后,可根据关键点特征向量在该直角坐标系中的位置、角度、方向等确定对应的矢量关系。例如,以左眼指向右眼的关键点特征向量为例,由于用户在正常情况下,左眼指向右眼的方向为平行的,左眼指向右眼的关键点特征向量为180
°
,则左眼指向右眼的方向与直角坐标系中的横轴(x轴)之间是平行的,因此,在确定左眼指向右眼的关键点特征向量的矢量关系时,可以根据该关键点特征向量与直角坐标系中的横轴(x轴)之间的角度确定其对应的矢量关系。其中,对于本技术实施例步骤103中的“左耳指向右耳的第五子特征向量、左眼指向右眼的第六子特征向量、左肩指向右肩的第七子特征向量”,可以根据该关键点特征向量与直角坐标系中的横轴(x轴)之间的角度确定其对应的矢量关系。
115.此外,对于一些方向倾斜的关键点特征向量,可以根据该关键点特征向量与直角坐标系中的指向来确定,具体可以是结合关键点特征向量在直角坐标系中的指向象限情况来确定矢量关系。例如,对于上述的左耳指向左眼的第一子特征向量、左眼指向鼻子的第二子特征向量、右耳指向右眼的第三子特征向量、右眼指向鼻子的第四子特征向量,可以根据以上特征向量在直角坐标系中的指向象限情况来确定矢量关系,如左眼指向鼻子的第二子
特征向量的方向在直角坐标系中的指向象限关系为:指向直角坐标系中的第四象限,由此,可将“指向直角坐标系中的第四象限”确定为该第二子特征向量的矢量关系。
116.(2)根据矢量关系确定关键点特征向量对应的向量方向。
117.具体的,步骤“根据矢量关系确定关键点特征向量对应的向量方向”,可以包括:根据矢量关系确定关键点特征向量的方向角度;根据方向角度确定关键点特征向量对应的向量方向。
118.例如,以左眼指向鼻子的第二子特征向量为例,当第二子特征向量的矢量关系为:指向直角坐标系中的第四象限,则其对应的方向角度应当属于270
°
~360
°
,可将该角度确定为该第二子特征向量的向量方向。又如,以左眼指向右眼的第六子特征向量为例,当第六子特征向量的矢量关系为:与直角坐标系中的横轴之间的夹角为30
°
,则可将该角度确定为该第六子特征向量的向量方向。
119.在本技术实施例中,在确定关键点特征向量对应的向量方向后,可根据关键点特征向量对应的向量方向确定目标对象的体态识别结果。具体的,该体态识别结果具体可以包括以下情况:
120.a、该关键点特征向量包括左耳指向左眼的第一子特征向量、左眼指向鼻子的第二子特征向量、右耳指向右眼的第三子特征向量和右眼指向鼻子的第四子特征向量。
121.则确定目标对象的体态识别结果的过程为:
122.基于第一子特征向量、第二子特征向量、第三子特征向量及第四子特征向量对应的向量方向,分别确定第一子特征向量、第二子特征向量、第三子特征向量及第四子特征向量与预设直角坐标系之间的象限特性关系;
123.若检测到第一子特征向量及第二子特征向量的象限特性关系为指向第四象限,且检测到第三子特征向量及第四子特征向量的象限特性关系为指向第三象限,则确定目标对象处于低头状态,并将低头状态确定为目标对象的体态识别结果。
124.b、该关键点特征向量包括左耳指向右耳的第一平行向量和左眼指向右眼的第二平行向量。则步骤“根据关键点特征向量对应的向量方向确定目标对象的体态识别结果”,可以包括:
125.基于第一平行向量及第二平行向量对应的向量方向,分别确定第一平行向量及第二平行向量的水平倾斜角度;
126.若检测到第一平行向量及第二平行向量的水平倾斜角度处于预设第一倾斜角度范围值,则确定目标对象处于侧头状态,并将侧头状态确定为目标对象的体态识别结果。
127.需要说明的是,该第一平行向量与步骤103中及前述的“左耳指向右耳的第五子特征向量”之间属于相同的特征向量,该第二平行向量与步骤103中及前述的“左眼指向右眼的第流子特征向量”之间属于相同的特征向量。
128.例如,在得到左耳指向右耳的第一平行向量、左眼指向右眼的第二平行向量后,可确定第一平行向量的水平倾斜角度,以及确定第二平行向量的水平倾斜角度。具体的,以确定第一平行向量的水平倾斜角度为例,可根据第一平行向量与直角坐标系中的水平向量(1,0)之间所形成的夹角确定水平倾斜角度,或者,可根据第一平行向量与直角坐标系中的水平向量(-1,0)之间所形成的夹角确定水平倾斜角度;第二平行向量的水平倾斜角度的确定过程与确定第一水平向量的水平倾斜角度的方式一致,此处不做赘述。进一步的,将第一
水平向量的水平倾斜角度与预设第一倾斜角度范围值进行对比,如设定预设第一倾斜角度范围值为(30
°
,90
°
),即大于30度且小于90度,同时,将第二水平向量的水平倾斜角度与预设第一倾斜角度范围值进行对比;当检测到第一平行向量及第二平行向量的水平倾斜角度都处于该预设第一倾斜角度范围值,则确定目标对象处于侧头状态,或歪头状态,并将该状态确定为目标对象的体态识别结果。
129.c、关键点特征向量包括左肩部指向右肩部的第一平衡向量,步骤“根据关键点特征向量对应的向量方向确定目标对象的体态识别结果”,可以包括:
130.根据第一平衡向量对应的向量方向,确定第一平衡向量的水平倾斜角度;
131.若检测到第一平衡向量的水平倾斜角度处于预设第二倾斜角度范围值,则确定目标对象处于斜体状态,并将斜体状态确定为目标对象的体态识别结果。
132.需要说的是,该第一平衡向量为步骤103及前述的“左肩指向右肩的第七子特征向量”。
133.例如,在得到左肩指向右肩的第一平衡向量后,可确定第一平衡向量的水平倾斜角度。具体的,可根据第一平衡向量与直角坐标系中的水平向量(1,0)之间所形成的夹角确定水平倾斜角度,或者,可根据第一平衡向量与直角坐标系中的水平向量(-1,0)之间所形成的夹角确定水平倾斜角度。进一步的,将第一平衡向量的水平倾斜角度与预设第二倾斜角度范围值进行对比,如设定预设第二倾斜角度范围值为(20
°
,60
°
),即大于20度且小于60度;当检测到第一平衡向量的水平倾斜角度处于该预设第二倾斜角度范围值,则确定目标对象处于斜体状态,该“斜体状态”可以理解为身体倾斜状态,并将该斜体状态确定为目标对象的体态识别结果。
134.进一步的,待识别图像可以为待处理视频中的一帧目标视频帧,步骤“根据关键点特征向量确定目标对象的体态识别结果”之后,还可包括:若所述待处理视频中若干连续的目标视频帧的体态识别结果均为同一预设姿态,则确定所述目标对象处于错误体态,并生成所述错误体态对应的提示信息。
135.其中,所述预设姿态可以包括以下一种姿态:低头状态、侧头状态或斜体状态。在本实施例中,确定待处理视频中若干连续的目标视频帧的体态识别结果均为低头状态、侧头状态或斜体状态,其确定过程可以是:在得到目标对象的体态识别结果之后,若检测到体态识别结果为低头状态、侧头状态或斜体状态,则执行获取待识别图像步骤,以确定目标对象的第二体态识别结果,第二体态识别结果为体态识别结果之后体态结果;进而,若检测到第二体态识别结果为低头状态、侧头状态或斜体状态,则确定目标对象处于错误体态,并生成错误体态对应的提示信息。
136.具体的,在确定目标对象的体态识别结果后,可对该体态识别结果进行检测,当检测到体态识别结果为低头状态、侧头状态或斜体状态中的一种时,即可确定目标对象的姿势不准确,即为错误体态,可生成相关的提示信息,并进行提示。
137.进一步的,为了提高对目标对象的体态识别结果评估时的准确性,本技术实施例还可在当检测到体态识别结果为低头状态、侧头状态或斜体状态中的一种时,将该体态识别结果确定为第一体态识别结果;进而,继续获取目标对象在下一个待识别图像对应的体态识别结果,其中,该“下一个待识别图像”在视频帧或图像流对应的时序排列中与第一体态识别结果对应的待识别图像之间可以是连贯的,通过获取下一个待识别图像对应的第二
体态识别结果;当检测到第二体态识别结果仍为低头状态、侧头状态或斜体状态中的一种时,则可确定目标对象的姿势不准确,即为错误体态,可生成相关的提示信息,并进行提示。以此,可提高对目标对象在历史时段内的体态识别结果评估时的准确性;或者,在根据目标对象在历史时段内的体态识别结果预测当前的体态时,提高预测的准确性。
138.由上可得,本技术实施例可以获取待识别图像,待识别图像包含目标对象的关键点特征;对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,关键点位置信息集合包括目标对象的各个关键点的位置信息;基于关键点位置信息集合,构建关键点特征向量;根据关键点特征向量确定目标对象的体态识别结果。本方案通过对待识别图像中目标对象的人体关键点特征进行识别,以获取目标对象当前体态信息中各关键点特征的位置信息,得到关键点位置信息集合,进而,基于关键点位置信息集合,构建关键点特征向量,以便根据构建的关键点特征向量的方向来确定目标对象的体态识别结果,以此,可在对目标对象进行体态识别时摆脱对硬件模块的依赖,提高人体体态识别的效率。
139.根据上面实施例所描述的方法,以下将举例作进一步详细说明。
140.本技术实施例以体态识别为例,对本技术实施例提供的体态识别方法作进一步叙述。
141.图4是本技术实施例提供的体态识别方法的另一步骤流程示意图,图5是本技术实施例提供的体态识别方法的场景流程示意图。为了便于理解,请一并结合图4和图5,对本技术实施例进行描述。
142.在本技术实施例中,将从体态识别装置的角度进行描述,该体态识别装置具体可以集成在计算机设备如终端和/或服务器中。当计算机设备的处理器执行应用异常处理方法对应的程序时,该应用异常处理方法的具体流程如下:
143.201、获取包含人体的样本关键点特征的样本图像,以及获取样本关键点特征对应的样本关键点位置信息。
144.其中,该样本图像可至少包含用户的上体部位,如用户的头部、颈部、肩部等,在实际训练中,可以样本图像的上体部位中的左耳、右耳、左眼、右眼、鼻子、左肩、右肩作为样本关键点特征,对预设模型进行训练。
145.需要说明的是,在选取训练数据时,该样本图像可以从公开的数据集中继承使用;此外,从公开的数据集中获取得到一张图像后,还可根据预设放大倍数对同一图像进行放大,以获取不同放大倍数下的图像,将不同放大倍数下的图像作为样本图像,以此,将包含同一用户体态信息的不同放大倍数的样本图像作为预设模型的训练数据,以提高训练后模型在识别时的准确性。
146.此外,在选取用于训练的样本图像数据时,还可以对样本图像进行随机色彩变换、随机对比对变换、随机亮度变换、随机旋转等图像数据增强操作,得到处理后的样本图像,以通过该处理后的样本图像对预设模型进行训练,增加训练后的目标模型的相关鲁棒性。
147.202、根据样本图像及对应的样本关键点位置信息对预设模型进行联合训练,得到训练后的目标模型。
148.其中,在选取预设模型时,可以选取light-openpose,还可将主干换成shufflenetv2-0.5x,以确定轻量级的预设模型。
149.具体的,目标模型的训练过程可以是:获取包含样本关键点特征的样本图像;将该
样本图像输入预设模型,得到关键点预测位置信息;获取关键点预测位置信息与样本关键点位置信息之间的位置信息差值;根据位置信息差值调整预设模型的网络参数,直至预设模型迭代收敛,得到目标模型。以该训练后的目标模型作为人体头肩关键点模型,以用于后续的图像识别。
150.203、获取待识别图像。
151.其中,该待识别图像包含目标对象的关键点特征,该关键点特征可以是表示目标对象的相关部位的特征。示例性的,待识别图像为包含目标用户的整个身体的图像,该图像中的关键点对应的部位可以是目标用户的左耳、右耳、左眼、右眼、鼻子、嘴、左肩、右肩等,此处不做限定。
152.其中,该待识别图像可以从历史时段中获取的图像,如目标对象在1秒前、1分钟前或5分钟前的图像。此外,本技术实施例该可以通过对目标对象进行实时监测,如通过摄像头对目标对象进行实时拍摄,以视频流的方式采集目标对象的体态信息。需要说明的是,在对目标对象进行实时拍摄过程中,可以实时将拍摄到的目标对象的数据(视频流、图像流等)传输至处理器(如终端或服务器);还可以间隔单位时间,将采集到的目标对象的视频流发送至处理器,如每间隔1分钟或30秒等;以此,以使得处理器从接收到的图像流或视频流数据中获取包含目标对象的关键点特征的待识别图像。
153.204、通过训练后的目标模型对待识别图像中的目标对象的关键点进行识别,得到对应的关键点位置信息集合。
154.其中,该关键点位置信息集合可以包含多个关键点位置子信息,该关键点位置子信息可以是表示相应的关键点部位在待识别图像中的位置信息,如坐标、与图像中心的距离、显示占比等位置信息。
155.205、基于关键点位置信息集合,构建关键点特征向量。
156.其中,该关键点特征向量可以是根据一个或多个关键点位置子信息结合构建的特征向量,该关键点特征向量可用于后续确定目标对象的体态。
157.示例性的,关键点特征包括左眼、右眼、左耳、右耳、鼻子、左肩、右肩,具体的,在获取以上关键点的位置信息后,识别关键点位置子信息对应的关键点位置数据;根据关键点位置数据构建关键点特征向量。例如,构建左耳指向左眼的关键点特征向量,构建左眼指向鼻子的关键点特征向量,构建右耳指向右眼的关键点特征向量,构建右眼指向鼻子的关键点特征向量,构建左耳指向右耳的关键点特征向量,构建左眼指向右眼的关键点特征向量,构建左肩指向右肩的关键点特征向量。
158.206、获取关键点特征向量对应的向量方向。
159.其中,该向量方向用于描述对应的关键点特征向量的方向,具体可以是表示两个关键点特征之间的向量的方向。例如,以左眼和右眼作为关键点特征为例,以左眼为起点,构建从左眼指向右眼的特征向量,则该特征向量的方向是以左眼指向右眼;又如,以左眼和鼻子作为关键点特征为例,以左眼为起点,构建从左眼指向鼻子的特征向量,则该特征向量的方向是以左眼指向鼻子。
160.具体的,建立待识别图像对应的直角坐标系;获取关键点特征向量在直角坐标系中的矢量关系。
161.207、根据关键点特征向量对应的向量方向确定目标对象的体态识别结果。
162.其中,体态识别结果可以是目标对象的身体姿态,用于表示待识别图像所记录的体态信息。该体态识别结果不限于包括低头状态、侧头状态、斜体状态(身体倾斜状态)等。
163.在本技术实施例中,该体态识别结果具体可以包括以下情况:
164.(1)该关键点特征向量包括左耳指向左眼的第一子特征向量、左眼指向鼻子的第二子特征向量、右耳指向右眼的第三子特征向量和右眼指向鼻子的第四子特征向量。此时,根据关键点特征向量的向量方向确定以上关键点特征向量与预设直角坐标系之间的象限特性关系;若检测到第一子特征向量及第二子特征向量的象限特性关系为指向第四象限,且第三子特征向量及第四子特征向量的象限特性关系为指向第三象限,则确定目标对象处于低头状态,并将低头状态确定为目标对象的体态识别结果。
165.(2)该关键点特征向量包括左耳指向右耳的第五子特征向量、左眼指向右眼的第六子特征向量。此时,根据关键点特征向量的向量方向确定以上关键点特征向量的水平倾斜角度;若检测到第五子特征向量及第六子特征向量的水平倾斜角度处于预设第一倾斜角度范围值,则确定目标对象处于侧头状态,并将侧头状态确定为目标对象的体态识别结果。
166.(3)该关键点特征向量包括左肩部指向右肩部的第七子特征向量。此时,根据关键点特征向量的向量方向确定第七子特征向量的水平倾斜角度;若检测到第一平衡向量的水平倾斜角度处于预设第二倾斜角度范围值,则确定目标对象处于斜体状态,并将斜体状态确定为目标对象的体态识别结果。
167.208、根据体态识别结果生成提示信息,并对该提示信息进行提示。
168.具体的,在确定目标对象的体态识别结果后,可对该体态识别结果进行检测,当检测到体态识别结果为低头状态、侧头状态或斜体状态中的一种时,即可确定目标对象的姿势不准确,即为错误体态,可生成相关的提示信息,并进行提示。
169.此外,当检测到体态识别结果不包含低头状态、侧头状态或斜体状态中的任意一种时,确定目标对象的姿势正确,可以生成“请保持”、“姿势正确”等提示信息,以进行提示。
170.其中,在对以上提示信息进行提示时,可以进行在终端的显示界面进行显示,还可通过其他传感组件进行提示。此处不做限定。
171.通过以上方式,可实现如下效果:采用对现有公开数据集的处理,对轻量化的头肩关键点进行坐姿任务下的训练,可以在达到较高准确率的情况下,对人体不良坐姿进行实时的检测,且整个系统只有一个模块,大大减少了对硬件的依赖。
172.由上可得,本技术实施例可以获取待识别图像,待识别图像包含目标对象的关键点特征;对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,关键点位置信息集合包括目标对象的各个关键点的位置信息;基于关键点位置信息集合,构建关键点特征向量;根据关键点特征向量确定目标对象的体态识别结果。本方案通过对待识别图像中目标对象的人体关键点特征进行识别,以获取目标对象当前体态信息中各关键点特征的位置信息,得到关键点位置信息集合,进而,基于关键点位置信息集合,构建关键点特征向量,以便根据构建的关键点特征向量的方向来确定目标对象的体态识别结果,以此,可在对目标对象进行体态识别时摆脱对硬件模块的依赖,提高人体体态识别的效率。
173.为了更好地实施以上方法,本技术实施例还提供一种体态识别装置,该体态识别装置可以集成在计算机设备,比如服务器或终端等设备中,该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
174.例如,如图6所示,该体态识别装置可以包括获取单元301、识别单元302、构建单元303和确定单元304,如下:
175.获取单元301,用于获取待识别图像,待识别图像包含目标对象的关键点特征;
176.识别单元302,用于对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,关键点位置信息集合包括目标对象的各个关键点的位置信息;
177.构建单元303,用于基于关键点位置信息集合,构建关键点特征向量;
178.确定单元304,用于根据关键点特征向量确定目标对象的体态识别结果。
179.在一些实施例中,确定单元304,包括:
180.获取子单元,用于获取关键点特征向量对应的向量方向;
181.确定子单元,用于根据关键点特征向量对应的向量方向确定目标对象的体态识别结果。
182.在一些实施例中,获取子单元,还用于:
183.识别关键点特征向量在待识别图像中的矢量关系;
184.根据矢量关系确定关键点特征向量对应的向量方向。
185.在一些实施例中,获取子单元,还用于:
186.建立待识别图像对应的直角坐标系;
187.获取关键点特征向量在直角坐标系中的矢量关系。
188.在一些实施例中,获取子单元,还用于:
189.根据矢量关系确定关键点特征向量的方向角度;
190.根据方向角度确定关键点特征向量对应的向量方向。
191.在一些实施例中,关键点特征向量包括左耳指向左眼的第一子特征向量、左眼指向鼻子的第二子特征向量、右耳指向右眼的第三子特征向量和右眼指向鼻子的第四子特征向量,根据关键点特征向量对应的向量方向确定目标对象的体态识别结果,确定子单元,还用于:
192.基于第一子特征向量、第二子特征向量、第三子特征向量及第四子特征向量对应的向量方向,分别确定第一子特征向量、第二子特征向量、第三子特征向量及第四子特征向量与预设直角坐标系之间的象限特性关系;
193.若检测到第一子特征向量及第二子特征向量的象限特性关系为指向第四象限,且检测到第三子特征向量及第四子特征向量的象限特性关系为指向第三象限,则确定目标对象处于低头状态,并将低头状态确定为目标对象的体态识别结果。
194.在一些实施例中,关键点特征向量包括左耳指向右耳的第一平行向量和左眼指向右眼的第二平行向量,确定子单元,还用于:
195.基于第一平行向量及第二平行向量对应的向量方向,分别确定第一平行向量及第二平行向量的水平倾斜角度;
196.若检测到第一平行向量及第二平行向量的水平倾斜角度处于预设第一倾斜角度范围值,则确定目标对象处于侧头状态,并将侧头状态确定为目标对象的体态识别结果。
197.在一些实施例中,关键点特征向量包括左肩部指向右肩部的第一平衡向量,确定子单元,还用于:
198.根据第一平衡向量对应的向量方向,确定第一平衡向量的水平倾斜角度;
199.若检测到第一平衡向量的水平倾斜角度处于预设第二倾斜角度范围值,则确定目标对象处于斜体状态,并将斜体状态确定为目标对象的体态识别结果。
200.在一些实施例中,构建单元303,还用于:
201.提取关键点数据集合中的关键点位置子信息;确定关键点位置子信息在待识别图像中的目标位置坐标;对多个目标位置坐标进行向量计算,得到关键点特征向量。
202.在一些实施例中,识别单元302,还用于:
203.通过目标模型对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,目标模型由样本图像中包含的样本体态信息及样本关键点位置信息联合训练得到。
204.在一些实施例中,识别单元302,还用于:
205.从待识别图像进行截取目标对象的目标人体子图像;将目标人体子图像输入目标模型进行关键点特征识别,得到关键点位置信息集合。
206.在一些实施例中,获取单元301,还用于:
207.接收待处理视频;从待处理视频提取目标对象在历史时段内的目标图像帧,并将目标图像帧确定为待识别图像。
208.在一些实施例中,获取单元301,还用于:
209.对待处理视频进行分解处理,得到图像帧集合;从图像帧集合中筛选出包含目标对象对应的多个图像子帧;从多个图像子帧中提取符合历史时段的目标图像帧。
210.在一些实施例中,待识别图像为待处理视频中的一帧目标视频帧,该体态识别装置还包括生成单元,具体用于:
211.若所述待处理视频中若干连续的目标视频帧的体态识别结果均为同一预设姿态,则确定所述目标对象处于错误体态,并生成所述错误体态对应的提示信息。
212.在一些实施例中,该体态识别装置还包括训练单元,具体用于:
213.获取包含样本关键点特征的样本图像;将该样本图像输入预设模型,得到关键点预测位置信息;获取关键点预测位置信息与样本关键点位置信息之间的位置信息差值;根据位置信息差值调整预设模型的网络参数,直至预设模型迭代收敛,得到目标模型。
214.由上可得,本技术实施例可以通过获取单元301获取待识别图像,待识别图像包含目标对象的关键点特征;通过识别单元302对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,关键点位置信息集合包括目标对象的各个关键点的位置信息;通过构建单元303基于关键点位置信息集合,构建关键点特征向量;通过确定单元304根据关键点特征向量确定目标对象的体态识别结果。本方案通过对待识别图像中目标对象的人体关键点特征进行识别,以获取目标对象当前体态信息中各关键点特征的位置信息,得到关键点位置信息集合,进而,基于关键点位置信息集合,构建关键点特征向量,以便根据构建的关键点特征向量的方向来确定目标对象的体态识别结果,以此,可在对目标对象进行体态识别时摆脱对硬件模块的依赖,提高人体体态识别的效率。
215.本技术实施例还提供一种计算机设备,如图7所示,其示出了本技术实施例所涉及的计算机设备的结构示意图,具体来讲:
216.该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以
理解,图7中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
217.处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和计算机程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
218.存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
219.计算机设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
220.该计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息通讯,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
221.尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的计算机程序,从而实现各种功能,如下:
222.获取待识别图像,待识别图像包含目标对象的关键点特征;对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,关键点位置信息集合包括目标对象的各个关键点的位置信息;基于关键点位置信息集合,构建关键点特征向量;根据关键点特征向量确定目标对象的体态识别结果。
223.以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
224.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
225.为此,本技术实施例提供一种计算机可读存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本技术实施例所提供的任一种体态识别方法。
226.以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
227.其中,该计算机可读存储介质可以包括:只读存储器(rom,read only memory)、随
机存取记忆体(ram,random access memory)、磁盘或光盘等。
228.由于该计算机可读存储介质中所存储的指令,可以执行本技术实施例所提供的任一种体态识别方法中的步骤,因此,可以实现本技术实施例所提供的任一种体态识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
229.其中,根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
230.以上对本技术实施例所提供的一种体态识别方法、装置、计算机设备、计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
技术特征:
1.一种体态识别方法,其特征在于,包括:获取待识别图像,所述待识别图像包含目标对象的关键点特征;对所述待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,所述关键点位置信息集合包括目标对象的各个关键点的位置信息;基于所述关键点位置信息集合,构建关键点特征向量;根据所述关键点特征向量确定所述目标对象的体态识别结果。2.根据权利要求1所述的体态识别方法,其特征在于,所述根据所述关键点特征向量确定所述目标对象的体态识别结果,包括:获取所述关键点特征向量对应的向量方向;根据所述关键点特征向量对应的向量方向确定所述目标对象的体态识别结果。3.根据权利要求2所述的体态识别方法,其特征在于,所述获取所述关键点特征向量对应的向量方向,包括:识别所述关键点特征向量在所述待识别图像中的矢量关系;根据所述矢量关系确定所述关键点特征向量对应的向量方向。4.根据权利要求3所述的体态识别方法,其特征在于,所述识别所述关键点特征向量在所述待识别图像中的矢量关系,包括:建立所述待识别图像对应的直角坐标系;获取所述关键点特征向量在所述直角坐标系中的矢量关系。5.根据权利要求3所述的体态识别方法,其特征在于,所述根据所述矢量关系确定所述关键点特征向量对应的向量方向,包括:根据所述矢量关系确定所述关键点特征向量的方向角度;根据所述方向角度确定所述关键点特征向量对应的向量方向。6.根据权利要求2所述的体态识别方法,其特征在于,所述关键点特征向量包括左耳指向左眼的第一子特征向量、左眼指向鼻子的第二子特征向量、右耳指向右眼的第三子特征向量和右眼指向鼻子的第四子特征向量,所述根据所述关键点特征向量对应的向量方向确定所述目标对象的体态识别结果,包括:基于所述第一子特征向量、第二子特征向量、第三子特征向量及第四子特征向量对应的向量方向,分别确定所述第一子特征向量、第二子特征向量、第三子特征向量及第四子特征向量与预设直角坐标系之间的象限特性关系;若检测到所述第一子特征向量及第二子特征向量的象限特性关系为指向第四象限,且检测到所述第三子特征向量及第四子特征向量的象限特性关系为指向第三象限,则确定所述目标对象处于低头状态,并将所述低头状态确定为所述目标对象的体态识别结果。7.根据权利要求2所述的体态识别方法,其特征在于,所述关键点特征向量包括左耳指向右耳的第一平行向量和左眼指向右眼的第二平行向量,所述根据所述关键点特征向量对应的向量方向确定所述目标对象的体态识别结果,包括:基于所述第一平行向量及第二平行向量对应的向量方向,分别确定所述第一平行向量及第二平行向量的水平倾斜角度;若检测到所述第一平行向量及第二平行向量的水平倾斜角度处于预设第一倾斜角度范围值,则确定所述目标对象处于侧头状态,并将所述侧头状态确定为所述目标对象的体
态识别结果。8.根据权利要求2所述的体态识别方法,其特征在于,所述关键点特征向量包括左肩部指向右肩部的第一平衡向量,所述根据所述关键点特征向量对应的向量方向确定所述目标对象的体态识别结果,包括:根据所述第一平衡向量对应的向量方向,确定所述第一平衡向量的水平倾斜角度;若检测到所述第一平衡向量的水平倾斜角度处于预设第二倾斜角度范围值,则确定所述目标对象处于斜体状态,并将所述斜体状态确定为所述目标对象的体态识别结果。9.根据权利要求1所述的体态识别方法,其特征在于,所述基于所述关键点位置信息集合,构建关键点特征向量,包括:提取所述关键点数据集合中的多个关键点位置子信息;确定每一所述关键点位置子信息在所述待识别图像中的目标位置坐标;对多个所述目标位置坐标进行向量计算,得到关键点特征向量。10.根据权利要求1所述的体态识别方法,其特征在于,所述对所述待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,包括:通过目标模型对所述待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,所述目标模型由样本图像中包含的样本体态信息及样本关键点位置信息训练得到。11.根据权利要求10所述的体态识别方法,其特征在于,所述通过目标模型对所述待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,包括:从所述待识别图像进行截取所述目标对象的目标人体子图像;将所述目标人体子图像输入所述目标模型进行关键点特征识别,得到关键点位置信息集合。12.根据权利要求1所述的体态识别方法,其特征在于,所述待识别图像为待处理视频中的一帧目标视频帧,所述根据所述关键点特征向量确定所述目标对象的体态识别结果之后,还包括:若所述待处理视频中若干连续的目标视频帧的体态识别结果均为同一预设姿态,则确定所述目标对象处于错误体态,并生成所述错误体态对应的提示信息。13.一种体态识别装置,其特征在于,包括:获取单元,用于获取待识别图像,所述待识别图像包含目标对象的关键点特征;识别单元,用于对所述待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,所述关键点位置信息集合包括目标对象的各个关键点的位置信息;构建单元,用于基于所述关键点位置信息集合,构建关键点特征向量;确定单元,用于根据所述关键点特征向量确定所述目标对象的体态识别结果。14.一种计算机设备,其特征在于,包括存储器和处理器;所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行权利要求1至12任一项所述的体态识别方法。15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行权利要求1至12任一项所述的体态识别方法。
技术总结
本申请实施例提供一种体态识别方法、装置、计算机设备及计算机可读存储介质,可以获取待识别图像,待识别图像包含目标对象的关键点特征;对待识别图像中的目标对象的关键点进行识别,得到关键点位置信息集合,其中,关键点位置信息集合包括目标对象的各个关键点的位置信息;基于关键点位置信息集合,构建关键点特征向量;根据关键点特征向量确定目标对象的体态识别结果。本申请实施例可以通过对待识别图像中目标对象的人体关键点特征进行识别,以获取目标对象当前体态信息中各关键点特征的位置信息,从而根据关键点位置信息确定目标对象的体态识别结果,以此,可在对目标对象进行体态识别时摆脱对硬件模块的依赖,提高人体体态识别的效率。态识别的效率。态识别的效率。
技术研发人员:赵晨晨 李渊
受保护的技术使用者:武汉TCL集团工业研究院有限公司
技术研发日:2022.01.11
技术公布日:2023/7/25
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/