用户识别方法、装置、智能家电及存储介质与流程

1.本发明涉及识别技术领域，具体涉及一种用户识别方法、装置、智能家电及存储介质。


背景技术：

2.生物识别技术的快速发展，推动了视觉处理技术和信号处理技术的广泛发展和深入；随着科技和现代科学的不断进步，对身份认证的安全性的要求也逐渐提升。
3.目前，指纹识别技术由于容易被盗取等问题，安全性越来越差，已经不能满足技术主流需求了。


技术实现要素：

4.为缓解当前指纹识别技术存在的安全性较低的技术问题，本发明实施例提供一种用户识别方法、装置、智能家电及存储介质。
5.第一方面，本发明实施例提供一种用户识别方法，运用于智能家电；所述方法包括：
6.根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像；
7.通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征；
8.基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果；
9.基于训练后的第二分类网络以及所述注册用户的肢体静脉图像，对所述第一图像特征和所述第二图像特征的融合图像特征进行识别，得到第二识别结果；
10.根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果。
11.在一些实施例中，在所述根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像的步骤之前，还包括：
12.在监测到智能家电被触发时，使能感红外相机；
13.通过所述感红外相机，获取所述待识别用户的肢体静脉图像。
14.在一些实施例中，所述根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像的步骤，包括：
15.将所述待识别用户的肢体静脉图像，确定为所述正向静脉图像；
16.对所述待识别用户的肢体静脉图像进行翻转，生成所述负向静脉图像。
17.在一些实施例中，所述通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征的步骤，包括：
18.通过第一特征提取网络中的第一预处理网络对所述正向静脉图像进行预处理，得
到正向待提取图像；通过所述第一特征提取网络中的第一自动编码器网络对所述正向待提取图像进行权重矩阵特征提取，得到正向权重矩阵特征；基于所述正向权重矩阵特征，通过所述述第一特征提取网络中的第一特征处理网络对所述正向待提取图像进行图像特征提取，得到所述第一图像特征；
19.通过第二特征提取网络中的第二预处理网络对所述负向静脉图像进行预处理，得到负向待提取图像；通过所述第二特征提取网络中的第二自动编码器网络对所述负向待提取图像进行权重矩阵特征提取，得到负向权重矩阵特征；基于所述负向权重矩阵特征，通过所述述第二特征提取网络中的第二特征处理网络对所述负向待提取图像进行图像特征提取，得到所述第二图像特征。
20.在一些实施例中，所述基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果的步骤，包括：
21.根据所述注册用户的肢体静脉图像对应的正向肢体静脉图像，通过所述第一分类网络对所述第一图像特征进行识别，得到所述第一图像特征的正向图像识别结果；
22.根据所述注册用户的肢体静脉图像对应的负向肢体静脉图像，通过所述第一分类网络对所述第二图像特征进行识别，得到所述第二图像特征的负向图像识别结果；
23.根据所述正向图像识别结果、所述负向图像识别结果及对应的分数权重，得到所述第一识别结果。
24.在一些实施例中，所述根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果的步骤，包括：
25.获取多模态融合权重；
26.根据所述第一识别结果、所述第二识别结果以及所述多模态融合权重，得到所述待识别用户的用户识别结果。
27.在一些实施例中，在所述通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征的步骤之前，还包括：
28.获取待训练的编码器-解码器网络；
29.根据统一数据库中的静脉图像，对所述待训练的编码器-解码器网络进行训练，得到训练后的编码器-解码器网络；
30.根据所述训练后的编码器-解码器网络中编码器的网络参数，确定自动编码器网络的网络参数。
31.在一些实施例中，所述用户识别方法还包括：
32.构建待训练的神经网络；所述神经网络包括第一特征提取网络、第二特征提取网络、第一识别网络、第二识别网络以及输出网络，所述第一特征提取网络和所述第二特征提取网络并联，所述第一识别网络和所述第二识别网络并联；所述第一特征提取网络包括依次连接的第一预处理网络、第一自动编码器网络以及第一特征处理网络，所述第二特征提取网络包括依次连接的第二预处理网络、第二自动编码器网络以及第二特征处理网络，所述第一预处理网络和所述第二预处理网络的网络参数相同，所述第一自动编码器网络和所述第二自动编码器网络的网络参数相同，所述第一特征处理网络和所述第二特征处理网络
的网络参数相同；所述第一识别网络包括多个网络结构不同的第一分类网络，所述第二识别网络包括多个网络结构不同的第二分类网络；
33.根据所述统一数据库中的静脉图像对所述待训练的神经网络进行训练，以确定所述第一特征处理网络的网络参数、所述第一分类网络和所述第二分类网络的网络结构及网络参数。
34.第二方面，本发明实施例提供一种用户识别装置，设置于智能家电配；所述装置包括：
35.第一模块，用于根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像；
36.第二模块，用于通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征；
37.第三模块，用于基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果；
38.第四模块，用于基于训练后的第二分类网络以及所述注册用户的肢体静脉图像，对所述第一图像特征和所述第二图像特征的融合图像特征进行识别，得到第二识别结果；
39.第五模块，用于根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果。
40.第三方面，本发明实施例提供一种智能家电，所述智能家电包括存储器和处理器；所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的方法。
41.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如第一方面所述的方法。
42.与现有技术相比，本发明的一个或多个实施例至少能带来如下有益效果：
43.本发明实施例提供了一种用户识别方法、装置、智能家电及存储介质；该方法包括根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像，通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征，基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果，基于训练后的第二分类网络以及所述注册用户的肢体静脉图像，对所述第一图像特征和所述第二图像特征的融合图像特征进行识别，得到第二识别结果，根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果。在本技术提供的方案中，对用户的肢体静脉图像进行获取，并通过特征提取网络得到待识别用户的肢体静脉图像的双向提取特征，再基于第一分类网络及注册用户的肢体静脉图像对双向提取特征进行识别得到第一识别结果，基于第二分类网络及注册用户的肢体静脉图像对双向提取特征的融合特征进行识别得到第二识别结果，最后根据第一识别结果及第二识别结果得到待识别用户的用户识别结果，本技术利用肢体静脉图像取代指纹图像对用户进行身份识别，克服了指纹图像安全性较低的问题，同时肢体静脉图像的识别效率也很高，保证了识别
准确性。
附图说明
44.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
45.图1是本发明实施例提供的用户识别方法的第一种流程示意图；
46.图2a是本发明实施例提供的训练流程示意图；
47.图2b是本发明实施例提供的识别流程示意图；
48.图3是本发明实施例提供的用户识别装置的一种结构示意图。
具体实施方式
49.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.实施例一
51.图1示出了本发明实施例提供的用户识别方法的第一种流程示意图，如图1所示，本技术提供的用户识别方法，包括：
52.步骤s110：根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像。
53.本技术涉及的静脉识别技术在高度安全性和使用便捷性上远胜于指纹识别等其它生物识别技术，其采用人体血红蛋白通过静脉时能吸收近红外光的特征，可以采集皮下静脉影像作为特征提取为生物特征，其具有高度防伪、简易使用(不受手部环境影响)、高度准确、快速识别等特征，非常适合在公共场合使用。
54.现有的图像识别技术主要分为非学习模型和学习模型两类，非学习模型主要采用信号滤波、提取二进制纹理信息、特征点提取等特征提取方法，之后利用欧式距离作为最终匹配策略；学习模型通过结合pca、滤波器等特征提取方法，再结合分类模型的方法被大多数人采用，其能够解决非学习模型中图像质量与纹理缺失等问题，这些识别技术并不能满足用户识别的要求。
55.在一些实施例中，在所述根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像的步骤之前，还包括：在监测到智能家电被触发时，使能感红外相机；通过所述感红外相机，获取所述待识别用户的肢体静脉图像。
56.在本技术中，智能家电可以为静脉识别门锁等需要用户识别的家电。
57.具体的，当待识别用户的肢体接触智能家电的图像数据采集模块时，智能家电使能感红外相机获取在近红外光下的肢体静脉图像，以采集待识别用户的生物特征。
58.进一步的，对感红外相机获取的肢体静脉图像进行预处理以提高图像质量，肢体
静脉图像预处理包括均值滤波、感兴趣区域(roi)提取、区域截取、尺寸归一化和图像增强处理；所述roi提取包括边缘检测、骨骼化、闭合操作以及消除获取图像中的噪声信息；所述尺寸归一化使用resize函数实现；所述图像增强处理采用线性变换和灰度直方图等方法。并将预处理后的肢体静脉图像作为待识别用户的肢体静脉图像，以在后续的步骤中进行运用。
59.在一些实施例中，所述根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像的步骤，包括：将所述待识别用户的肢体静脉图像，确定为所述正向静脉图像；对所述待识别用户的肢体静脉图像进行翻转，生成所述负向静脉图像。
60.具体的，将所述待识别用户的肢体静脉图像，确定为所述正向静脉图像；将正向静脉图像进行180度旋转，旋转后得到的图像作为负向静脉图像。
61.步骤s120：通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征。
62.在一些实施例中，在所述通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征的步骤之前，还包括：获取待训练的编码器-解码器网络；根据统一数据库中的静脉图像，对所述待训练的编码器-解码器网络进行训练，得到训练后的编码器-解码器网络；根据所述训练后的编码器-解码器网络中编码器的网络参数，确定自动编码器网络的网络参数。利用自动编码器网络对原始特征进行输入重构以提取原始数据特征，同时减少模型大小更加适配小微型电脑。
63.在一些实施例中，所述通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征的步骤，包括：通过第一特征提取网络中的第一预处理网络对所述正向静脉图像进行预处理，得到正向待提取图像；通过所述第一特征提取网络中的第一自动编码器网络对所述正向待提取图像进行权重矩阵特征提取，得到正向权重矩阵特征；基于所述正向权重矩阵特征，通过所述述第一特征提取网络中的第一特征处理网络对所述正向待提取图像进行图像特征提取，得到所述第一图像特征；通过第二特征提取网络中的第二预处理网络对所述负向静脉图像进行预处理，得到负向待提取图像；通过所述第二特征提取网络中的第二自动编码器网络对所述负向待提取图像进行权重矩阵特征提取，得到负向权重矩阵特征；基于所述负向权重矩阵特征，通过所述述第二特征提取网络中的第二特征处理网络对所述负向待提取图像进行图像特征提取，得到所述第二图像特征。
64.步骤s130：基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果。
65.在一些实施例中，所述基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果的步骤，包括：根据所述注册用户的肢体静脉图像对应的正向肢体静脉图像，通过所述第一分类网络对所述第一图像特征进行识别，得到所述第一图像特征的正向图像识别结果；根据所述注册用户的肢体静脉图像对应的负向肢体静脉图像，通过所述第一分类网络对所述第二图像特征进行识别，得到所述第二图像特征的负向图像识别结果；根据所述正向图像识别结果、
所述负向图像识别结果及对应的分数权重，得到所述第一识别结果。即第一识别结果是采用分数级融合的方法获得的。
66.步骤s140：基于训练后的第二分类网络以及所述注册用户的肢体静脉图像，对所述第一图像特征和所述第二图像特征的融合图像特征进行识别，得到第二识别结果。
67.在本实施例中，需融合第一图像特征和第二图像特征得到融合图像特征，再基于注册用户的肢体静脉图像对融合图像特征进行识别得到第二识别结果；即第二识别结果是采用特征级融合的方法获得的。
68.在本技术中，可以采用svm以及简单的elm等网络进行对比试验，以选择最优分类网络。
69.步骤s150：根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果。
70.在一些实施例中，所述根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果的步骤，包括：获取多模态融合权重；根据所述第一识别结果、所述第二识别结果以及所述多模态融合权重，得到所述待识别用户的用户识别结果。
71.在本技术中，多模态融合技术可采用迁移学习，以减少训练参数并提升训练速度。
72.在一些实施例中，所述用户识别方法还包括：构建待训练的神经网络；所述神经网络包括第一特征提取网络、第二特征提取网络、第一识别网络、第二识别网络以及输出网络，所述第一特征提取网络和所述第二特征提取网络并联，所述第一识别网络和所述第二识别网络并联；所述第一特征提取网络包括依次连接的第一预处理网络、第一自动编码器网络以及第一特征处理网络，所述第二特征提取网络包括依次连接的第二预处理网络、第二自动编码器网络以及第二特征处理网络，所述第一预处理网络和所述第二预处理网络的网络参数相同，所述第一自动编码器网络和所述第二自动编码器网络的网络参数相同，所述第一特征处理网络和所述第二特征处理网络的网络参数相同；所述第一识别网络包括多个网络结构不同的第一分类网络，所述第二识别网络包括多个网络结构不同的第二分类网络；根据所述统一数据库中的静脉图像对所述待训练的神经网络进行训练，以确定所述第一特征处理网络的网络参数、所述第一分类网络和所述第二分类网络的网络结构及网络参数。
73.即，在本发明提供的方法中，对用户的肢体静脉图像进行获取，并通过特征提取网络得到待识别用户的肢体静脉图像的双向提取特征，再基于第一分类网络及注册用户的肢体静脉图像对双向提取特征进行识别得到第一识别结果，基于第二分类网络及注册用户的肢体静脉图像对双向提取特征的融合特征进行识别得到第二识别结果，最后根据第一识别结果及第二识别结果得到待识别用户的用户识别结果，本技术利用肢体静脉图像取代指纹图像对用户进行身份识别，克服了指纹图像安全性较低的问题，同时对图像识别技术也进行了改进，是的肢体静脉图像的识别效率也很高，保证了识别准确性。
74.现结合具体场景对本技术做进一步的说明，在本场景中，以具备指静脉识别功能的智能门锁等智能家电为例，对本技术提供的用户识别方法进行说明。
75.图2a为本发明实施例提供的训练流程示意图；如图2a所示，本技术提供的训练流程包括两个阶段，现具体说明。
76.在训练阶段1，需要完成指静脉图像识别领域的编码器-解码器网络的训练。
77.本阶段包括：获取待训练的编码器-解码器网络；根据统一数据库中的静脉图像，对所述待训练的编码器-解码器网络进行训练，得到训练后的编码器-解码器网络；根据所述训练后的编码器-解码器网络中编码器的网络参数，确定自动编码器网络的网络参数。本技术采用迁移学习的方式，降低训练复杂度。
78.编码器网络旨在学习输入的压缩表示形式，在构建分类自动编码器网络时，开发一个多层感知器自动编码模型，该模型采样所有输入列的数值，然后输出相同的值。在本技术中，编码器学习如何解释输入并将其压缩为瓶颈层定义的内部表示，即学习能够保留原始图像信息的权重矩阵，解码器获取编码器的输出并尝试重新创建输入的图像，当可以完成图像重建时，训练完成；一旦编码器进行训练，将解码器进行丢弃，保留编码器的网络参数在后续网络中使用。自动编码器网络可以采用的优化目标损失函数minmize loss＝dist(x，xr)，dist为采用的距离函数，数据训练形式即为在不断的迭代下最小化损失函数，不断的最小化输入和输出之间的重构误差进行训练，训练的目的旨在寻找输入图像的最优参数矩阵作为输出。
79.在训练阶段2，需要完成指静脉图像识别领域的神经网络的训练。
80.如图2a所示，本技术提供的神经网络包括第一特征提取网络、第二特征提取网络、第一识别网络、第二识别网络以及输出网络，所述第一特征提取网络和所述第二特征提取网络并联，所述第一识别网络和所述第二识别网络并联；所述第一特征提取网络包括依次连接的第一预处理网络(数据预处理a)、第一自动编码器网络(自动编码器a)以及第一特征处理网络(特征处理网络a)，所述第二特征提取网络包括依次连接的第二预处理网络(数据预处理b)、第二自动编码器网络(自动编码器b)以及第二特征处理网络(特征处理网络b)，所述第一预处理网络和所述第二预处理网络的网络参数相同，所述第一自动编码器网络和所述第二自动编码器网络的网络参数相同，所述第一特征处理网络和所述第二特征处理网络的网络参数相同；所述第一识别网络包括多个网络结构不同的第一分类网络(特征匹配a+分类器a组成一种第一分类网络，特征匹配b+分类器b组成另一种第一分类网络)，所述第二识别网络包括多个网络结构不同的第二分类网络(特征匹配c+分类器c组成一种第二分类网络)。
81.本阶段涉及的训练包括：根据所述统一数据库(即指静脉图像集中的训练集)中的静脉图像对所述待训练的神经网络进行训练，以确定所述第一特征处理网络的网络参数、所述第一分类网络和所述第二分类网络的网络结构及网络参数。
82.图2b为本发明实施例提供的识别流程示意图；如图2b所示，本技术提供的方法包括以下步骤：
83.步骤一：静脉图像采集，并生成正向静脉图像和负向静脉图像。
84.在本实施例中，获取待识别用户的静脉图像，由静脉识别门锁的图像数据采集模块来负责采集待识别用户的生物特征。在一些实施例中，在监测到静脉识别门锁被触发时，使能感红外相机；通过所述感红外相机，获取所述待识别用户的肢体静脉图像。即当待识别用户的肢体接触静脉识别门锁的图像数据采集模块时，静脉识别门锁使能感红外相机获取在近红外光下的肢体静脉图像，以采集待识别用户的生物特征。
85.在本步骤中，为了保证图像识别准确度，需要通过采集的静脉图像进行增强处理。
86.对感红外相机获取的肢体静脉图像进行增强处理以提高图像质量，肢体静脉图像
的增强处理包括均值滤波、感兴趣区域(roi)提取、区域截取、尺寸归一化和图像增强处理；roi提取包括边缘检测、骨骼化、闭合操作以及消除获取图像中的噪声信息；所述尺寸归一化使用resize函数实现；所述图像增强处理采用线性变换和灰度直方图等方法。并将增强处理后的肢体静脉图像作为待识别用户的肢体静脉图像
87.在此基础上，采用前述方式，基于采集到的静脉图像生成正向静脉图像，翻转静脉图像生成负向静脉图像。
88.步骤二：图像裁剪等预处理。
89.在本步骤中，为了保证实现神经网络的统一尺寸，需要通过数据预处理a和数据预处理b分别对正向静脉图像和负向静脉图像进行图像裁剪等预处理。
90.步骤三：图像的特征提取过程。
91.在本实施例中，如图2b所示，基于双向特征的静脉识别流程，利用训练后的自动编码器和特征提取网络分别对裁剪后的正向静脉图像和负向静脉图像进行特征提取，分别得到第一图像特征和第二图像特征。
92.具体的，如图2b所示，将正向静脉图像输入到第一特征提取网络，通过第一预处理网络a对正向静脉图像进行裁剪等预处理，得到正向待提取图像，再通过第一自动编码器网络a对正向待提取图像进行权重矩阵特征提取，得到正向权重矩阵特征，最后基于正向权重矩阵特征，通过第一特征处理网络a对正向待提取图像进行图像特征提取，得到第一图像特征；将负向静脉图像输入到第二特征提取网络，通过第二预处理网络b对负向静脉图像进行裁剪等预处理，得到负向待提取图像，再通过第二自动编码器网络b对负向待提取图像进行权重矩阵特征提取，得到负向权重矩阵特征，最后基于负向权重矩阵特征，通过第二特征处理网络b对负向待提取图像进行图像特征提取，得到第二图像特征。
93.步骤四：数据融合与分类。
94.在本实施例中，融合采用特征级融合与分数级融合结合的方法进行图像特征匹配与分类决策。具体的，如图2b所示，根据注册用户的肢体静脉图像对应的正向肢体静脉图像和负向肢体静脉图像，通过第一分类网络(对应分数级融合)中的特征匹配a和分类器a利用注册用户的肢体静脉图像对应的正向肢体静脉图像对第一图像特征进行识别决策，同时通过第一分类网络中的特征匹配b和分类器b利用注册用户的肢体静脉图像对应的负向肢体静脉图像对第二图像特征进行识别决策，得到第一图像特征的正向图像识别结果和第二图像特征的负向图像识别结果，再结合分类器a的分数权重1(例如70％等)和分类器b的分数权重2(例如30％等)，对正向图像识别结果和负向图像识别结果进行运算得到第一识别结果；根据注册用户的肢体静脉图像，通过第二分类网络(对应特征级融合)中的特征匹配c和分类器c，基于注册用户的肢体静脉图像对第一图像特征与第二图像特征融合得到的融合图像特征进行识别决策得到第二识别结果。
95.步骤五：得到用户识别结果。
96.在本实施例中，如图2b所示，根据第一识别结果、第二识别结果以及多模态融合权重(例如特征级融合模式对应的权重为80％，分数级融合模式对应的权重为20％等)，对第一识别结果和第二识别结果进行运算得到待识别用户的用户识别结果。
97.根据上述场景可知：在本技术中，对用户的肢体静脉图像进行获取，并通过特征提取网络得到待识别用户的肢体静脉图像的双向提取特征，再基于第一分类网络及注册用户
的肢体静脉图像对双向提取特征进行识别得到第一识别结果，基于第二分类网络及注册用户的肢体静脉图像对双向提取特征的融合特征进行识别得到第二识别结果，最后根据第一识别结果及第二识别结果得到待识别用户的用户识别结果，本技术利用肢体静脉图像取代指纹图像对用户进行身份识别，克服了指纹图像安全性较低的问题，同时肢体静脉图像的识别效率也很高，保证了识别准确性。
98.实施例二
99.图3示出了用户识别装置的一种结构示意图，本实施例提供的用户识别装置，设置于智能家电；如图3所示，所述用户识别装置包括：
100.第一模块310，用于根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像；
101.第二模块320，用于通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征；
102.第三模块330，用于基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果；
103.第四模块340，用于基于训练后的第二分类网络以及所述注册用户的肢体静脉图像，对所述第一图像特征和所述第二图像特征的融合图像特征进行识别，得到第二识别结果；
104.第五模块350，用于根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果。
105.本实施例的装置所能带来的有益效果请参见实施例一，此处不再赘述。
106.本领域的技术人员应当明白，上述各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何限定的硬件和软件结合。
107.实施例三
108.本实施例提供一种智能家电，所述智能家电包括存储器和处理器；所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如实施例一所述的用户识别方法。
109.本实施例中，处理器可以是专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的方法。在处理器上运行的计算机程序被执行时所实现的方法可参照本发明前述实施例提供的方法的具体实施例，此处不再赘述。
110.实施例四
111.本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算
机程序，所述计算机程序被一个或多个处理器执行时，实现如实施例一所述的方法：
112.根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像；
113.通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征；
114.基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果；
115.基于训练后的第二分类网络以及所述注册用户的肢体静脉图像，对所述第一图像特征和所述第二图像特征的融合图像特征进行识别，得到第二识别结果；
116.根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果。
117.本实施例中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。方法的内容详见实施例一，此次不再赘述。
118.综上，本发明实施例提供了一种用户识别方法、装置、智能家电及存储介质；该方法包括根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像，通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征，基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果，基于训练后的第二分类网络以及所述注册用户的肢体静脉图像，对所述第一图像特征和所述第二图像特征的融合图像特征进行识别，得到第二识别结果，根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果。在本技术提供的方案中，对用户的肢体静脉图像进行获取，并通过特征提取网络得到待识别用户的肢体静脉图像的双向提取特征，再基于第一分类网络及注册用户的肢体静脉图像对双向提取特征进行识别得到第一识别结果，基于第二分类网络及注册用户的肢体静脉图像对双向提取特征的融合特征进行识别得到第二识别结果，最后根据第一识别结果及第二识别结果得到待识别用户的用户识别结果，本技术利用肢体静脉图像取代指纹图像对用户进行身份识别，克服了指纹图像安全性较低的问题，同时肢体静脉图像的识别效率也很高，保证了识别准确性。
119.在本发明实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的。
120.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
121.虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

技术特征：
1.一种用户识别方法，其特征在于，运用于智能家电；所述方法包括：根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像；通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征；基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果；基于训练后的第二分类网络以及所述注册用户的肢体静脉图像，对所述第一图像特征和所述第二图像特征的融合图像特征进行识别，得到第二识别结果；根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果。2.根据权利要求1所述的用户识别方法，其特征在于，在所述根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像的步骤之前，还包括：在监测到智能家电被触发时，使能感红外相机；通过所述感红外相机，获取所述待识别用户的肢体静脉图像。3.根据权利要求1所述的用户识别方法，其特征在于，所述根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像的步骤，包括：将所述待识别用户的肢体静脉图像，确定为所述正向静脉图像；对所述待识别用户的肢体静脉图像进行翻转，生成所述负向静脉图像。4.根据权利要求1所述的用户识别方法，其特征在于，所述通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征的步骤，包括：通过第一特征提取网络中的第一预处理网络对所述正向静脉图像进行预处理，得到正向待提取图像；通过所述第一特征提取网络中的第一自动编码器网络对所述正向待提取图像进行权重矩阵特征提取，得到正向权重矩阵特征；基于所述正向权重矩阵特征，通过所述述第一特征提取网络中的第一特征处理网络对所述正向待提取图像进行图像特征提取，得到所述第一图像特征；通过第二特征提取网络中的第二预处理网络对所述负向静脉图像进行预处理，得到负向待提取图像；通过所述第二特征提取网络中的第二自动编码器网络对所述负向待提取图像进行权重矩阵特征提取，得到负向权重矩阵特征；基于所述负向权重矩阵特征，通过所述述第二特征提取网络中的第二特征处理网络对所述负向待提取图像进行图像特征提取，得到所述第二图像特征。5.根据权利要求1所述的用户识别方法，其特征在于，所述基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果的步骤，包括：根据所述注册用户的肢体静脉图像对应的正向肢体静脉图像，通过所述第一分类网络对所述第一图像特征进行识别，得到所述第一图像特征的正向图像识别结果；根据所述注册用户的肢体静脉图像对应的负向肢体静脉图像，通过所述第一分类网络对所述第二图像特征进行识别，得到所述第二图像特征的负向图像识别结果；根据所述正向图像识别结果、所述负向图像识别结果及对应的分数权重，得到所述第
一识别结果。6.根据权利要求1所述的用户识别方法，其特征在于，所述根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果的步骤，包括：获取多模态融合权重；根据所述第一识别结果、所述第二识别结果以及所述多模态融合权重，得到所述待识别用户的用户识别结果。7.根据权利要求1至6任一项所述的用户识别方法，其特征在于，在所述通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征的步骤之前，还包括：获取待训练的编码器-解码器网络；根据统一数据库中的静脉图像，对所述待训练的编码器-解码器网络进行训练，得到训练后的编码器-解码器网络；根据所述训练后的编码器-解码器网络中编码器的网络参数，确定自动编码器网络的网络参数。8.根据权利要求7所述的用户识别方法，其特征在于，还包括：构建待训练的神经网络；所述神经网络包括第一特征提取网络、第二特征提取网络、第一识别网络、第二识别网络以及输出网络，所述第一特征提取网络和所述第二特征提取网络并联，所述第一识别网络和所述第二识别网络并联；所述第一特征提取网络包括依次连接的第一预处理网络、第一自动编码器网络以及第一特征处理网络，所述第二特征提取网络包括依次连接的第二预处理网络、第二自动编码器网络以及第二特征处理网络，所述第一预处理网络和所述第二预处理网络的网络参数相同，所述第一自动编码器网络和所述第二自动编码器网络的网络参数相同，所述第一特征处理网络和所述第二特征处理网络的网络参数相同；所述第一识别网络包括多个网络结构不同的第一分类网络，所述第二识别网络包括多个网络结构不同的第二分类网络；根据所述统一数据库中的静脉图像对所述待训练的神经网络进行训练，以确定所述第一特征处理网络的网络参数、所述第一分类网络和所述第二分类网络的网络结构及网络参数。9.一种用户识别装置，其特征在于，设置于智能家电；所述装置包括：第一模块，用于根据待识别用户的肢体静脉图像，确定正向静脉图像和负向静脉图像；第二模块，用于通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取，得到所述正向静脉图像的第一图像特征以及所述负向静脉图像的第二图像特征；第三模块，用于基于训练后的第一分类网络以及注册用户的肢体静脉图像，分别对所述第一图像特征和所述第二图像特征进行识别，得到第一识别结果；第四模块，用于基于训练后的第二分类网络以及所述注册用户的肢体静脉图像，对所述第一图像特征和所述第二图像特征的融合图像特征进行识别，得到第二识别结果；第五模块，用于根据所述第一识别结果以及所述第二识别结果，得到所述待识别用户的用户识别结果。10.一种智能家电，其特征在于，所述智能家电包括存储器和处理器；所述存储器上存
储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的方法。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至8中任一项所述的方法。

技术总结
本发明实施例提供了一种用户识别方法、装置、智能家电及存储介质；该方法包括根据待识别用户的肢体静脉图像确定正向静脉图像和负向静脉图像，通过训练后的特征提取网络对所述正向静脉图像和所述负向静脉图像进行特征提取识别，得到所述待识别用户的用户识别结果。在本申请提供的方案中，对用户的肢体静脉图像进行获取并得到待识别用户的用户识别结果，克服了指纹图像安全性较低的问题。服了指纹图像安全性较低的问题。服了指纹图像安全性较低的问题。


技术研发人员：刘玉玺 王沅召 李绍斌 唐杰 杨丰玮 潘晓飞
受保护的技术使用者：珠海联云科技有限公司
技术研发日：2023.05.06
技术公布日：2023/9/12