一种汽车车牌的识别方法及装置与流程

1.本技术涉及汽车识别技术领域，尤其涉及一种汽车车牌的识别方法及装置。


背景技术：

2.汽车车牌由一组字符按照特定顺序组合而成，用作车辆的身份标识。汽车车牌识别技术主要用于识别图像中的车牌号码，以辅助完成车辆牌照信息的登记与验证。随着人工智能技术，尤其是机器学习技术的发展，汽车车牌识别技术已成为智慧交通的重要组成部分。
3.现有的汽车车牌识别技术通常限制在识别车牌字符。虽然车牌颜色作为汽车车牌的另一个身份标识，但对车辆颜色分类的技术研究较少，现有技术尚无法兼顾车牌字符和车辆颜色的识别。


技术实现要素：

4.本发明提供了一种汽车车牌的识别方法及装置，通过车牌字符识别网络对待识别车牌图像进行识别，兼顾识别出汽车车牌字符和汽车车牌颜色，从而解决或者部分解决上述技术问题。
5.为解决上述技术问题，本发明的第一方面，公开了一种汽车车牌的识别方法，所述方法包括：
6.获取待识别汽车图像；
7.对所述待识别汽车图像进行处理，得到待识别车牌图像；
8.将所述待识别车牌图像输入车牌字符识别网络进行识别，识别出汽车车牌字符和汽车车牌颜色；
9.依据所述汽车车牌字符和所述汽车车牌颜色对所述汽车进行分类。
10.可选的，所述对所述待识别汽车图像进行处理，得到待识别车牌图像，具体包括：
11.检测所述待识别汽车图像中的车牌区域并进行切割，获得所述待识别车牌图像。
12.可选的，所述检测所述待识别汽车图像中的车牌区域并进行切割之后，所述方法还包括：
13.对车牌区域进行长高比检测；
14.在满足检测结果时，将所述车牌区域作为所述待识别车牌图像；
15.在不满足检测结果时，对所述车牌区域按比例切割，并将切割得到的图像进行拼接，得到所述待识别车牌图像。
16.可选的，所述对车牌区域进行长高比检测之前，所述方法还包括：
17.对所述车牌区域进行仿射变换，得到矫正后的所述车牌区域。
18.可选的，所述车牌字符识别网络主要包括：特征提取网络、颜色分类网络和字符分类网络；
19.所述将所述待识别车牌图像输入车牌字符识别网络进行识别，识别出汽车车牌字
符和汽车车牌颜色，具体包括：
20.所述待识别车牌图像输入至所述特征提取网络进行特征提取，得到固定尺寸的深层特征图；
21.将所述深层特征图分别输入到所述颜色分类网络和所述字符分类网络，输出颜色输出张量和字符输出张量；其中，所述颜色输出张量包含各车牌颜色所属概率，所述字符输出张量包含各车牌字符所属概率。
22.可选的，所述依据所述汽车车牌字符和所述汽车车牌颜色对所述汽车进行分类，具体包括：
23.从所述颜色输出张量中提取概率值最大的颜色作为所述汽车车牌颜色；
24.所述字符输出张量中确定出各车牌字符的数字索引；依据各车牌字符的数字索引查表得到所述汽车车牌字符。
25.可选的，所述特征提取网络的网络结构包括：依次连接的若干卷积层及每个卷积层后的线性整流单元relu函数；以及将至少3个轻量级网络shuffleblockv2交替嵌入所述若干数量的卷积层之间，用以节约算力；
26.所述特征提取网络的输入为具有rgb3个通道的所述待识别车牌图像，输出为固定尺寸的所述深层特征图；所述深层特征图包括：[批量大小，输出通道数，高，宽]。
[0027]
可选的，所述轻量级网络shuffleblockv2的网络结构包括：
[0028]
特征划分层，用于按照通道数将所述待识别车牌图像划分为第一张量和第二张量；
[0029]
第一分支结构，包括依次连接的深度卷积层和通用卷积层，用于处理所述第一张量；
[0030]
第二分支结构，包括依次连接的所述通用卷积层、所述深度卷积层、所述通用卷积层，用于处理所述第二张量；所述深度卷积层和所述通用卷积层具有不同大小的卷积核；
[0031]
特征融合层，用于按照通道数合并所述第一张量和所述第二张量，得到对应特征。
[0032]
可选的，所述颜色分类网络的网络结构包括：若干卷积层和自适应池化层；其中，所述若干卷积层具有各自尺寸的卷积核；
[0033]
所述颜色分类网络的输入为固定尺寸的所述深层特征图，输出为颜色输出张量。
[0034]
可选的，所述字符分类网络的网络结构包括：最大池化层和全连接层；
[0035]
所述字符分类网络的输入为固定尺寸的所述深层特征图，输出为所述字符输出张量。
[0036]
本发明的第二方面，公开了一种汽车车牌的识别装置，所述装置包括：
[0037]
读取模块，用于获取待识别汽车图像；
[0038]
图像处理模块，用于对所述待识别汽车图像进行处理，得到待识别车牌图像；
[0039]
识别模块，用于将所述待识别车牌图像输入车牌字符识别网络进行识别，识别出汽车车牌字符和汽车车牌颜色；
[0040]
分类模块，用于依据所述汽车车牌字符和所述汽车车牌颜色对所述汽车进行分类。
[0041]
本发明的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一技术方案描述的步骤。
[0042]
本发明的第四方面，公开了一种汽车车牌的识别系统，主要包括至少一个汽车车牌的识别装置和一个远程服务器；
[0043]
所述汽车车牌的识别装置，包括至少一个图像采集装置、至少一个处理器、至少一个通信模块、本地存储介质；
[0044]
本地存储介质负责存储处理程序及处理结果，至少一个处理器负责执行存储的至少一条程序，以实现上述任一技术方案描述的方法，待处理完成后，处理器负责调用至少一个通信模块，将处理结果上传至远程服务器；远程服务器，负责结果汇总、在终端显示，并向用户提供应用接口。
[0045]
通过本发明的一个或者多个技术方案，本发明具有以下有益效果或者优点：
[0046]
本发明的方案，在图像传感器中读取待识别汽车图像后，经过处理得到待识别车牌图像；通过车牌字符识别网络对待识别车牌图像进行识别，在实现车牌字符识别的同时，可以识别出车牌的颜色，从而提高对汽车分类的准确性。
[0047]
本发明的方案，相较于常规的车牌字符识别网络，在同等网络设置参数的条件下，能够降低运算量及硬件开销。以卷积神经网络：vgg网络为例，在同等网络设置参数的条件下，vgg网络参数量为178.755k，乘累加计算量为42.274m。本发明的车牌字符识别网络的参数量为152.373k，乘累加计算量为23.820m。两者相比，本发明能够将参数量减少14.79％，乘累加计算量减少43.65％，最终实现高精度、低功耗的设计需求。
[0048]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
[0049]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
[0050]
在附图中：
[0051]
图1示出了根据本发明一个实施例的汽车车牌的识别方法的流程图；
[0052]
图2示出了根据本发明一个实施例的同一汽车具有两张汽车车牌的示意图；
[0053]
图3a-图3b示出了根据本发明一个实施例的单双行车牌的示意图；
[0054]
图4a-图4b示出了根据本发明一个实施例的仿射变换前后的车牌区域示意图；
[0055]
图5示出了根据本发明一个实施例的车牌字符识别网络的逻辑结构图；
[0056]
图6示出了根据本发明一个实施例的轻量级网络shuffleblockv2的网络结构图；
[0057]
图7示出了根据本发明一个实施例的汽车车牌的识别装置的示意图；
[0058]
图8示出了根据本发明一个实施例的汽车车牌的识别系统的示意图。
具体实施方式
[0059]
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围
完整的传达给本领域的技术人员。
[0060]
本发明实施例公开了一种汽车车牌的识别方法，可用于识别各类车型的汽车车牌。参看图1，该方法包括下述步骤：
[0061]
步骤101，获取待识别汽车图像。
[0062]
在本实施例中，可从图像传感器读取待识别汽车图像。进一步的，按照设置的速率从图像传感器跳帧读取待识别汽车图像。例如，从输入一帧图像到识别出汽车车牌字符及汽车车牌颜色平均耗时70ms，为了达到实时处理的效果，可每隔5帧调整读取1帧图像进行处理，但并不形成限制。此外，也可以利用网络传输获取待识别汽车图像。待识别汽车图像的获取方式本实施例不做限制。
[0063]
步骤102，对待识别汽车图像进行处理，得到待识别车牌图像。
[0064]
在本实施例中，先检测待识别汽车图像的车牌区域。具体的，使用车牌检测网络处理待识别图像，输出车牌区域。例如，采用yolov5n6网络识别出车牌区域，当然也可以采用其他车牌检测网络，对此本发明不做限制。一般来说，一辆汽车只有一张汽车车牌。但某些车辆，例如运输危险品的重型汽车通常会设置两张车牌，参看图2：一张为汽车车牌，另一张为指示车牌，用于标示货物属性，例如“危险品”。因此，若车牌检测网络输出多个车牌区域，则根据车牌区域中包含的字符个数判断出汽车车牌对应的车牌区域。承接上述举例，重型运输危险品的重型汽车包含两张车牌：一张为汽车车牌，7位字符；另一张为标识“危险品”的指示车牌，3位字符。当车牌检测网络输出两个车牌区域后，利用车牌区域中包含的字符个数判断出7位字符对应的车牌区域为汽车车牌。
[0065]
进一步的，对待识别汽车图像中的车牌区域进行切割，获得待识别车牌图像。具体的，根据车牌区域所在图像坐标进行切割，获得待识别车牌图像。值得注意的是，本实施例适用于标准车牌的切割，例如尺寸为440mm
×
140mm标准车牌。由于不同地域、不同车型的汽车车牌的尺寸标准不同。参看图3a-图3b，是两种不同尺寸标准的车牌。图3a单行车牌(川axxxxx)可直接采取上述方案进行切割，得到待识别车牌图像。图3b为双行车牌，字符占据了两行，其车牌尺寸和标准车牌尺寸不同。由于目前汽车通用的是单行车牌，故本实施例的车牌字符识别网络采用单行车牌的训练数据训练得到，仅适用于识别单行车牌，对于双行车牌的识别较差。因此在检测到双行车牌后，需要将其转换为单行车牌以供后续车牌字符识别网络进行识别。具体的，在切割车牌区域之后，还会对车牌区域进行再次切割，使车牌区域满足单行车牌的要求。具体的，对车牌区域进行长高比检测；若长高比小于等于2，表示车牌区域不满足检测结果，对车牌区域按比例切割，并将切割得到的图像进行拼接，得到待识别车牌图像。承接上述举例，若长高比小于等于2，则认为是双行车牌，则按照1:2进行切割，并将切割得到的两个子区域进行横向拼接，得到待识别车牌图像。当然，在拼接之前需要将两个子区域缩放为同等长高比，以便于拼接。若长高比大于2，表示车牌区域满足检测结果，直接将车牌区域作为待识别车牌图像。
[0066]
在一种可选的实施方式中，因拍摄角度、汽车停放方位等原因，导致待识别汽车图像中的车牌区域的方位存在倾斜，参看图4a。为解决车牌区域因方位倾斜带来的识别限制，在对车牌区域进行长高比检测之前，对车牌区域进行仿射变换，得到矫正后的车牌区域，以便于后续车牌字符识别网络进行识别。矫正后的车牌区域如图4b所示。
[0067]
以上是为了应对待识别汽车图像的车牌区域的各种缺陷所做的改进，进而得到符
合要求的待识别车牌图像进行后续识别。
[0068]
步骤103，将待识别车牌图像输入车牌字符识别网络进行识别，识别出汽车车牌字符和汽车车牌颜色。
[0069]
在本实施例中，车牌字符识别网络主要包括：特征提取网络、颜色分类网络和字符分类网络。特征提取网络提取的特征图分别输入到颜色分类网络和字符分类网络，在实现汽车车牌字符识别的同时，可以识别出汽车车牌颜色。
[0070]
参看图5，是车牌字符识别网络的逻辑结构图。待识别车牌图像为rgb车牌图像，输入至特征提取网络进行特征提取，得到固定尺寸的深层特征图；将深层特征图分别输入到颜色分类网络和字符分类网络；其中，颜色分类网络处理后输出颜色输出张量，颜色输出张量包含各车牌颜色所属概率；字符分类网络处理后输出字符输出张量，字符输出张量包含各车牌字符所属概率。
[0071]
在特征提取网络的网络结构中，包括：依次连接的若干卷积层及每个卷积层后的线性整流单元relu函数；以及将至少3个轻量级网络shuffleblockv2交替嵌入若干数量的卷积层之间，用以降低参数量与计算量。当然，若干卷积层具有各自尺寸的卷积核，这些卷积核的尺寸可以相同也可以不同。以图5为例，但并不形成限制，包含7个卷积层及relu函数，以及从第三层卷积层开始，3个交替嵌入卷积层之间shuffleblockv2轻量级网络，从而形成shuffleblockv2轻量级网络-卷积层的交替网络结构。在图5中展示的特征提取网络中，首层卷积层采用5
×
5尺寸的卷积核，能够获得比后续卷积层采用的3
×
3尺寸的卷积更大的感受视野，能够更好地提取图像的浅层特征。而后续卷积层均采用3
×
3尺寸的卷积，为了在提取特征的同时增加网络的深度。值得注意的是，特征提取网络的卷积层的层数和卷积核尺寸可以变化，但shuffleblockv2轻量级网络在若干卷积层的位置固定不变。本实施例采用图5中特征提取网络展示的卷积层数和卷积核大小可以得到符合要求的准确率。若卷积层数量、卷积核尺寸发生变化，则需要再次进行模型训练达到精度要求才可以投入使用。
[0072]
参看表1，具有特征提取网络的参数。按照表1中的特征提取网络的参数执行卷积运算，即可得到固定尺寸的深度特征图。
[0073]
表1
[0074][0075][0076]
特征提取网络的输入为具有rgb的3个通道的待识别车牌图像，输出为固定尺寸的深层特征图；深层特征图包括：[批量大小，输出通道数，高，宽]。例如，提取到的深度特征图为[1,128,5,20]的一个4维张量，批量大小为1，深层特征图通道数128，深度特征图尺寸为固定尺寸：5，20。
[0077]
进一步的，轻量级网络shuffleblockv2的网络结构参看图6，包括：
[0078]
特征划分层，用于按照通道数将待识别车牌图像划分为第一张量和第二张量。具体的，按照通道数将前一卷积层的输出平分为第一张量和第二张量，例如：[1,2,3,4]按照通道数平分后，得到第一张量：[1,1,3,4]和第二张量：[1,1,3,4]。
[0079]
第一分支结构，包括依次连接的深度卷积层和通用卷积层，用于处理第一张量。其
中，深度卷积层采用3
×
3尺寸的卷积核，通用卷积层采用1
×
1尺寸的卷积核。
[0080]
第二分支结构，包括依次连接的通用卷积层、深度卷积层、通用卷积层，用于处理第二张量；深度卷积层和通用卷积层具有不同大小的卷积核。其中，深度卷积层采用3
×
3尺寸的卷积核，通用卷积层采用1
×
1尺寸的卷积核。
[0081]
特征融合层，用于按照通道数合并第一张量和第二张量，得到对应特征。
[0082]
值得注意的是，轻量级网络shuffleblockv2中的两个分支结构中的卷积层后连接relu函数等激活函数，从而引入非线性。
[0083]
在轻量级网络shuffleblockv2的网络结构中，通过采用深度卷积结合1
×
1卷积计算的方式代替原网络中的3
×
3卷积层，使得参数量由178.755k减少至152.373k，乘累加计算量由42.274m减少至23.820m。相比于原来未替代的vgg网络，本发明能够将参数量减少14.79％，乘累加计算量减少43.65％，由此可见，本方案显著减少了参数量和计算量，最终实现高精度、低功耗的设计需求。此外，轻量级网络shuffleblockv2中的第一分支结构和第二分支结构的网络结构不同，能够得到多样化的特征数据，从而增加特征表达性。
[0084]
颜色分类网络的网络结构包括：依次连接的若干卷积层和自适应池化层；其参数参看表1。其中，若干卷积层具有各自尺寸的卷积核。卷积层后选择性的接入线性整流单元relu函数。参看图5，展示了至少两层卷积层。其中第一层卷积层具有3
×
3尺寸的卷积核，第二层卷积层具有1
×
1尺寸的卷积核。
[0085]
颜色分类网络的输入为固定尺寸的深层特征图，例如输入[1,128,5,20]的一个4维张量，输出为[1，5]的颜色输出张量。颜色输出张量中的5对应可分类的5种车牌颜色的概率值，分别为黑色，蓝色，绿色，白色，黄色。
[0086]
字符分类网络的网络结构包括：最大池化层和全连接层。其参数参看表1。字符分类网络的输入为固定尺寸的深层特征图，输出为字符输出张量。例如输入[1,128,5,20]的一个4维张量，输出为[21，78]的字符输出张量。78是车牌涉及最大字符数，0～78中每个数字表达一个特定字符。
[0087]
步骤104，依据汽车车牌字符和汽车车牌颜色对汽车进行分类。
[0088]
在本实施例中，当得到颜色输出张量中5种车牌颜色的概率值之后，从颜色输出张量中提取概率值最大的颜色作为汽车车牌颜色。当得到[21，78]的字符输出张量后，确定21个字符的最大值，最大值范围不超过78，从而得到各车牌字符的数字索引；依据各车牌字符的数字索引查表得到汽车车牌字符。举例来说，假设得到的得到的21个字符的的最大值为：[2 0 0 52 52 0 0 57 57 0 49 0 430 0 42 0 43 0 0 49]，对其进行去重及删除0操作，得到各车牌字符的数字索引：[2 52 57 49 43 42 43 49]。依据各车牌字符的数字索引查汽车车牌的字符索引表，即可转换成汽车车牌字符。
[0089]
进一步的，在识别出汽车车牌字符和汽车车牌颜色之后，按照下述表1的映射关系对汽车进行分类，得到车牌分类信息。
[0090]
表1
[0091][0092]
基于和前述实施例相同的发明构思，下面的实施例公开了一种汽车车牌的识别装置，参看图7，该装置包括：
[0093]
读取模块701，用于获取待识别汽车图像；
[0094]
图像处理模块702，用于对所述待识别汽车图像进行处理，得到待识别车牌图像；
[0095]
识别模块703，用于将所述待识别车牌图像输入车牌字符识别网络进行识别，识别出汽车车牌字符和汽车车牌颜色；
[0096]
分类模块704，用于依据所述汽车车牌字符和所述汽车车牌颜色对所述汽车进行分类。
[0097]
基于与前述实施例中同样的发明构思，本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文任一所述方法的步骤。
[0098]
基于与前述实施例中同样的发明构思，本发明实施例还公开了一种汽车车牌的识别系统，参看图8，主要包括至少一个汽车车牌的识别装置和一个远程服务器；
[0099]
所述汽车车牌的识别装置，包括至少一个图像采集装置、至少一个处理器、至少一个通信模块、本地存储介质；
[0100]
本地存储介质负责存储处理程序及处理结果，至少一个处理器负责执行存储的至少一条程序，以实现以上方法，待处理完成后，处理器负责调用至少一个通信模块，将处理结果上传至远程服务器；远程服务器，负责结果汇总、在终端显示，并向用户提供应用接口。
[0101]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0102]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0103]
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保
护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0104]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0105]
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0106]
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的网关、代理服务器、系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0107]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

技术特征：
1.一种汽车车牌的识别方法，其特征在于，所述方法包括：获取待识别汽车图像；对所述待识别汽车图像进行处理，得到待识别车牌图像；将所述待识别车牌图像输入车牌字符识别网络进行识别，识别出汽车车牌字符和汽车车牌颜色；依据所述汽车车牌字符和所述汽车车牌颜色对所述汽车进行分类。2.如权利要求1所述的方法，其特征在于，所述对所述待识别汽车图像进行处理，得到待识别车牌图像，具体包括：检测所述待识别汽车图像中的车牌区域并进行切割，获得所述待识别车牌图像。3.如权利要求1所述的方法，其特征在于，所述检测所述待识别汽车图像中的车牌区域并进行切割之后，所述方法还包括：对车牌区域进行长高比检测；在满足检测结果时，将所述车牌区域作为所述待识别车牌图像；在不满足检测结果时，对所述车牌区域按比例切割，并将切割得到的图像进行拼接，得到所述待识别车牌图像。4.如权利要求3所述的方法，其特征在于，所述对车牌区域进行长高比检测之前，所述方法还包括：对所述车牌区域进行仿射变换，得到矫正后的所述车牌区域。5.如权利要求1所述的方法，其特征在于，所述车牌字符识别网络主要包括：特征提取网络、颜色分类网络和字符分类网络；所述将所述待识别车牌图像输入车牌字符识别网络进行识别，识别出汽车车牌字符和汽车车牌颜色，具体包括：所述待识别车牌图像输入至所述特征提取网络进行特征提取，得到固定尺寸的深层特征图；将所述深层特征图分别输入到所述颜色分类网络和所述字符分类网络，输出颜色输出张量和字符输出张量；其中，所述颜色输出张量包含各车牌颜色所属概率，所述字符输出张量包含各车牌字符所属概率。6.如权利要求5任一权项所述的方法，其特征在于，所述依据所述汽车车牌字符和所述汽车车牌颜色对所述汽车进行分类，具体包括：从所述颜色输出张量中提取概率值最大的颜色作为所述汽车车牌颜色；所述字符输出张量中确定出各车牌字符的数字索引；依据各车牌字符的数字索引查表得到所述汽车车牌字符。7.如权利要求5所述的方法，其特征在于，所述特征提取网络的网络结构包括：依次连接的若干卷积层及每个卷积层后的线性整流单元relu函数；以及将至少3个轻量级网络shuffleblockv2交替嵌入所述若干数量的卷积层之间，用以节约算力；所述特征提取网络的输入为具有rgb3个通道的所述待识别车牌图像，输出为固定尺寸的所述深层特征图；所述深层特征图包括：[批量大小，输出通道数，高，宽]。8.如权利要求7所述的方法，其特征在于，所述轻量级网络shuffleblockv2的网络结构包括：
特征划分层，用于按照通道数将所述待识别车牌图像划分为第一张量和第二张量；第一分支结构，包括依次连接的深度卷积层和通用卷积层，用于处理所述第一张量；第二分支结构，包括依次连接的所述通用卷积层、所述深度卷积层、所述通用卷积层，用于处理所述第二张量；所述深度卷积层和所述通用卷积层具有不同大小的卷积核；特征融合层，用于按照通道数合并所述第一张量和所述第二张量，得到对应特征。9.如权利要求5所述的方法，其特征在于，所述颜色分类网络的网络结构包括：若干卷积层和自适应池化层；其中，所述若干卷积层具有各自尺寸的卷积核；所述颜色分类网络的输入为固定尺寸的所述深层特征图，输出为颜色输出张量。10.如权利要求5所述的方法，其特征在于，所述字符分类网络的网络结构包括：最大池化层和全连接层；所述字符分类网络的输入为固定尺寸的所述深层特征图，输出为所述字符输出张量。11.一种汽车车牌的识别装置，其特征在于，所述装置包括：读取模块，用于获取待识别汽车图像；图像处理模块，用于对所述待识别汽车图像进行处理，得到待识别车牌图像；识别模块，用于将所述待识别车牌图像输入车牌字符识别网络进行识别，识别出汽车车牌字符和汽车车牌颜色；分类模块，用于依据所述汽车车牌字符和所述汽车车牌颜色对所述汽车进行分类。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-10任一项所述方法的步骤。13.一种汽车车牌的识别系统，其特征在于，主要包括至少一个汽车车牌的识别装置和一个远程服务器；所述汽车车牌的识别装置，包括至少一个图像采集装置、至少一个处理器、至少一个通信模块、本地存储介质；本地存储介质负责存储处理程序及处理结果，至少一个处理器负责执行存储的至少一条程序，以实现以上权利要求1-10任一项所述方法，待处理完成后，处理器负责调用至少一个通信模块，将处理结果上传至远程服务器；远程服务器，负责结果汇总、在终端显示，并向用户提供应用接口。

技术总结
本发明公开了汽车车牌的识别方法及装置，所述方法包括：获取待识别汽车图像；对所述待识别汽车图像进行处理，得到待识别车牌图像；将所述待识别车牌图像输入车牌字符识别网络进行识别，识别出汽车车牌字符和汽车车牌颜色；依据所述汽车车牌字符和所述汽车车牌颜色对所述汽车进行分类。对所述汽车进行分类。对所述汽车进行分类。


技术研发人员：李威君 游恒 尚德龙 周玉梅
受保护的技术使用者：中科南京智能技术研究院
技术研发日：2023.06.27
技术公布日：2023/9/14