一种交叉口交通信号控制方法和电子设备与流程

1.本技术涉及交通控制技术领域，特别涉及一种交叉口交通信号控制方法和电子设备。


背景技术：

2.随着城镇化的快速发展，城市规模日益增大，伴随着交通路况和路口交通流量也在逐渐变化，合理的交通信号控制策略能够提高交通系统运行效率，还可有效减少交通事故的发生。
3.目前，交通信号控制策略是对交通信号固定配时，但是，该控制策略往往在一些交通平峰时段会造成绿灯空放或无效等待等问题，交通系统运行效率较低。


技术实现要素：

4.本技术提供一种交叉口交通信号控制方法及装置，用以提高交通系统运行效率。
5.第一方面，本技术实施例提供一种交叉口交通信号控制方法，该方法包括：
6.根据设定的采样周期，获取待检测图像；
7.对所述待检测图像进行斑马线检测，确定所述待检测图像中包含的斑马线区域和等待区域；对所述待检测图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息；
8.根据所述斑马线区域、所述等待区域和所述各个行人的位置信息，确定行人状态；所述行人状态包括斑马线区域的行人状态和等待区域的行人状态；
9.根据所述行人状态，控制信号机调整交通信号。
10.由于本技术实施例对待检测图像进行斑马线检测，确定斑马线区域和等待区域，以及对待检测图像进行行人检测，确定待检测图像中包含的各个行人的位置信息后，根据确定出的斑马线区域、等待区域以及各个行人的位置信息。能够准确地确定出待检测图像中的行人状态；然后，本技术实施例根据确定出的行人状态，控制信号机调整交通信号，从而提高了交通系统的运行效率。
11.一种可选的实施方式为，所述对所述待检测图像进行斑马线检测，确定所述待检测图像中包含的斑马线区域和等待区域，包括：
12.将所述待检测图像输入到目标检测模型的特征提取网络；
13.基于所述特征提取网络，获得特征图像；
14.将所述特征图像输入到所述目标检测模型的斑马线识别子模型；
15.基于所述斑马线识别子模型，对所述特征图像进行斑马线检测，确定所述待检测图像中的斑马线区域；
16.根据所述斑马线区域，确定所述待检测图像中的等待区域。
17.由于本技术实施例是将经过特征提取网络的处理得到的特征图像输入到目标检测模型中的斑马线识别子模型，确定斑马线区域和等待区域，可以提高对待检测图像的斑
马线检测的准确率。
18.一种可选的实施方式为，所述基于所述斑马线识别子模型，对所述特征图像进行斑马线检测，确定所述待检测图像中的斑马线区域，包括：
19.将所述特征图像输入到所述斑马线子模型的金字塔池化网络，基于所述金字塔池化网络，得到斑马线特征向量；
20.将所述特征图像输入到所述斑马线子模型的横向卷积网络，基于所述横向卷积网络，获得斑马线特征；
21.将所述斑马线特征向量和所述斑马线特征输入到所述斑马线子模型的融合网络，基于所述融合网络，获得斑马线融合特征；
22.将所述斑马线融合特征输入到所述斑马线子模型的全连接层，基于所述全连接层，获得所述斑马线区域。
23.由于本技术实施例将特征图像输入到斑马线子模型中的金字塔化网络，基于金字塔池化网络，得到斑马线特征向量，同时，本技术实施例将特征图像输入到斑马线子模型的横向卷积网络，得到斑马线特征后，将得到的斑马线特征向量和斑马线特征后，输入到融合网络，基于融合网络，得到斑马线融合特征，解决了池化带来的各种弊端，从而提高了后续确定斑马线区域的准确性。
24.一种可选的实施方式为，所述将所述斑马线特征向量和所述斑马线特征输入到所述斑马线子模型的融合网络，基于所述融合网络，获得斑马线融合特征，包括：
25.将所述待检测图像、所述斑马线特征向量和所述斑马线特征输入到所述融合网络，基于所述融合网络，获得所述斑马线融合特征。
26.由于本技术实施例通过融合网络将待检测图像、斑马线特征向量与斑马线特征进行融合，得到斑马线融合特征，使得到的斑马线融合特征既包含了较多的语义信息，同时也包含了一定的局部位置信息，从而可以解决池化带来的各种弊端，有利于后续的多目标预测。
27.一种可选的实施方式为，所述对所述待检测图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息，包括：
28.将所述待检测图像输入到目标检测模型的特征提取网络；
29.基于所述特征提取网络，获得特征图像；
30.将所述特征图像输入到所述目标检测模型的行人识别子模型；
31.基于所述行人识别子模型，对所述特征图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息。
32.由于本技术实施例在得到特征图像后，将该特征图像输入到行人识别子模型中，基于行人识别子模型，确定待检测图像中包含的各个行人的位置信息，可以提高行人检测的准确率。
33.一种可选的实施方式为，所述基于所述行人识别子模型，对所述特征图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息，包括：
34.将所述特征图像输入到所述行人识别子模型的纵向卷积网络，基于所述纵向卷积网络，获得行人特征；
35.将所述行人特征输入到所述行人识别子模型的全连接层，基于所述全连接层，获
得所述各个行人的位置信息。
36.由于本技术实施例是通过纵向卷积网络得到的行人特征，其可以获取类似行人状态下的特征，防止其他不想干区域干扰预测，从而可以提高行人检测的准确率。
37.一种可选的实施方式为，所述根据所述斑马线区域、所述等待区域和所述各个行人的位置信息，确定行人状态，包括：
38.若所述各个行人的位置信息与所述斑马线区域存在交集，则确定所述斑马线区域的行人状态为有行人状态；
39.若所述各个行人的位置信息与所述斑马线区域不存在交集，则确定所述斑马线区域的行人状态为无行人状态；
40.若所述各个行人的位置信息与所述等待区域存在交集，则确定所述等待区域的行人状态为所述有行人状态；
41.若所述各个行人的位置信息与所述等待区域不存在交集，则确定所述等待区域的行人状态为所述无行人状态。
42.一种可选的实施方式为，所述根据所述行人状态，控制所述信号机调整交通信号，包括：
43.获取上一待检测图像的上一行人状态；
44.根据所述上一行人状态和所述行人状态，确定所述行人状态计数值；所述行人状态计数值用于指示所述行人状态一致的待检测图像的数量；
45.若所述行人状态计数值达到预设阈值，则将所述行人状态发送给所述信号机，以使所述信号机根据接收到的行人状态调整所述交通信号；
46.若所述行人状态计数值未达道所述预设阈值，则继续获取待检测图像，直至所述行人状态计数值达到预设阈值。
47.由于本技术实施例在确定行人状态计数值达到预设阈值后，才将行人状态发送给信号机，可以保证行人状态的准确率。
48.一种可选的实施方式为，所述根据所述上一行人状态和所述行人状态，确定所述行人状态计数值，包括：
49.若所述行人状态与所述上一行人状态一致，则增加行人状态计数值；
50.若所述行人状态与所述上一行人状态不一致，则将所述行人状态计数值恢复为初始值。
51.第二方面，本技术实施例提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现如第一方面所记载的交叉口交通信号控制方法。
52.第三方面，本技术实施例提供一种交叉口交通信号控制装置，包括：
53.获取单元，用于根据设定的采样周期，获取待检测图像；
54.检测单元，用于对所述待检测图像进行斑马线检测，确定所述待检测图像中包含的斑马线区域和等待区域；对所述待检测图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息；
55.确定单元，用于根据所述斑马线区域、所述等待区域和所述各个行人的位置信息，确定行人状态；所述行人状态包括斑马线区域的行人状态和等待区域的行人状态；
56.调整单元，用于根据所述行人状态，控制信号机调整交通信号。
57.第四方面，本技术实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面所记载的交叉口交通信号控制方法。
58.第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
59.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
60.图1为本技术实施例提供的一种交叉口交通信号控制方法的应用场景示意图；
61.图2为本技术实施例提供的另一种交叉口交通信号控制方法的应用场景示意图；
62.图3为本技术实施例提供的一种交叉口交通信号控制方法的流程示意图；
63.图4为本技术实施例提供的一种交通图像的示意图；
64.图5为本技术实施例提供的一种目标检测模型的结构示意框图；
65.图6为本技术实施例提供的一种特征提取网络的结构示意框图；
66.图7为本技术实施例提供的一种斑马线识别子模型的结构示意框图；
67.图8为本技术实施例提供的另一种目标检测模型的结构示意框图；
68.图9为本技术实施例提供的一种行人识别子模型的结构示意框图；
69.图10为本技术实施例提供的另一种目标检测模型的结构示意框图；
70.图11为本技术实施例提供的一种进行目标检测后的交通图像的示意图；
71.图12为本技术实施例提供的一种交叉口交通信号控制方法的完整流程示意图；
72.图13为本技术实施例提供的一种交叉口交通信号控制装置的结构示意图；
73.图14为本技术实施例提供的一种电子设备的结构框图。
具体实施方式
74.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部份实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
75.下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
76.文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
77.由于交通信号控制策略是对交通信号固定配时，但是，该控制策略往往在一些交
通平峰时段会造成绿灯空放或无效等待等问题，交通系统运行效率较低。
78.基于上述问题，本技术实施例提供一种交叉口交通信号控制方法及电子设备，提高交通系统运行效率。其中，该交叉口交通信号控制方法包括：根据设定的采样周期，获取待检测图像，并对待检测图像进行斑马线检测，确定待检测图像中包含的斑马线区域和等待区域；以及，对待检测图像进行行人检测，确定待检测图像中包含的各个行人的位置信息。然后，本技术实施例根据确定出的斑马线区域、等待区域和各个行人的位置信息，确定行人状态，并根据行人状态控制信号机调整交通信号。
79.图1示出了本技术实施例提供的交叉口交通信号控制方法的一种应用场景，参见图1所示，该应用场景中包括监控设备10、红绿灯20、信号机30和电子设备40。监控设备10、信号机30和电子设备40之间可以通过有线连接方式或无线连接方式进行连接并传输数据；红绿灯20与信号机30之间可以通过有线连接方式或无线连接方式进行连接并传输数据。例如，监控设备10、信号机30和电子设备40之间可以通过数据线连接或者通过有线网络连接；监控设备10、信号机30和电子设备40之间也可以通过射频模块、蓝牙模块或者无线网络连接；红绿灯20与信号机30之间可以通过数据线连接或者通过有线网络连接；红绿灯20与信号机30之间也可以通过射频模块、蓝牙模块或者无线网络连接。
80.其中，监控设备10可以为服务器，用于存储交叉口道路区域设置的摄像头采集到的交通图像。电子设备40可以为服务器，也可以为终端，例如，计算机，笔记本等。
81.电子设备40按照设定的采样周期，从监控设备10中获取交通图像，并根据获取到的交通图像，确定待检测图像。电子设备40对待检测图像进行斑马线检测和行人检测，确定待检测图像中的斑马线区域和等待区域，以及待检测图像中包含的各个行人的位置信息。电子设备40根据斑马线区域、等待区域和各个行人的位置信息，确定待检测图像中的行人状态，并将行人状态发送给信号机30。然后，信号机30根据接收到的行人状态，确定交通信号调整方式，并根据确定出的交通信号调整方式，向红绿灯20发送调整信号，以使红绿灯20调整交通信号。
82.如图2所示，本技术实施例提供的交叉口交通信号控制方法的另一种应用场景。该应用场景中包括监控设备10、红绿灯20和信号机30。监控设备10和信号机30之间可以通过有线连接方式或无线连接方式进行连接并传输数据；红绿灯20与信号机30之间可以通过有线连接方式或无线连接方式进行连接并传输数据。例如，监控设备10和信号机30之间可以通过数据线连接或者通过有线网络连接；监控设备10和信号机30之间也可以通过射频模块、蓝牙模块或者无线网络连接；红绿灯20与信号机30之间可以通过数据线连接或者通过有线网络连接；红绿灯20与信号机30之间也可以通过射频模块、蓝牙模块或者无线网络连接。
83.其中，信号机30可以为服务器，也可以为终端，例如，计算机，笔记本等。
84.信号机30按照设定的采样周期从监控设备10处获取交通图像；信号机30根据获取到的交通图像，确定待检测图像，并对待检测图像进行斑马线检测和行人检测，分别确定待检测图像中的斑马线区域和等待区域，以及待检测图像中包含的各个行人的位置信息。信号机30根据斑马线区域、等待区域和各个行人的位置信息，确定待检测图像中的行人状态。然后，信号机30根据确定出的行人状态，确定交通信号调整方式。信号机30根据确定出的交通信号调整方式，向红绿灯20发送调整信号，以使红绿灯20调整交通信号。
85.下文以应用于电子设备为例，对本技术实施例提供的交叉口交通信号控制方法的具体实施过程进行介绍。其他电子设备执行交叉口交通信号控制方法的过程，也可以参照下述具体实施例执行。如图3所示，本技术实施例提供的交叉口交通信号控制方法包括以下步骤：
86.s301：根据设定的采样周期，获取待检测图像。
87.在一些可选的实施例中，本技术实施例可以按照采样周期，获取交通图像采集设备采集到的交通图像。在一种实施例中，交通图像采集设备将实时采集到的交通图像存储至监控设备中。即本技术实施例可以在监控设备中按照采样周期获取交通图像。例如，采样周期可以设置为12帧/秒。
88.本技术实施例在获取到交通图像后，可以基于预设的检测区域，提取交通图像中的检测区域作为待检测图像。
89.在一种实施例中，预设的检测区域可以是预先在交通图像上圈出的检测区域。本技术实施例可以根据检测区域的位置，从交通图像中提取出检测区域。
90.本技术实施例基于预设的检测区域，提取交通图像中的检测区域作为待检测图像，可以避免交通图像中的其他非斑马线和等待区域的图像对后续的斑马线检测结果，以及行人检测结果的干扰，能够提高斑马线检测和行人检测的准确率。
91.在一些实施例中，本技术实施例设置检测区域时，可以对检测区域进行人工标注，为检测区域配置所属道路、通行方向。其中，检测区域可以为交通图像采集设备的近端采集区域。
92.例如，如图4所示，本技术实施例提供一种交通图像。其中，交通图像中的被曲线圈起来的区域为检测区域。
93.s302：对待检测图像进行斑马线检测，确定待检测图像中包含的斑马线区域和等待区域。
94.在一种可选的实施方式中，本技术实施例将待检测图像输入到目标检测模型中，基于目标检测模型，得到斑马线区域和等待区域。
95.在一些实施例中，本技术实施例可以将待检测图像输入到如图5所示的目标检测模型，对待检测图像进行特征提取，并基于提取出的特征图像，确定斑马线区域和等待区域，具体包括以下步骤：
96.第一、将待检测图像输入到目标检测模型的特征提取网络，基于特征提取网络，对待检测图像进行特征提取，获得特征图像。
97.在一些实施例中，本技术实施例可以将待检测图像输入到如图6所示的特征提取网络，对待检测图像进行特征提取，获得特征图像。
98.本技术实施例在将待检测图像输入到特征网络之前，需要对待检测图像进行缩放。本技术实施例将缩放后的待检测图像输入到特征提取网络中，依次经过5个csp卷积模块后，同时进行5次下采样，得到特征图像。
99.例如，特征提取网络可以为darknet53特征提取网络。本技术实施例可以将待检测图像缩放到608
×
608，且，卷积模块可以为包括残差网络的cso卷积模块，其中，5个卷积模块中的残差网络分别重复1次、2次、8次和4次。
100.第二、将特征图像输入到目标检测模型的斑马线识别子模型，基于斑马线识别子
模型，对特征图像进行斑马线检测，确定待检测图像中的斑马线区域。
101.在一些实施例中，本技术实施例可以将特征图像输入到如图7所示的斑马线识别子模型，对特征图像进行斑马线检测，确定斑马线区域。
102.本技术实施例将特征图像输入到斑马线子模型的金字塔池化网络，基于金字塔池化网络，获得斑马线特征向量。
103.在一些实施例中，本技术实施例将特征图像输入到金字塔池化网络，根据3种不同大小的刻度对特征图像进行划分，得到多个图像块，并对多个图像块进行卷积池化，得到固定大小的特征向量。然后，本技术实施例通过空间金字塔池化层(spatial pyramid pooling，ssp)层输出斑马线特征向量。
104.本技术实施例将特征图像输入到斑马线子模型的横向卷积网络，基于横向卷积网络，获得斑马线特征。
105.在一些实施例中，横向卷积网络是由批量标准化(batch normalization，bn)层、relu激活层、横向条形卷积、bn层、relu激活层、3
×
3卷积按顺序组成，形成的一个卷积组。其中，横向条形卷积沿竖直方向上部署了1
×
4的卷积核，其可以获取类似斑马线形状下的特征。
106.本技术实施例在其他空间维度上保持较窄的内核形状，便于捕获局部上下文，防止不相关区域干扰标签预测。并且，在网络中使用这种长而窄的池内核，可以使语义分割网络能够同时聚合全局和局部上下文信息，从而可以提高斑马线识别的准确率。
107.本技术实施例将斑马线特征向量和斑马线特征输入到斑马线子模型的融合网络，基于融合网络，对斑马线特征向量和斑马线特征输进行融合，得到斑马线融合特征。
108.在一些实施例中，本技术实施例还可以将待检测图像、斑马线特征向量和斑马线特征输入到融合网络中，将待检测图像、斑马线特征向量与斑马线特征进行融合，得到斑马线融合特征。其中，本技术实施例得到的斑马线融合特征既包含了较多的语义信息，同时也包含了一定的局部位置信息，从而可以解决池化带来的各种弊端，有利于后续的多目标预测。
109.本技术实施例将得到的斑马线融合特征输入到斑马线子模型的全连接层，基于全连接层，获得斑马线区域。
110.在一些实施例中，本技术实施例将斑马线融合特征输入到全连接层后，确定该斑马线融合特征为斑马线后，确定该斑马线融合特征在待检测图像中的位置。本技术实施例根据所述位置，确定斑马线区域，并根据斑马线区域确定等待区域。
111.例如，本技术实施例可以将该位置对应的区域纵向拉长至1.1倍，得到斑马线区域。
112.在一些实施例中，本技术实施例在确定出斑马线区域后，根据斑马线区域确定等待区域。例如，本技术实施例还可以将斑马线区域的横向至边缘300*300像素的区域作为等待区域。
113.s303：对待检测图像进行行人检测，确定待检测图像中包含的各个行人的位置信息。
114.在一种可选的实施方式中，本技术实施例将待检测图像输入到目标检测模型中，基于目标检测模型，确定待检测图像中包含的各个行人的位置信息。
115.在一些实施例中，本技术实施例可以将待检测图像输入到如图8所示的目标检测模型，对待检测图像进行特征提取，并基于提取出的特征图像，确定待检测图像中包含的各个行人的位置信息，具体包括以下步骤：
116.第一、将待检测图像输入到目标检测模型的特征提取网络，基于特征提取网络，对待检测图像进行特征提取，获得特征图像。该过程与上述根据目标检测模型确定斑马线区域中的特征提取过程相同，在此并不赘述。
117.第二、将特征图像输入到目标检测模型的行人识别子模型，基于行人识别子模型，对特征图像进行行人检测，确定待检测图像中包含的各个行人的位置信息。
118.在一些实施例中，本技术实施例可以将特征图像输入到如图9所示的行人识别子模型，对特征图像进行行人检测，确定各个行人的位置信息。
119.本技术实施例将特征图像输入到行人子模型的纵向卷积网络，基于纵向卷积网络，获得行人特征。
120.在一些实施例中，纵向卷积网络是由bn层、relu激活层、纵向条形卷积、bn层、relu激活层、3
×
3卷积按顺序组成，形成的一个卷积组。其中，纵向条形卷积沿竖直方向上部署了4
×
1的卷积核，其可以获取类似行人形状下的特征。
121.本技术实施例在其他空间维度上保持较窄的内核形状，便于捕获局部上下文，防止不相关区域干扰标签预测。并且，在网络中使用这种长而窄的池内核，可以使语义分割网络能够同时聚合全局和局部上下文信息，从而可以提高行人识别的准确率。
122.本技术实施例将得到的行人特征输入到行人子模型的全连接层，基于全连接层，获得行人的位置信息。
123.在另一些实施例中，如图10所示，本技术实施例还提供一种目标检测模型，其中，该目标检测模型包括特征提取网络、斑马线识别子模型、行人识别子模型和全连接层。
124.实施中，本技术实施例将待检测图像输入到目标检测模型中1的特征提取网络得到特征图像。然后，本技术实施例分别将特征图像输入到斑马线识别子模型和行人识别子模型进行斑马线识别和行人识别。在基于斑马线识别子模型得到斑马线区域，以及根据行人识别子模型得到行人的位置信息后，可以将得到的斑马线区域、行人的位置信息以及待检测图像输入到全连接层中，在待检测图像中标注出斑马线区域、等待区域以及行人的位置。
125.例如，如图11所示，本技术实施例提供一种进行目标检测后的交通图像。其中，用框分别框出了斑马线区域、等待区域以及检测到的行人。
126.s304：根据斑马线区域、等待区域和各个行人的位置信息，确定行人状态。
127.其中，行人状态包括斑马线区域的行人状态和等待区域的行人状态。
128.在一些实施例中，本技术实施例可通过下列方式确定斑马线区域的行人状态和等待区域的行人状态：
129.若各个行人的位置信息与斑马线区域存在交集，则斑马线区域的行人状态为有行人状态；或者，
130.若各个行人的位置信息与斑马线区域不存在交集，则斑马线区域的行人状态为无行人状态；或者，
131.若各个行人的位置信息与等待区域存在交集，则等待区域的行人状态为有行人状
态；
132.若各个行人的位置信息与等待区域不存在交集，则等待区域的行人状态为无行人状态。
133.s305：根据行人状态，控制信号机调整交通信号。
134.本技术实施例在得到行人状态之后，需要进行一致性校验，去除检测结果的偶然性，保证结果的准确性。
135.在一些实施例中，本技术实施例在确定出行人状态后，获取上一待检测图像的上一行人状态。
136.本技术实施例根据上一行人状态和行人状态，确定行人状态计数值。其中，行人状态计数值用于指示行人状态一致的待检测图像的数量。
137.在一些实施例中，本技术实施例在确定上一行人状态与行人状态一致时，增加行人状态计数值。但是，本技术实施例在确定上一行人状态与行人状态不一致时，将行人状态计数值恢复为初始值。
138.本技术实施例在确定出行人状态计数值后，判断其是否达到设定阈值。当行人状态计数值达到设定阈值时，本技术实施例将行人状态发送给信号机，以使信号机根据接收到的行人状态调整交通信号。
139.实施中，本技术实施例在将行人状态发送给信号机时，还可以向信号机上传该待检测图像对应的区域id、区域类型，以使信号机能够准确地对该待检测图像对应的区域的交通信号进行调节。
140.信号机在接收到包含行人状态的信号控制指令后，对行人状态进行分类，并针对机动车、行人放行周期对应调节交通信号。
141.在一些实施例中，当信号机接收到行人状态为无行人状态的信号时，信号机确定生成机动车放行信号，提前一定时间周期进行机动车放行。
142.在一些实施例中，当信号机接收到行人状态为有行人状态的信号时，信号机确定生成人行道放行信号，提前一定时间周期结束机动车放行，加入行人放行周期。
143.在一些实施例中，当行人状态计数值未达到预设阈值时，本技术实施例继续获取待检测图像，直至行人计数值达到预设阈值。
144.例如，设定阈值可以为60帧。本技术实施例连续获取到的60帧待检测图像的行人状态一致时，向信号机发送信号控制指令。其中，信号控制指令包括但不限于：行人状态、区域id、区域类型。
145.如图12所示，本技术实施例提供一种交叉口交通信号控制方法的完整流程示意图，包括以下步骤：
146.s1201：根据预设的采样周期，获取交通信号采集设备采集到的交通图像。
147.s1202：基于预设的检测区域，提取交通图像中的检测区域。
148.s1203：将检测区域作为待检测图像。
149.s1204：对待检测图像进行斑马线检测，确定待检测图像中包含的斑马线区域和等待区域。
150.其中，s1204中确定斑马线区域和等待区域的过程与图3中的s302的具体过程相同，在此不再赘述。
151.s1205：对待检测图像进行行人检测，确定待检测图像中包含的各个行人的位置信息。
152.其中，s1205中确定斑马线区域和等待区域的过程与图3中的s303的具体过程相同，在此不再赘述。
153.s1206：根据斑马线区域、等待区域和各个行人的位置信息，确定行人状态。
154.在一些实施例中，若各个行人的位置信息与斑马线区域存在交集，则确定斑马线区域的行人状态为有行人状态；
155.若各个行人的位置信息与斑马线区域不存在交集，则确定斑马线区域的行人状态为无行人状态；
156.若各个行人的位置信息与等待区域存在交集，则确定等待区域的行人状态为有行人状态；
157.若各个行人的位置信息与等待区域不存在交集，则确定等待区域的行人状态为无行人状态。
158.s1207：获取上一待检测图像的上一行人状态。
159.s1208：确定上一行人状态与行人状态是否一致；若是，则执行步骤s1209；若否，则执行步骤s1212。
160.s1209：增加行人状态计数值。
161.s1210：确定行人状态计数值是否达到预设阈值；若是，则执行步骤s1211；若否，则执行步骤s1203。
162.s1211：将行人状态发送给信号机，以使信号机根据接收到的行人状态调整交通信号。
163.s1212：将行人状态计数值恢复为初始值。
164.基于同一发明构思，本技术实施例中还提供了一种交叉口交通信号控制装置，由于该装置解决问题的原理与本技术实施例交叉口交通信号控制方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
165.如图13所示，本技术实施例提供一种交叉口交通信号控制装置，包括：
166.获取单元1301，用于根据设定的采样周期，获取待检测图像；
167.检测单元1302，用于对所述待检测图像进行斑马线检测，确定所述待检测图像中包含的斑马线区域和等待区域；对所述待检测图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息；
168.确定单元1303，用于根据所述斑马线区域、所述等待区域和所述各个行人的位置信息，确定行人状态；所述行人状态包括斑马线区域的行人状态和等待区域的行人状态；
169.调整单元1304，用于根据所述行人状态，控制信号机调整交通信号。
170.一种可选的实施方式为，所述检测单元1302具体用于：
171.将所述待检测图像输入到目标检测模型的特征提取网络；
172.基于所述特征提取网络，获得特征图像；
173.将所述特征图像输入到所述目标检测模型的斑马线识别子模型；
174.基于所述斑马线识别子模型，对所述特征图像进行斑马线检测，确定所述待检测图像中的斑马线区域；
175.根据所述斑马线区域，确定所述待检测图像中的等待区域。
176.一种可选的实施方式为，所述检测单元1302具体用于：
177.将所述特征图像输入到所述斑马线子模型的金字塔池化网络，基于所述金字塔池化网络，得到斑马线特征向量；
178.将所述特征图像输入到所述斑马线子模型的横向卷积网络，基于所述横向卷积网络，获得斑马线特征；
179.将所述斑马线特征向量和所述斑马线特征输入到所述斑马线子模型的融合网络，基于所述融合网络，获得斑马线融合特征；
180.将所述斑马线融合特征输入到所述斑马线子模型的全连接层，基于所述全连接层，获得所述斑马线区域。
181.一种可选的实施方式为，所述检测单元1302具体用于：
182.将所述待检测图像、所述斑马线特征向量和所述斑马线特征输入到所述融合网络，基于所述融合网络，获得所述斑马线融合特征。
183.一种可选的实施方式为，所述检测单元1302具体用于：
184.将所述待检测图像输入到目标检测模型的特征提取网络；
185.基于所述特征提取网络，获得特征图像；
186.将所述特征图像输入到所述目标检测模型的行人识别子模型；
187.基于所述行人识别子模型，对所述特征图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息。
188.一种可选的实施方式为，所述检测单元1302具体用于：
189.将所述特征图像输入到所述行人识别子模型的纵向卷积网络，基于所述纵向卷积网络，获得行人特征；
190.将所述行人特征输入到所述行人识别子模型的全连接层，基于所述全连接层，获得所述各个行人的位置信息。
191.一种可选的实施方式为，所述确定单元1303具体用于：
192.若所述各个行人的位置信息与所述斑马线区域存在交集，则确定所述斑马线区域的行人状态为有行人状态；
193.若所述各个行人的位置信息与所述斑马线区域不存在交集，则确定所述斑马线区域的行人状态为无行人状态；
194.若所述各个行人的位置信息与所述等待区域存在交集，则确定所述等待区域的行人状态为所述有行人状态；
195.若所述各个行人的位置信息与所述等待区域不存在交集，则确定所述等待区域的行人状态为所述无行人状态。
196.一种可选的实施方式为，所述调整单元1304具体用于：
197.获取上一待检测图像的上一行人状态；
198.根据所述上一行人状态和所述行人状态，确定所述行人状态计数值；所述行人状态计数值用于指示所述行人状态一致的待检测图像的数量；
199.若所述行人状态计数值达到预设阈值，则将所述行人状态发送给所述信号机，以使所述信号机根据接收到的行人状态调整所述交通信号；
200.若所述行人状态计数值未达道所述预设阈值，则继续获取待检测图像，直至所述行人状态计数值达到预设阈值。
201.一种可选的实施方式为，所述调整单元1304具体用于：
202.若所述行人状态与所述上一行人状态一致，则增加行人状态计数值；
203.若所述行人状态与所述上一行人状态不一致，则将所述行人状态计数值恢复为初始值。
204.与上述交叉口交通信号控制方法的实施例相对应地，本技术实施例还提供了一种电子设备。该电子设备可以是服务器，如图1中所示的服务器40，也可以是移动终端或计算机等终端设备，如图1中所示的终端设备40。
205.该电子设备至少包括用于存储数据的存储器和用于数据处理的处理器。其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、cpu、gpu(graphics processing unit，图形处理单元)、dsp或fpga实现。对于存储器来说，存储器中存储有操作指令，该操作指令可以为计算机可执行代码，通过该操作指令来实现上述本技术实施例的交叉口交通信号控制方法的流程中的各个步骤。
206.图14为本技术实施例提供的一种电子设备的结构示意图；如图14所示，本技术实施例中该电子设备100包括：处理器101、显示器102、存储器103、输入设备106、总线105和通讯模块104；该处理器101、存储器103、输入设备106、显示器102和通讯模块104均通过总线105连接，该总线105用于该处理器101、存储器103、显示器102、通讯模块104和输入设备106之间传输数据。
207.其中，存储器103可用于存储软件程序以及模块，如本技术实施例中的交叉口交通信号控制方法对应的程序指令/模块，处理器101通过运行存储在存储器103中的软件程序以及模块，从而执行电子设备100的各种功能应用以及数据处理，如本技术实施例提供的交叉口交通信号控制方法。存储器103可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个应用的应用程序等；存储数据区可存储根据电子设备100的使用所创建的数据(比如斑马线区域、行人的位置信息等相关数据)等。此外，存储器103可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
208.处理器101是电子设备100的控制中心，利用总线105以及各种接口和线路连接整个电子设备100的各个部分，通过运行或执行存储在存储器103内的软件程序和/或模块，以及调用存储在存储器103内的数据，执行电子设备100的各种功能和处理数据。可选的，处理器101可包括一个或多个处理单元，如cpu、gpu、数字处理单元等。
209.处理器101可以将斑马线检测和行人检测的结果通过显示器102展示给用
210.处理器101还可以通过通讯模块104连接网络，获取待检测图像、发送行人状态等。
211.输入设备106主要用于获得用户的输入操作，当该电子设备不同时，该输入设备106也可能不同。例如，当该电子设备为计算机时，该输入设备106可以为鼠标、键盘等输入设备；当该电子设备为智能手机、平板电脑等便携设备时，该输入设备106可以为触控屏。
212.本技术实施例针对交叉口交通信号控制方法还提供一种计算设备可读存储介质，即断电后内容不丢失。该存储介质中存储软件程序，包括程序代码，当程序代码在计算设备上运行时，该软件程序在被一个或多个处理器读取并执行时可实现本技术实施例上面任何
一种交叉口交通信号控制方法的方案。
213.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
214.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
215.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
216.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
217.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种交叉口交通信号控制方法，其特征在于，包括：根据设定的采样周期，获取待检测图像；对所述待检测图像进行斑马线检测，确定所述待检测图像中包含的斑马线区域和等待区域；对所述待检测图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息；根据所述斑马线区域、所述等待区域和所述各个行人的位置信息，确定行人状态；所述行人状态包括斑马线区域的行人状态和等待区域的行人状态；根据所述行人状态，控制信号机调整交通信号。2.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像进行斑马线检测，确定所述待检测图像中包含的斑马线区域和等待区域，包括：将所述待检测图像输入到目标检测模型的特征提取网络；基于所述特征提取网络，获得特征图像；将所述特征图像输入到所述目标检测模型的斑马线识别子模型；基于所述斑马线识别子模型，对所述特征图像进行斑马线检测，确定所述待检测图像中的斑马线区域；根据所述斑马线区域，确定所述待检测图像中的等待区域。3.根据权利要求2所述的方法，其特征在于，所述基于所述斑马线识别子模型，对所述特征图像进行斑马线检测，确定所述待检测图像中的斑马线区域，包括：将所述特征图像输入到所述斑马线子模型的金字塔池化网络，基于所述金字塔池化网络，得到斑马线特征向量；将所述特征图像输入到所述斑马线子模型的横向卷积网络，基于所述横向卷积网络，获得斑马线特征；将所述斑马线特征向量和所述斑马线特征输入到所述斑马线子模型的融合网络，基于所述融合网络，获得斑马线融合特征；将所述斑马线融合特征输入到所述斑马线子模型的全连接层，基于所述全连接层，获得所述斑马线区域。4.根据权利要求3所述的方法，其特征在于，所述将所述斑马线特征向量和所述斑马线特征输入到所述斑马线子模型的融合网络，基于所述融合网络，获得斑马线融合特征，包括：将所述待检测图像、所述斑马线特征向量和所述斑马线特征输入到所述融合网络，基于所述融合网络，获得所述斑马线融合特征。5.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息，包括：将所述待检测图像输入到目标检测模型的特征提取网络；基于所述特征提取网络，获得特征图像；将所述特征图像输入到所述目标检测模型的行人识别子模型；基于所述行人识别子模型，对所述特征图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息。6.根据权利要求5所述的方法，其特征在于，所述基于所述行人识别子模型，对所述特
征图像进行行人检测，确定所述待检测图像中包含的各个行人的位置信息，包括：将所述特征图像输入到所述行人识别子模型的纵向卷积网络，基于所述纵向卷积网络，获得行人特征；将所述行人特征输入到所述行人识别子模型的全连接层，基于所述全连接层，获得所述各个行人的位置信息。7.根据权利要求1所述的方法，其特征在于，所述根据所述斑马线区域、所述等待区域和所述各个行人的位置信息，确定行人状态，包括：若所述各个行人的位置信息与所述斑马线区域存在交集，则确定所述斑马线区域的行人状态为有行人状态；若所述各个行人的位置信息与所述斑马线区域不存在交集，则确定所述斑马线区域的行人状态为无行人状态；若所述各个行人的位置信息与所述等待区域存在交集，则确定所述等待区域的行人状态为所述有行人状态；若所述各个行人的位置信息与所述等待区域不存在交集，则确定所述等待区域的行人状态为所述无行人状态。8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述行人状态，控制所述信号机调整交通信号，包括：获取上一待检测图像的上一行人状态；根据所述上一行人状态和所述行人状态，确定所述行人状态计数值；所述行人状态计数值用于指示所述行人状态一致的待检测图像的数量；若所述行人状态计数值达到预设阈值，则将所述行人状态发送给所述信号机，以使所述信号机根据接收到的行人状态调整所述交通信号；若所述行人状态计数值未达道所述预设阈值，则继续获取待检测图像，直至所述行人状态计数值达到预设阈值。9.根据权利要求8所述的方法，其特征在于，所述根据所述上一行人状态和所述行人状态，确定所述行人状态计数值，包括：若所述行人状态与所述上一行人状态一致，则增加行人状态计数值；若所述行人状态与所述上一行人状态不一致，则将所述行人状态计数值恢复为初始值。10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～9中任一项所述的方法。

技术总结
本申请提供一种交叉口交通信号控制方法和电子设备，用以提供交通系统的运行效率。该方法包括：根据设定的采样周期，获取待检测图像；对待检测图像进行斑马线检测，确定待检测图像中包含的斑马线区域和等待区域；对待检测图像进行行人检测，确定待检测图像中包含的各个行人的位置信息；根据斑马线区域、等待区域和各个行人的位置信息，确定行人状态；行人状态包括斑马线区域的行人状态和等待区域的行人状态；根据行人状态，控制信号机调整交通信号。由于本申请根据检测到的斑马线区域、等待区域和各个行人的位置信息，能够准确地确定出行人状态，并根据确定出的行人状态控制信号机调整交通信号，从而提高了交通系统的运行效率。率。率。


技术研发人员：陈维强 王朋 王雯雯 董宇
受保护的技术使用者：青岛海信网络科技股份有限公司
技术研发日：2022.12.27
技术公布日：2023/5/23