基于车路云协同的自动驾驶汽车外部人机交互系统和方法

1.本发明涉及智能驾驶技术领域，尤其涉及一种基于车路云协同的自动驾驶汽车外部人机交互系统和方法。


背景技术：

2.自动驾驶汽车(avs)有效减少了由于驾驶员超速、酒驾、疲劳驾驶、分心驾驶等人为错误导致的道路交通事故。对于复杂的城市环境，avs很可能需要和其他道路使用者如行人、骑行者、人工驾驶汽车共享空间。其中行人是最易受到伤害的弱势道路使用者，绝大多数碰撞发生在行人横穿马路时。在这种混行交通下，为了确保行人安全、提高大众对avs的接受度和信任度，一方面行人需要能理解avs的意图，另一方面avs需要在路权模糊、需要协商优先通行权的情况下与行人进行有效互动。当前情况下，行人和驾驶员可以通过手势、头部动作和眼神进行交流，此类显性沟通方式可以增强行人过马路时的安全感。而对于avs，驾驶员可以从事与驾驶无关的活动，如阅读、社交甚至睡觉，和行人不再发生互动，此时需要开发一种新的沟通策略以满足avs和行人的交互需求，即外部人机界面(ehmi)。目前，ehmi主要以安装在汽车上的灯带或者显示屏的形式呈现，但是其可见性高度依赖于环境光及天气条件等因素。另外在一些情况下，自动驾驶汽车面临的交互对象可能不只是一个行人，而是在不同位置的多个行人，车载ehmi的含义可能不能准确传达给对应的行人。iso和sae对ehmi的设计提出了一些标准化的建议，但行人行为和感知存在巨大的个体差异，针对恰当的ehmi形式尚未得出一致结论。
3.智能车路协同系统(ivics)是智能交通系统(its)的最新发展方向，采用无线通信、传感探测等先进技术手段，将交通系统中的人（出行者）、车（运载工具）、路（道路基础设施）、云（交通管控中心）有机地结合起来，可以实现对人、车、路的信息的全面感知和智能协同配合，而增强现实(ar)技术可以提供有针对性和个性化的通信，有望解决多对多的交互问题。


技术实现要素：

4.为了解决现有技术中存在的上述技术问题，本发明提出了一种基于车路云协同的自动驾驶汽车外部人机交互系统和方法，解决了路权模糊地带自动驾驶汽车和行人互相不知道对方意图的交互窘境，以及现有车载ehmi受环境光和天气条件影响可见度低、可能发生信息传达不明确的问题，其具体技术方案如下：一种基于车路云协同的自动驾驶汽车外部人机交互系统，包括自动驾驶汽车、路侧设备、无线通信单元以及云控平台，所述自动驾驶汽车和路侧设备分别网络连接所述的无线通信单元，并通过无线通信单元与所述云控平台进行数据交互，具体为：所述自动驾驶汽车联网后将车辆本身运动状态、位置信息发送至云控平台，所述路侧设备联网后将感知数据、交通信息、道路信息发送至云控平台，所述云控平台对自动驾驶汽车和路侧设备发送的数据信息进行处理，并将决策信息、控制指令反馈至自动驾驶汽车和路侧设备；所述无线
通信单元采用dsrc专用短程通信技术。
5.进一步的，所述自动驾驶汽车设置有车载定位单元、车载计算单元、运动控制单元；所述车载定位单元包括全球导航卫星系统 gnss、惯性导航系统，对车辆进行实时位置定位和运动状态获取；所述车载计算单元对由车载定位单元传来的数据进行分析处理，获得自动驾驶汽车的速度、位置、姿态和航向的信息，并且融合车辆接收到的决策信息或者控制指令，计算得到车辆的控制信息；所述运动控制单元包括整车控制器、车身控制器，用于根据接收到的控制指令，执行相应的控制逻辑，实现对执行部件的控制。
6.进一步的，所述路侧设备包括路侧传感单元、路侧计算单元、ar投影单元；所述路侧传感单元包括双目相机和调频连续波毫米波雷达，所述双目相机拍摄获取目标区域的视频图像，所述调频连续波毫米波雷达连续跟踪测得行人的距离和速度；所述路侧计算单元识别目标区域内的行人，对行人进行意图识别和轨迹预测，并且根据路侧设备接收到的决策信息或者控制指令，最终计算得到路侧设备的控制信息；所述ar投影单元包括投影仪、安装立杆和相应连接组件，ar投影单元根据云控平台传来的控制指令，执行相应的控制逻辑，在目标区域内的行人面前通过投影仪投射绿色的人行横道或者表示禁止通过的覆盖有红叉的人行横道，所述投影仪投影的横向宽度根据行人数量而定。
7.进一步的，所述路侧计算单元识别目标区域内的行人，具体为：利用双目相机采集到的视频图像构建行人识别模型训练库，去除无效图像数据，采用深度学习模型retina net模型进行行人检测。
8.进一步的，所述对行人进行意图识别和轨迹预测，具体为：采用多源信息融合识别网络mifrn，基于e
⁃
net的轻量级场景语义理解网络，用于编码局部交通场景、基于先验可学习视频预测的动作信息编码网络，用于编码行人未来动作信息、基于注意力机制加权的gru时序数据处理网络，来编码车辆速度和人车距离；将若干帧内没有发生明显位移的行人目标作为感兴趣目标，即路侧等待的行人，将感兴趣目标、车速和人车距离送入多源信息融合识别网络mifrn，最后，引入双向gru进行信息的深度融合，并将融合结果送入多层感知机以获取行人穿越或非穿越概率。
9.进一步的，所述云控平台对自动驾驶汽车和路侧设备发送的数据信息进行处理，并将决策信息、控制指令反馈至自动驾驶汽车和路侧设备，具体为：所述云控平台获取自动驾驶汽车和路侧设备传来的车辆和行人的实时位置和速度，利用碰撞冲突算法进行决策信息的计算，并将控制指令通过无线通信单元传回车载计算单元和路侧计算单元。
10.进一步的，所述碰撞冲突算法，具体为：云控平台计算车辆和行人到达碰撞风险区域的剩余到达时间，假设车辆到达碰撞风险区域的剩余到达时间为tc，行人到达碰撞风险区域的剩余到达时间为[t
p1
,t
p2
]，t
p1
和t
p2
是到碰撞风险区域两个边界的时间，若为负值，表示行人已经通过边界；若tc在[t
p1
,t
p2
]的范围内，则判定车辆穿过行人所在的区域，行人与车辆有碰撞冲突；若tc不在[t
p1
,t
p2
]的范围内，则判定行人与车辆无碰撞冲突；当行人正在过街时：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送减速指令，使得tc≥t
p2
，并且向路侧设备发送投影绿色人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令；
当行人存在过街意图但是初始速度为0时，使用行人过街的平均速度计算tc：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送减速指令，使得tc≥t
p2
，并且向路侧设备发送投影绿色人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令；当行人不存在过街意图但是初始速度为0时，使用行人过街的平均速度计算tc：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速指令，并且向路侧设备发送投影覆盖有红叉的人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令；其中，所述车辆的剩余到达时间tc的计算方法是：；所述行人的剩余到达时间[t
p1
,t
p2
]的计算方法是：。
[0011]
其中，s是车辆质心位置和行人质心位置之间沿道路方向的距离；s
安
表示行人和车辆头部不发生碰撞的最小安全距离，优选设置为5m；车辆的横向宽度为a，纵向长度为b；车辆的速度为v
c m/s；行人的速度为v
p m/s；单车道的宽度为l；碰撞风险区域宽度d为以本车中心点为中心的1.4倍车宽的区域，即d=1.4a，长度为当整个车身超过安全距离时车头与行人沿道路方向的距离，即s
安-b；行人距离道路边缘沿垂直于道路方向的距离为x。
[0012]
一种基于车路云协同的自动驾驶汽车外部人机交互方法，包括以下步骤：步骤s1，自动驾驶汽车的车载定位单元获取车辆实时位置定位，路侧设备的路侧传感单元获取行人位置、速度及视频图像信息；步骤s2，自动驾驶汽车的车载计算单元和路侧设备的路侧计算单元对步骤s1获取的数据信息进行分析处理，得到车辆和行人的实时位置距离和速度，并且路侧计算单元对路侧等待的行人进行意图识别和轨迹预测；步骤s3，云控平台通过无线通信单元获取并存储自动驾驶汽车和路侧设备传来的车辆和行人的实时位置距离和速度，计算车辆和行人到达碰撞风险区域的剩余到达时间；步骤s4，云控平台利用碰撞冲突算法进行决策信息的计算，并将控制指令通过无线通信单元传回车载计算单元和路侧计算单元；步骤s5，车载计算单元和路侧计算单元根据接收到的决策信息或者控制指令以及自身分析处理得到数据信息，计算得到自动驾驶汽车和路侧设备的控制信息，最后对自动驾驶汽车的运动控制单元和路侧设备的ar投影单元进行控制，驱动执行机构执行指令。
有益效果
[0013]
(1)本发明通过路侧传感和计算单元，而不是车载传感和计算单元对目标区域内的行人进行意图识别和行为预测，在自动驾驶汽车距离行人较远的位置就可以提前预估行人的行为，可以极大地提高交通效率，避免交通拥堵和自动驾驶汽车轨迹规划困难。
[0014]
(2)本发明基于车路云协同的方式可以实时获得行人和自动驾驶汽车的位置和速度，在云端计算两者的剩余到达时间，并判断两者是否会发生碰撞冲突可以作为一种新的控制策略，提高了自动驾驶汽车和行人的交互性，避免了自动驾驶汽车被设计为见到行人就避让，可能会导致行人随意乱穿马路的问题，使得自动驾驶汽车和行人可以进行合作，从而提高交通效率。同时，通过车路云协同，云控平台向自动驾驶汽车和路侧设备发送控制指令的方式，有望实现目标区域多辆自动驾驶汽车和多个行人的交互。
[0015]
(3)本发明提供了一种新型的外部人机交互策略，通过安装在路侧的ar投影装置向行人传达自动驾驶汽车的意图，相比于车载ehmi的可见性更高，并且受天气状况的影响小，可以让行人快速做出是否穿越的决策，从而确保了行人的通行安全，并且提高了其对avs的信任度和接受度。
附图说明
[0016]
图1为本发明实施例提供的一种车路云协同下自动驾驶汽车外部人机交互系统的结构框图；图2为本发明实施例提供的一种车路云协同下自动驾驶汽车外部人机交互方法的流程图；图3为本发明实施例提供的路侧设备示意图；图4为本发明实施例提供的碰撞风险区域示意图；图5为本发明实施例提供的云控平台所采取的碰撞冲突算法流程图；图6为本发明实施例提供的自动驾驶汽车和行人不发生碰撞冲突的交互场景示意图；图7为本发明实施例提供的预测自动驾驶汽车和行人发生碰撞冲突且行人正在过街或者有过街意图的交互场景示意图；图8为本发明实施例提供的预测自动驾驶汽车和行人发生碰撞冲突但行人无过街意图的交互场景示意图。
具体实施方式
[0017]
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
[0018]
如图1所示，本发明的 一种基于车路云协同的自动驾驶汽车外部人机交互系统，包括：自动驾驶汽车、路侧设备、无线通信单元以及云控平台，所述自动驾驶汽车和路侧设备分别网络连接所述的无线通信单元，并通过无线通信单元与所述云控平台进行数据交互。
[0019]
所述自动驾驶汽车具备感知、决策、控制、通信等能力，联网后可将车辆本身运动状态、位置等信息发送至云控平台；所述路侧设备具备感知、计算、通信等能力，联网后可将感知数据、交通信息、道路信息等发送至云控平台；所述云控平台具备联网设备接入、分布式计算、分布式存储等能力，对车辆端（自动驾驶汽车）和路侧端（路侧设备）发送的感知数据进行处理，并将决策结果、控制指令等反馈至自动驾驶汽车和路侧设备；所述无线通信单元可通过dsrc（专用短程通信）技术满足自动驾驶汽车、路侧设备和云控平台之间的车况数
据、感知数据、交通信息、道路信息等信息通讯共享。
[0020]
所述自动驾驶汽车搭载车载定位单元、车载计算单元、运动控制单元等，各单元部件通过车内网关进行路由通信；所述车载定位单元包括全球导航卫星系统 (gnss)、惯性导航系统，用于实现车辆的精准定位；所述车载计算单元对车载定位单元传来的多源数据进行融合，分析处理获得自动驾驶汽车的速度、位置、姿态和航向等信息，并且融合车辆接收到的决策信息或者控制指令，最终计算得到车辆的控制信息；所述运动控制单元包括整车控制器、车身控制器等，主要用于根据接收到的指令，执行相应的控制逻辑，实现对执行部件的控制。
[0021]
如图3所示，所述路侧设备包括路侧传感单元、路侧计算单元、ar投影单元；所述路侧传感单元包括双目相机和调频连续波毫米波雷达，所述双目相机可以获取所需较大范围内行人运动的姿态，所述毫米波雷达可以连续跟踪测得行人的距离和速度；所述路侧计算单元可以对路侧传感单元传来的数据进行融合处理，识别目标区域内的行人，对行人进行意图识别和轨迹预测，并且可以融合路侧设备接收到的决策信息或者控制指令，最终计算得到路侧设备的控制信息；所述ar投影单元主要包括投影仪、安装立杆和相应连接组件，可以根据云控平台传来的控制指令，执行相应的控制逻辑，在目标区域内的行人面前投射绿色的人行横道或者表示禁止通过的覆盖有红叉的人行横道。
[0022]
作为本发明优选的实施例，所述路侧计算单元识别目标区域内的行人的方法是利用双目相机采集到的视频图像构建行人识别模型训练库，去除无效图像数据，采用准确率和检测效率都较高的深度学习模型retina net模型进行行人检测。
[0023]
所述对行人进行意图识别和轨迹预测的方法是采用多源信息融合识别网络（mifrn），采用基于e
⁃
net的轻量级场景语义理解网络，用于编码局部交通场景、基于先验可学习视频预测的动作信息编码网络，用于编码行人未来动作信息、基于注意力机制加权的gru时序数据处理网络，用于编码车辆速度和人车距离；假设将20帧内没有发生明显位移的行人目标作为感兴趣目标，即路侧等待的行人，将感兴趣目标、车速和人车距离送入多源信息融合识别网络mifrn，最后，引入双向gru进行信息的深度融合，并将融合结果送入多层感知机以获取行人穿越或非穿越概率。
[0024]
如图4~图8所示，作为本发明优选的实施例，所述云控平台获取自动驾驶汽车和路侧设备传来的车辆和行人的实时位置距离和速度，计算车辆和行人两者的剩余到达时间，假设车辆到达碰撞风险区域的剩余到达时间为tc，行人到达碰撞风险区域的剩余到达时间为[t
p1
,t
p2
]，t
p1
和t
p2
是到碰撞风险区域两个边界的时间（若为负值，表示行人已经通过该边界），若tc在[t
p1
,t
p2
]的范围内，则判定车辆穿过行人所在的区域，行人与车辆有碰撞冲突；若tc不在[t
p1
,t
p2
]的范围内，则判定行人与车辆无碰撞冲突。
[0025]
当行人正在过街时：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送减速指令，使得tc≥t
p2
，并且向路侧设备发送投影绿色人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令。
[0026]
当行人存在过街意图但是初始速度为0时，使用行人过街的平均速度计算tc：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送减速指令，使得tc≥t
p2
，并且向路侧设备发送投影绿色人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令。
[0027]
当行人不存在过街意图但是初始速度为0时，使用行人过街的平均速度计算tc：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速指令，并且向路侧设备发送投影覆盖有红叉的人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令。
[0028]
其中，所述车辆的剩余到达时间tc的计算方法是：；所述行人的剩余到达时间[t
p1
,t
p2
]的计算方法是：。
[0029]
其中，s是车辆质心位置（假设车辆质量均匀）和行人质心位置之间沿道路方向的距离；s
安
表示行人和车辆头部不发生碰撞的最小安全距离，优选设置为5m；车辆的横向宽度为a，纵向长度为b；车辆的速度为v
c m/s；行人的速度为v
p m/s；单车道的宽度为l；碰撞风险区域宽度d为以本车中心点为中心的1.4倍车宽的区域，即d=1.4a，长度为当整个车身超过安全距离时车头与行人沿道路方向的距离，即s
安-b；行人距离道路边缘沿垂直于道路方向的距离为x。
[0030]
所述ar投影单元向行人传达自动驾驶汽车的意图的方法是根据收到的由路侧计算单元传来的控制指令，向行人面前的道路上投射绿色的人行横道或者表示禁止通过的覆盖有红叉的人行横道，投影的横向宽度根据行人数量而定。
[0031]
如图2所示，本发明还提供一种基于车路云协同的自动驾驶汽车外部人机交互方法，包括以下步骤：步骤s1，自动驾驶汽车的车载定位单元获取车辆精确定位，路侧设备的路侧传感单元获取行人位置、速度及视频图像信息；步骤s2，车载计算单元和路侧计算单元对步骤s1获取的数据信息进行分析处理，得到处理结果数据，包括车辆和行人的实时位置距离和速度等，并且路侧计算单元还可以对路侧等待的行人进行意图识别和轨迹预测；其中，所述路侧计算单元识别目标区域内的行人，具体为：利用双目相机采集到的视频图像构建行人识别模型训练库，去除无效图像数据，采用准确率和检测效率都较高的深度学习模型retina net模型进行行人检测。路侧计算单元对行人进行意图识别和轨迹预测的方法是采用多源信息融合识别网络（mifrn），采用基于e
⁃
net的轻量级场景语义理解网络，用于编码局部交通场景、基于先验可学习视频预测的动作信息编码网络，用于编码行人未来动作信息、基于注意力机制加权的gru时序数据处理网络，用于编码车辆速度和人车距离。假设将20帧内没有发生明显位移的行人目标作为感兴趣目标，即路侧等待的行人，将感
兴趣目标、车速和人车距离送入mifrn，最后，引入双向gru进行信息的深度融合，并将融合结果送入多层感知机以获取行人穿越/非穿越概率。
[0032]
步骤s3，云控平台通过无线通信单元获取并存储自动驾驶汽车和路侧设备传来的车辆和行人的实时位置距离和速度，计算车辆和行人到达碰撞风险区域的剩余到达时间；其中，所述车辆的剩余到达时间tc的计算方法是：；所述行人的剩余到达时间[t
p1
,t
p2
]的计算方法是：；其中，s是车辆质心位置（假设车辆质量均匀）和行人质心位置之间沿道路方向的距离；s
安
表示行人和车辆头部不发生碰撞的最小安全距离，根据一些优选设置为5m；车辆的横向宽度为a，纵向长度为b；车辆的速度为v
c m/s；行人的速度为v
p m/s；单车道的宽度为l；碰撞风险区域宽度d为以本车中心点为中心的1.4倍车宽的区域，即d=1.4a，长度为当整个车身超过安全距离时车头与行人沿道路方向的距离，即s
安-b；行人距离道路边缘沿垂直于道路方向的距离为x。
[0033]
步骤s4，利用碰撞冲突算法进行计算决策，并将控制指令通过无线通信单元传回车载计算单元和路侧计算单元；所述碰撞冲突算法为：若tc在[t
p1
,t
p2
]的范围内，则判定车辆穿过行人所在的区域，行人与车辆有碰撞冲突；若tc不在[t
p1
,t
p2
]的范围内，则判定行人与车辆无碰撞冲突。当行人正在过街时：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送减速指令，使得tc≥t
p2
，并且向路侧设备发送投影绿色人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令。当行人存在过街意图但是初始速度为0时，使用行人过街的平均速度计算tc：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送减速指令，使得tc≥t
p2
，并且向路侧设备发送投影绿色人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令。当行人不存在过街意图但是初始速度为0时，使用行人过街的平均速度计算tc：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速指令，并且向路侧设备发送投影覆盖有红叉的人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令。
[0034]
步骤s5，车载计算单元和路侧计算单元根据接收到的决策信息或者控制指令以及自身分析处理得到数据信息，计算得到自动驾驶汽车和路侧设备的控制信息，最后对自动驾驶汽车的运动控制单元和路侧设备的ar投影单元进行控制，驱动执行机构执行指令。
[0035]
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前
述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于车路云协同的自动驾驶汽车外部人机交互系统，其特征在于，包括自动驾驶汽车、路侧设备、无线通信单元以及云控平台，所述自动驾驶汽车和路侧设备分别网络连接所述的无线通信单元，并通过无线通信单元与所述云控平台进行数据交互，具体为：所述自动驾驶汽车联网后将车辆本身运动状态、位置信息发送至云控平台，所述路侧设备联网后将感知数据、交通信息、道路信息发送至云控平台，所述云控平台对自动驾驶汽车和路侧设备发送的数据信息进行处理，并将决策信息、控制指令反馈至自动驾驶汽车和路侧设备；所述无线通信单元采用dsrc专用短程通信技术。2. 如权利要求1所述的一种基于车路云协同的自动驾驶汽车外部人机交互系统，其特征在于，所述自动驾驶汽车设置有车载定位单元、车载计算单元、运动控制单元；所述车载定位单元包括全球导航卫星系统 gnss、惯性导航系统，对车辆进行实时位置定位和运动状态获取；所述车载计算单元对由车载定位单元传来的数据进行分析处理，获得自动驾驶汽车的速度、位置、姿态和航向的信息，并且融合车辆接收到的决策信息或者控制指令，计算得到车辆的控制信息；所述运动控制单元包括整车控制器、车身控制器，用于根据接收到的控制指令，执行相应的控制逻辑，实现对执行部件的控制。3.如权利要求2所述的一种基于车路云协同的自动驾驶汽车外部人机交互系统，其特征在于，所述路侧设备包括路侧传感单元、路侧计算单元、ar投影单元；所述路侧传感单元包括双目相机和调频连续波毫米波雷达，所述双目相机拍摄获取目标区域的视频图像，所述调频连续波毫米波雷达连续跟踪测得行人的距离和速度；所述路侧计算单元识别目标区域内的行人，对行人进行意图识别和轨迹预测，并且根据路侧设备接收到的决策信息或者控制指令，最终计算得到路侧设备的控制信息；所述ar投影单元包括投影仪、安装立杆和相应连接组件，ar投影单元根据云控平台传来的控制指令，执行相应的控制逻辑，在目标区域内的行人面前通过投影仪投射绿色的人行横道或者表示禁止通过的覆盖有红叉的人行横道，所述投影仪投影的横向宽度根据行人数量而定。4. 如权利要求3所述的一种基于车路云协同的自动驾驶汽车外部人机交互系统，其特征在于，所述路侧计算单元识别目标区域内的行人，具体为：利用双目相机采集到的视频图像构建行人识别模型训练库，去除无效图像数据，采用深度学习模型retina net模型进行行人检测。5.如权利要求3所述的一种基于车路云协同的自动驾驶汽车外部人机交互系统，其特征在于，所述对行人进行意图识别和轨迹预测，具体为：采用多源信息融合识别网络mifrn，基于e
⁃
net的轻量级场景语义理解网络，用于编码局部交通场景、基于先验可学习视频预测的动作信息编码网络，用于编码行人未来动作信息、基于注意力机制加权的gru时序数据处理网络，来编码车辆速度和人车距离；将若干帧内没有发生明显位移的行人目标作为感兴趣目标，即路侧等待的行人，将感兴趣目标、车速和人车距离送入多源信息融合识别网络mifrn，最后，引入双向gru进行信息的深度融合，并将融合结果送入多层感知机以获取行人穿越或非穿越概率。6.如权利要求3所述的一种基于车路云协同的自动驾驶汽车外部人机交互系统，其特征在于，所述云控平台对自动驾驶汽车和路侧设备发送的数据信息进行处理，并将决策信息、控制指令反馈至自动驾驶汽车和路侧设备，具体为：所述云控平台获取自动驾驶汽车和路侧设备传来的车辆和行人的实时位置和速度，利用碰撞冲突算法进行决策信息的计算，
并将控制指令通过无线通信单元传回车载计算单元和路侧计算单元。7.如权利要求6所述的一种基于车路云协同的自动驾驶汽车外部人机交互系统，其特征在于，所述碰撞冲突算法，具体为：云控平台计算车辆和行人到达碰撞风险区域的剩余到达时间，假设车辆到达碰撞风险区域的剩余到达时间为t
c
，行人到达碰撞风险区域的剩余到达时间为[t
p1
,t
p2
]，t
p1
和t
p2
是到碰撞风险区域两个边界的时间，若为负值，表示行人已经通过边界；若t
c
在[t
p1
,t
p2
]的范围内，则判定车辆穿过行人所在的区域，行人与车辆有碰撞冲突；若t
c
不在[t
p1
,t
p2
]的范围内，则判定行人与车辆无碰撞冲突；当行人正在过街时：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送减速指令，使得t
c
≥t
p2
，并且向路侧设备发送投影绿色人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令；当行人存在过街意图但是初始速度为0时，使用行人过街的平均速度计算t
c
：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送减速指令，使得t
c
≥t
p2
，并且向路侧设备发送投影绿色人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令；当行人不存在过街意图但是初始速度为0时，使用行人过街的平均速度计算t
c
：若行人和车辆会产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速指令，并且向路侧设备发送投影覆盖有红叉的人行横道的指令；若行人和车辆不产生碰撞冲突，云控平台向自动驾驶汽车发送保持车速的指令，并且向路侧设备发送投影绿色人行横道的指令；其中，所述车辆的剩余到达时间t
c
的计算方法是：；所述行人的剩余到达时间[t
p1
,t
p2
]的计算方法是：；其中，s是车辆质心位置和行人质心位置之间沿道路方向的距离；s
安
表示行人和车辆头部不发生碰撞的最小安全距离，优选设置为5m；车辆的横向宽度为a，纵向长度为b；车辆的速度为v
c m/s；行人的速度为v
p m/s；单车道的宽度为l；碰撞风险区域宽度d为以本车中心点为中心的1.4倍车宽的区域，即d=1.4a，长度为当整个车身超过安全距离时车头与行人沿道路方向的距离，即s
安-b；行人距离道路边缘沿垂直于道路方向的距离为x。8.一种采用权利要求1至7任一一项所述的一种基于车路云协同的自动驾驶汽车外部人机交互系统的自动驾驶汽车外部人机交互方法，其特征在于，包括以下步骤：步骤s1，自动驾驶汽车的车载定位单元获取车辆实时位置定位，路侧设备的路侧传感单元获取行人位置、速度及视频图像信息；步骤s2，自动驾驶汽车的车载计算单元和路侧设备的路侧计算单元对步骤s1获取的数据信息进行分析处理，得到车辆和行人的实时位置距离和速度，并且路侧计算单元对路侧
等待的行人进行意图识别和轨迹预测；步骤s3，云控平台通过无线通信单元获取并存储自动驾驶汽车和路侧设备传来的车辆和行人的实时位置距离和速度，计算车辆和行人到达碰撞风险区域的剩余到达时间；步骤s4，云控平台利用碰撞冲突算法进行决策信息的计算，并将控制指令通过无线通信单元传回车载计算单元和路侧计算单元；步骤s5，车载计算单元和路侧计算单元根据接收到的决策信息或者控制指令以及自身分析处理得到数据信息，计算得到自动驾驶汽车和路侧设备的控制信息，最后对自动驾驶汽车的运动控制单元和路侧设备的ar投影单元进行控制，驱动执行机构执行指令。

技术总结
本发明涉及智能驾驶技术领域，尤其涉及一种基于车路云协同的自动驾驶汽车外部人机交互系统和方法，该系统包括自动驾驶汽车、路侧设备、无线通信单元以及云控平台，自动驾驶汽车联网后将车辆本身运动状态、位置信息发送至云控平台，所述路侧设备联网后将感知数据、交通信息、道路信息发送至云控平台，所述云控平台对自动驾驶汽车和路侧设备发送的数据信息进行处理，并将决策信息、控制指令反馈至自动驾驶汽车和路侧设备；所述无线通信单元采用DSRC专用短程通信技术。本发明解决了路权模糊地带自动驾驶汽车和行人互相不知道对方意图的交互窘境，以及现有车载eHMI受环境光和天气条件影响可见度低、可能发生信息传达不明确的问题。问题。问题。


技术研发人员：李基拓 刁小桔 陆国栋
受保护的技术使用者：浙江大学
技术研发日：2023.04.06
技术公布日：2023/7/4