一种列车操作台人机交互系统的制作方法

1.本发明属于列车人机交互技术领域，尤其涉及一种列车操作台人机交互系统。


背景技术：

2.当前列车操作台人机交互普遍存在以下问题：
3.(1)多个显示器共存，显示系统间无冗余性，系统健壮性差；
4.(2)操作台空间拥挤、杂乱、无科技感，各屏ui界面风格不统一；
5.(3)操作台过于紧凑，缺乏扩展性和灵活性。
6.随着人工智能技术的发展，为了更好的解决以上问题，一些新的人机交互技术也逐渐在轨道交通领域应用，当前列车驾驶室面向驾驶员的人机交互技术，安全性、智能化、融合性需求越来越强烈。
7.为了解决上述问题，本发明提供了一种列车操作台人机交互系统，不仅更加智能与便捷，而且还降低列车驾驶员操作复杂度，提高了行车安全性，提升了驾驶体验。


技术实现要素：

8.本发明的第一个方面，提供一种列车操作台人机交互系统，其特征在于，所述系统，包括：
9.中控显示单元，用于显示列车信息；
10.抬头显示单元，用于投射所述列车信息中的预设信息；
11.触摸按键单元，用于接收驾驶员的控制指令；
12.音视频单元，用于采集与识别所述驾驶员的音频视频信息。
13.在一些实施例中，所述列车信息中的预设信息，包括：
14.行车信息和车辆状态信息。
15.在一些实施例中，所述抬头显示单元，包括：
16.控制模块、交互模块以及显示模块；其中，
17.控制模块包括：核心控制子模块，电源子模块，接口子模块；
18.交互模块包括：传感器子模块，按键子模块，音视频子模块；
19.显示模块包括：
20.dlp控制子模块，用于将所述控制模块传输的lvds显示信号转换成rgb信号，并将rgb信号发送给pgu子模块用于生成图像；
21.pgu子模块，用于用于将dlp控制子模块生成的rgb信号装换成可以投影显示的图像；
22.hudbox子模块，用于放大和调节pgu子模块生成的图像。
23.在一些实施例中，所述抬头显示单元将列车信息投射到列车的挡风玻璃或显示装置上。
24.在一些实施例中，所述触摸按键单元为触摸按键面板。
25.在一些实施例中，所述音视频单元，包括：
26.图像采集模块，用于采集视频信息；
27.图像识别模块，用于识别所述视频信息；
28.语音采集模块，用于采集语音信息；
29.语音识别模块，用于识别所述语音信息。
30.在一些实施例中，所述图像采集模块，还包括：
31.红外补光灯，用于所述图像采集模块在黑暗环境下采集视频信息。
32.在一些实施例中，所述图像识别模块，包括：
33.人脸识别子模块，用于对所述视频信息中的驾驶员进行身份认证；
34.疲劳检测子模块，用于对所述视频信息中的驾驶员进行疲劳检测；
35.手势识别子模块，用于对所述视频信息中的驾驶员的手势进行识别，得到手势识别结果。
36.在一些实施例中，所述图像识别模块，还包括：
37.第一指令生成子模块，用于根据所述手势识别结果，生成用于控制所述中控显示单元或者列车的控制指令。
38.在一些实施例中，所述语音采集模块，还包括：
39.麦克风阵列，用于实时采集驾驶员的语音信息。
40.在一些实施例中，所述语音识别模块，
41.用于对采集到的语音信息进行识别，得到语音识别结果。
42.在一些实施例中，所述语音识别模块，还包括：
43.第二指令生成子模块，用于根据所述语音识别结果，生成用于控制所述中控显示单元或者列车的控制指令。
44.与现有技术相比，本发明的技术方案具有以下优点或有益效果：
45.1、解决了操作台各种小尺寸显示屏风格不一、界面交互方式繁杂的问题，降低了操作复杂度；
46.2、解决了无法监测列车驾驶员疲劳状态以及无法对驾驶员的疲劳状态进行实时提醒的问题，提高了行车安全性；
47.3、增加了通过视频和/或语音的方式以对列车驾驶员身份进行认证，提高了认证效率；
48.4、增加了通过手势和/或语音的方式以对人机交互系统进行控制，降低了操作上的复杂性；
49.5、解决了操作台因各类布局混乱的蘑菇形按键导致的占用空间大等问题，提高了操作台的可扩展性，提升了操作台的智能化程度以及使用体验。
附图说明
50.构成本技术的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，在附
51.图中：
52.图1为本技术实施例提供的一种人机交互系统的结构示意图；
53.图2为本技术实施例提供的一种中控显示单元的结构示意图；
54.图3为本技术实施例提供的一种hud抬头显示单元的结构示意图；
55.图4为本技术实施例提供的一种hud抬头显示单元投射的效果图；
56.图5为一种现有的列车操作台样式图。
具体实施方式
57.为使本发明的目的、技术方案和优点更加清楚，以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本发明实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
58.实施例一
59.本发明实施例提供一种列车操作台人机交互系统。图1为为本技术实施例提供的一种人机交互系统的结构示意图，如图1所示，本实施例的系统可以包括：
60.中控显示单元，用于显示列车信息；
61.抬头显示单元，用于投射所述列车信息中的预设信息；
62.触摸按键单元，用于接收驾驶员的控制指令；
63.音视频单元，用于采集所述驾驶员的音频视频信息。
64.图2为本技术实施例提供的一种中控显示单元的结构示意图，如图2所示，所述中控显示单元可以包括：
65.在一些实施例中，中控显示单元包括：壳体，扩展板，核心板，显示控制板，触控板，感光&led板，电源模块，显示屏，触摸屏，led灯及感光灯。其中，核心板与扩展板间通过板级连接器连接；扩展板与触摸板的接口为i2c接口；扩展板与感光&led板的接口为i2c&gpio接口，显示屏可选装lcd或oled或mini-led显示屏。
66.在一些实施例中，中控显示单元可以包括：壳体，1块扩展板，2块核心板，2块显示控制板，2块触控板，2块感光&led板，2个电源模块，1块显示屏，1块触摸屏，4个led灯及两个感光灯，2个音频输出模块，警示灯。
67.其中，led灯可作为电源指示灯和故障提示灯，感光灯可以感应环境亮度并调节中控显示单元的亮度；2块核心板之间通过rs232接口进行通信，并在扩展板上实现互联，互相监测工作状态和数据共享等；显示控制板1通过2路lvds接口分别与核心板1和扩展板进行连接；显示控制板2通过2路lvds接口分别与核心板2和扩展板进行连接；显示控制板1、核心板1、显示控制板1、触控板1以及感光&led板1使用电源模块1进行供电，显示控制板2、核心板2、显示控制板2、触控板2以及感光&led板2使用电源模块2进行供电。
68.在一些实施例中，显示控制板1用于控制行车信息的显示，显示控制板2用于控制车辆状态信息的显示。
69.在一些实施例中，该中控显示单元还包括：2路usb接口、2路rs232接口、4路以太网接口。
70.在一些实施例中，中控显示单元还包括两个音频输出模块(带音频参考信号)。
71.在一些实施例中，中控显示单元可采用20寸以上的大尺寸显示屏，将列车各个车载系统的行车信息、车辆状态信息进行汇总融合后通过中控显示单元进行显示，从而来代
替现有驾驶室内部的多个小尺寸显示屏以及蘑菇形按键。
72.进一步的，在摆放中控显示单元的位置时结合人体工程学的特点，以使列车驾驶员能够方便操作触摸操作屏幕上的每一个按键；另外，中控显示单元中用于人机交互的ue/ui设计考虑到人机交互的便捷性和高效性，可以将主要的行车信息放置在界面的最上层目录，次要信息放置在二级或者三级目录里，以便列车驾驶员能够快速获取关键信息，并做出准确的驾驶操作。
73.在一些实施例中，所述列车信息中的预设信息包括：行车信息和车辆状态信息。
74.需要说明的是，预设信息可以根据实际需求进行设定。
75.进一步的需要说明的是，车辆状态信息可以包括列车本身各个系统的运行状态信息，行车信息可以包括列车当前的运行区间、列车运行速度、是否晚点、列车内的温/湿度、下一站点信息、下一站点的天气信息等。
76.图3为本技术实施例提供的一种hud抬头显示单元的结构示意图，如图3所示，所述抬头显示单元包括：
77.控制模块、交互模块以及显示模块；其中，
78.控制模块包括：核心控制子模块，电源子模块，接口子模块；
79.交互模块包括：传感器子模块，按键子模块，音视频子模块；
80.显示模块包括：
81.dlp控制子模块，用于将所述控制模块传输的lvds显示信号转换成rgb信号，并将rgb信号发送给pgu子模块用于生成图像；
82.pgu子模块，用于用于将dlp控制子模块生成的rgb信号装换成可以投影显示的图像；
83.hudbox子模块，用于放大和调节pgu子模块生成的图像。
84.图4为本技术实施例提供的一种hud抬头显示单元投射的效果图，如图4所示，抬头显示单元可以将一些重要信息投射到驾驶员正前方的挡风玻璃或者具有良好的透光率的显示装置上，驾驶员透过挡风玻璃观察舱外景物时，可以同时看到叠加在外景上的字符、图像等信息，而且，投射焦距位于成像组合玻璃位于前方，驾驶员无需改变眼睛的焦距，即可以方便的随时察看列车的行车信息和车辆状态信息等各种参数，也可以使驾驶员不需要频繁低头看操作台上的显示器，就能获知车辆状态信息。
85.需要说明的是，该抬头显示单元既可以将信息投射到列车的挡风玻璃上，也可以将信息投射到驾驶员正前方放置的显示装置上，既能够有效成像，同时又具备很好的透明效果，又不干扰驾驶员对列车外部环境信息的识别。
86.其中，控制模块包括：核心控制板，电源模块，人机接口模块，按键/感光/指示灯模块(带6个功能按键)；交互模块包括：传感器子模块，按键子模块，音视频子模块，其中，传感器子模块可包括：光线传感器，温度传感器，按键子模块可包括多个按键，音视频子模块可包括：麦克风2个，扬声器，摄像头(支持红外模式)。
87.在一些实施例中，所述抬头显示单元，包括：
88.将列车信息投射到列车的挡风玻璃或显示装置上。
89.其中，显示装置位于驾驶员正前方的挡风玻璃处，且具有良好的透光率，可选为透明树脂玻璃。
90.进一步的，利用挡风玻璃或显示装置反射成像，人眼看到的虚像位于车前方大约20多米处的位置。
91.在一些实施例中，显示模块与控制模块之间用线缆连接，采用fpd linkⅲ接口，不仅能提高显示数据传输的速度与可靠性，而且还方便安装。
92.需要说明的是，通过抬头显示单元所投射的信息可以根据用户实际的需求进行设定，另外，用户也可以根据实际需求选择反射型或玻璃成像型或虚拟成像型的hud抬头显示单元。
93.进一步的，驾驶员在瞭望车外轨道状况时，如有车量异常信息，也可以通过抬头显示单元，让驾驶员快速观察到，并能够在第一时间针对该异常信息做出相应的处理，提高了行车安全性。
94.在一些实施例中，所述触摸按键单元为触摸按键面板。
95.具体的，列车驾驶员通过触摸面板输入控制指令以对列车进行控制，使用触摸按键面板代替现有列车操作台上的各类传统的机械按键，触摸按键面板支持震动反馈和按键背光，同时按键上集成oled显示屏，按键的丝印可以通过编程的方式进行设定与更新，使按键的交互更加的智能，其中，触摸按键面板可选电容式或红外式。
96.在一些实施例中，所述音视频单元，包括：
97.图像采集模块，用于采集视频信息；
98.图像识别模块，用于识别所述视频信息；
99.语音采集模块，用于采集语音信息；
100.语音识别模块，用于识别所述语音信息。
101.进一步的，音视频单元用于对采集到的音频和/或视频信息进行识别，并将识别结果通过中控显示单元进行展示。具体的，语音识别模块对采集到的语音信息进行识别，图像识别模块对采集到的视频信息进行识别。需要说明的是，图像采集模块和语音采集模块之间可以是相互独立的，即，二者既可以同时采集数据也可以独立的进行运行。
102.在一些实施例中，所述图像采集模块，还包括：
103.红外补光灯，用于所述图像采集模块在黑暗环境下采集视频信息。
104.具体的，所述图像采集模块内部集成有红外补光灯，具备黑暗环境下采集视频信息的功能。
105.具体的，图像采集模块可优选为安装有红外线补光灯并具有夜视能力的高清摄像头，可以采集列车驾驶员的视频或图片数据。
106.在一些实施例中，所述图像识别模块，包括：
107.人脸识别子模块，用于对所述视频信息中的驾驶员进行身份认证；
108.疲劳检测子模块，用于对所述视频信息中的驾驶员进行疲劳检测；
109.手势识别子模块，用于对所述视频信息中的驾驶员的手势进行识别，得到手势识别结果。
110.具体的，当列车驾驶员进入驾驶舱，利用人脸识别子模块对身份信息进行认证，图像识别模块用于对采集到的的视频信息进行处理与识别，判断出图像特征，针对采集到的图像进行身份认证、疲劳检测、手势识别等操作，并将识别结果通过中控显示单元进行展示。其中，利用人脸识别子模块，用于对所述视频信息中的驾驶员进行人脸识别并进行身份
认证；利用疲劳检测子模块，用于对所述视频信息中的驾驶员进行疲劳检测；利用手势识别子模块，用于对驾驶员的手势进行识别，得到手势识别结果。
111.进一步的，人脸识别子模块对列车驾驶员的状态进行实时监测。
112.进一步的，当发现驾驶员疲劳驾驶或者处于疲劳状态时，可通过语音/警示灯进行提示和预警。
113.进一步的，在对驾驶员的手势进行识别时，还可以在手势识别子模块中借助于faster r-cnn神经网络模型对驾驶员的手势进行识别，具体使用此处不再展开详细说明。
114.需要说明的是，当识别出列车驾驶员的手势后，可通过音频模块对列车驾驶员手势所代表的控制指令进行播报。
115.进一步需要说明的是，当识别出列车驾驶员的手势后，可通过中控显示单元以示意图的形式对识别出的手势进行显示，和/或，并以文字的形式附上该手势所所代表的控制指令。
116.在一些实施例中，所述图像识别模块，还包括：
117.第一指令生成子模块，用于根据所述手势识别结果，生成用于控制所述中控显示单元或者列车的控制指令。
118.在一些实施例中，所述语音采集模块，包括：
119.所述语音采集模块采用麦克风阵列，具有多角度的声音采集以及降噪功能，用于实时采集驾驶员的语音信息。
120.具体的，语音采集模块用于实时采集驾驶员的语音信息，并将采集的在语音信息传递给语音识别模块进行处理与识别，另外，语音采集模块可以采用麦克风阵列，支持多角度的声音采集以及降噪功能，能够满足在驾驶室各种环境噪音环境下的语音识别功能。
121.在一些实施例中，语音采集模块包括拾音器。
122.在一些实施例中，所述语音识别模块，用于对采集到的语音信息进行识别，得到语音识别结果。
123.进一步的，语音识别结果可以包括：身份认证信息和语音控制指令。
124.在一些实施例中，所述语音识别模块，对驾驶员的语音信息进行识别后的结果通过中控显示单元以文字的形式进行展示。
125.进一步的，当识别出列车驾驶员的语音信息后，可通过音频模块对列车驾驶员的语音信息所代表的控制指令进行播报。
126.在一些实施例中，所述语音识别模块，还包括：
127.第二指令生成子模块，用于根据所述语音识别结果，生成用于控制所述中控显示单元或者列车的控制指令。
128.具体的，当列车驾驶员进入驾驶舱，语音采集模块用于实时采集驾驶员的语音信息，并将采集的在语音信息传递给语音识别模块进行处理与识别，语音识别模块用于接收语音采集模块采集到的语音信息，语音识别模块对采集到的声音信息进行识别，也可以利用nlp(natural language processing，nlp)语义解析器解析用户语义(采集到的语音信息)，以使能够判断出语音发出者的身份信息和语音信息中包含的语音控制指令，并将识别结果通过中控显示单元进行展示。比如，当驾驶员发出“请关闭车门”语音时，语音识别模块识别出语音信息中包含的语音控制指令为“关闭车门”，同时语音识别模块识别出相应的语
音发出者为列车驾驶员(身份认证信息为列车驾驶员)，则人机交互系统控制列车去执行关闭车门这一操作。
129.需要说明的是，如果当语音识别模块识别出语音信息中包含的控制指令为“关闭车门”，但是，识别出的语音发出者并不是列车驾驶员(身份认证信息不是列车驾驶员，或者，列车驾驶员的身份信息认证失败)，此时人机交互系统则不会控制列车去执行关闭车门这一操作。
130.在一些实施例中，语音识别模块可以先对语音发出者的身份信息进行认证，若认证结果为：语音发出者不是列车驾驶员，或者，列车驾驶员的身份信息认证失败，则不再继续对语音信息进行进一步的处理与识别。另外，在对语音发出者的身份信息进行识别与认证时还可以结合图像采集模块，如果驾驶员因感冒或嗓子发哑而导致身份认证失败时，可以通过图像采集模块和图像处理模块来对驾驶员的身份进行识别与确认。
131.进一步的，可以通过语音信息来控制中控显示单元的界面切换和指令输入。比如，列车驾驶员发出语音信息“显示下一站点信息”，当语音识别模块从语音信息中识别出语音控制指令，且语音发出者为列车驾驶员时，就会在中控显示单元中切换到相关展示“下一站点信息”的界面。
132.在一些实施例中，在中控显示单元中设计有用于语音控制的按钮，该语音控制按钮默认为未选中状态，在未选中状态下点击一下该按钮则变为选中状态，再次点击则恢复为未选中状态。只有当该按钮处于选中状态下，语音采集模块才可以实时地采集列车驾驶员的声音，进而语音识别模块再对采集到的语音信息进行识别。
133.进一步的，在中控显示单元中设计有用于手势控制的按钮，该手势控制按钮默认为未选中状态，在未选中状态下点击一下该按钮则变为选中状态，再次点击则恢复为未选中状态。只有当该按钮处于选中状态下，手势识别子模块才可以实时地对驾驶员的手势进行识别。
134.进一步的，当语音控制按钮变为选中状态时强制使手势控制按钮恢复为未选中状态，当手势控制按钮变为选中状态时强制使语音控制按钮恢复为未选中状态。
135.在一些实施例中，可以设置语音控制指令白名单或者手势指令白名单，而当识别出的语音信息或者手势位于相应的白名单中时，人机交互系统不对该语音信息或者手势做出相应的操作。比如，语音控制指令白名单中设置有对应于“紧急刹车”的这条语音信息，当语音识别模块识别出语音信息为“紧急刹车”时，人机交互系统不对该“紧急刹车”语音信息做出相应的操作。
136.在一些实施例中，可以通过中控显示单元中的rs232接口或者usb接口，导出该趟列车的相关信息，包括：行车信息、车辆状态信息、乘务员信息以及乘客信息等。
137.本实施例公开了一种列车操作台人机交互系统，包括：中控显示单元，用于显示列车信息；抬头显示单元，用于投射所述列车信息；触摸按键单元，用于接收驾驶员的控制指令；音视频单元，用于采集所述驾驶员的音频视频信息。图5为一种现有的列车操作台样式图，本发明解决了现有操作台各种小尺寸显示屏风格不一、界面交互方式繁杂的问题；解决了无法监测列车驾驶员疲劳状态以及无法对驾驶员的疲劳状态进行实时提醒的问题，提高了行车安全性；增加了通过视频和/或语音的方式以对列车驾驶员身份进行认证，增加了通过手势和/或语音的方式以对人机交互系统进行控制，提高了认证效率，降低了操作上的复
杂性；解决了操作台因各类布局混乱的蘑菇形按键导致的占用空间大等问题、提升了操作台的智能化程度以及使用体验。
138.综上，本发明提供一种列车操作台人机交互系统，其特征在于，所述系统，包括：中控显示单元，用于显示列车信息；抬头显示单元，用于投射所述列车信息中的预设信息；触摸按键单元，用于接收驾驶员的控制指令；音视频单元，用于采集与识别所述驾驶员的音频视频信息。解决了操作台各种小尺寸显示屏风格不一、界面交互方式繁杂的问题，降低了操作复杂度；解决了无法监测列车驾驶员疲劳状态以及无法对驾驶员的疲劳状态进行实时提醒的问题，提高了行车安全性；增加了通过视频和/或语音的方式以对列车驾驶员身份进行认证，提高了认证效率；增加了通过手势和/或语音的方式以对人机交互系统进行控制，降低了操作上的复杂性；解决了操作台因各类布局混乱的蘑菇形按键导致的占用空间大等问题、提升了操作台的智能化程度以及使用体验。
139.另外应该理解到，在本发明所提供的实施例中所揭露的方法，也可以通过其它的方式实现。以上所描述的方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的方法和装置的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、计算机程序段或计算机程序的一部分，模块、计算机程序段或计算机程序的一部分包含一个或多个用于实现规定的逻辑功能的计算机程序。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生，实际上也可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序的组合来实现。
140.在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、装置或者设备中还存在另外的相同要素；如果有描述到“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系；在本发明的描述中，除非另有明确的限定，术语“行车信息”、“车辆状态信息”、“hud抬头显示”等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定词语在本发明中的具体含义；在本发明的描述中，除非另有说明，术语“多个”、“多”的含义是指至少两个。
141.最后需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“一个示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式进行结合。
142.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例都是示例性的，所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可
以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

技术特征：
1.一种列车操作台人机交互系统，其特征在于，所述系统，包括：中控显示单元，用于显示列车信息；抬头显示单元，用于投射所述列车信息中的预设信息；触摸按键单元，用于接收驾驶员的控制指令；音视频单元，用于采集与识别所述驾驶员的音频视频信息。2.根据权利要求1所述的系统，其特征在于，所述列车信息中的预设信息，包括：行车信息和车辆状态信息。3.根据权利要求1所述的系统，其特征在于，所述抬头显示单元，包括：控制模块、交互模块以及显示模块；其中，控制模块包括：核心控制子模块，电源子模块，接口子模块；交互模块包括：传感器子模块，按键子模块，音视频子模块；显示模块包括：dlp控制子模块，用于将所述控制模块传输的lvds显示信号转换成rgb信号，并将rgb信号发送给pgu子模块用于生成图像；pgu子模块，用于用于将dlp控制子模块生成的rgb信号装换成可以投影显示的图像；hudbox子模块，用于放大和调节pgu子模块生成的图像。4.根据权利要求1所述的系统，其特征在于，所述抬头显示单元将列车信息投射到列车的挡风玻璃或显示装置上。5.根据权利要求1所述的系统，其特征在于，所述触摸按键单元为触摸按键面板。6.根据权利要求1所述的系统，其特征在于，所述音视频单元，包括：图像采集模块，用于采集视频信息；图像识别模块，用于识别所述视频信息；语音采集模块，用于采集语音信息；语音识别模块，用于识别所述语音信息。7.根据权利要求6所述的系统，其特征在于，所述图像采集模块，还包括：红外补光灯，用于所述图像采集模块在黑暗环境下采集视频信息。8.根据权利要求6所述的系统，其特征在于，所述图像识别模块，包括：人脸识别子模块，用于对所述视频信息中的驾驶员进行身份认证；疲劳检测子模块，用于对所述视频信息中的驾驶员进行疲劳检测；手势识别子模块，用于对所述视频信息中的驾驶员的手势进行识别，得到手势识别结果。9.根据权利要求8所述的系统，其特征在于，所述图像识别模块，还包括：第一指令生成子模块，用于根据所述手势识别结果，生成用于控制所述中控显示单元或者列车的控制指令。10.根据权利要求6所述的系统，其特征在于，所述语音采集模块，还包括：麦克风阵列，用于实时采集驾驶员的语音信息。11.根据权利要求6所述的系统，其特征在于，所述语音识别模块，用于对采集到的语音信息进行识别，得到语音识别结果。12.根据权利要求11所述的系统，其特征在于，所述语音识别模块，还包括：
第二指令生成子模块，用于根据所述语音识别结果，生成用于控制所述中控显示单元或者列车的控制指令。

技术总结
本发明提供一种列车操作台人机交互系统，包括：中控显示单元，用于显示列车信息；抬头显示单元，用于投射所述列车信息中的预设信息；触摸按键单元，用于接收驾驶员的控制指令；音视频单元，用于采集与识别所述驾驶员的音频视频信息。解决了操作台各种小尺寸显示屏风格不一、界面交互方式繁杂的问题，解决了无法监测列车驾驶员疲劳状态以及无法对驾驶员的疲劳状态进行实时提醒的问题，增加了通过视频和/或语音对列车驾驶员身份进行认证的方式，增加了通过手势和/或语音对人机交互系统进行控制的方式，提高了行车安全性、提高了认证效率以及智能化程度，降低了操作上的复杂性，提升了使用体验。使用体验。使用体验。


技术研发人员：张光强 胡云卿 刘群欣 廖吉芳 林军 刘悦 蒋学寨 张强
受保护的技术使用者：中车株洲电力机车研究所有限公司
技术研发日：2021.10.11
技术公布日：2023/4/18