一种车内警示方法、装置、系统、电子设备及存储介质与流程

1.本技术涉及警示领域，尤其涉及一种车内警示方法、车内警示系统、车载视频处理架构系统、车内警示装置、电子设备、存储介质及车辆。


背景技术：

2.当前，将儿童遗忘在车内事件偶有发生，导致所有车主面临的舆论压力很大，似乎将儿童留在车内是一个不能容忍的行为。
3.但实际情况要比预想的复杂，将儿童临时留在车内并非完全没有需要。比如，车外有雨，车主有临时离开座舱处理工作或购买物品的需要，如果拖带儿童，不但无法完成预设的工作内容，还会使儿童健康受损。
4.另外，不同年龄段儿童具有一定的认知能力和自控能力，短时间内留在车内具有可能性，真正困扰的是儿童缺乏使用沟通工具通告当前状态的能力，比如，儿童可能不会用手机，比如，儿童希望陪伴，比如，儿童需要确认自身安全等。
5.虽然有人采用车能安装监控的方法，利用摄像头与车主手机相连，车主通过手机观察车内情况，但具有一定的局限性，缺少互动能力和预警能力，需要车主时刻再线关注，影响车主处理手中工作的效率。
6.因此，需要一种方案，可以实时监视车内环境，使车主能够解放双手完成手头工作，并及时判断车内儿童是否是在发出警示求助的状态。


技术实现要素：

7.本发明的目的在于提供一种车内警示方法、车内警示系统、车载视频处理架构系统、车内警示装置、电子设备、存储介质及车辆，至少解决上述的一个技术问题。
8.本发明提供了下述方案：
9.根据本发明的一个方面，提供一种车内警示方法，所述车内警示方法包括：
10.获取车内人员姿态的图像信息；
11.根据图像中车内人员姿态判断车内人员是否发出警示；
12.若，图像中车内人员姿态表示警示，则将当前车内人员发出警示的信息上报云端；
13.根据云端发送数据进行数据共享，手机app和车机app获得当前车内人员正在发出警示的信息；
14.所述app根据预设功能处理车内人员发出警示的信息，包括在人机终端显示警示信息和控制车机与手机建立通信。
15.根据本发明的二个方面，提供一种车内警示系统，所述车内警示系统包括：
16.视觉采集模块，用于采集车内人员姿态的图像信息；
17.姿态识别模块，用于识别图像信息中表示警示的姿态；
18.告警信息模块，用于车机、手机获取车内人员发出警示的信息；
19.所述姿态识别模块识别所述视觉采集模块采集的车内人员姿态图像信息，判断图
像中是否有表示警示姿态的图像；
20.若，图像中是有表示警示姿态的图像，则所述告警信息模块根据图像中有表示警示姿态的图像，发送警示信息到云端；
21.根据云端发送数据进行数据共享，车机和手机获取车内人员发出警示的信息；
22.其中，车机和手机预装app，所述app根据预设功能处理车内人员发出警示的信息，在人机终端显示警示信息，并控制车机与手机建立通信。
23.根据本发明的三个方面，提供一种车载视频处理架构系统，所述车载视频处理架构系统包括：底层处理模块、操作系统处理模块；
24.所述底层处理模块，用于自动识别采集的视频流中人员姿态表示警示的信息；
25.所述底层处理模块将识别的人员姿态表示警示的信息向所述操作系统处理模块发送；
26.所述底层处理模块接收来自所述操作系统处理模块报警信息；
27.所述底层处理模块将报警信息编译成车机显示终端驱动代码；
28.车机显示终端根据驱动代码显示报警信息内容的图形点阵。
29.进一步的，所述车载视频处理架构系统还包括：
30.所述操作系统处理模块，用于将视频流中人员姿态表示警示的信息转换成报警信息；
31.所述操作系统处理模块接收识别出视频流中人员姿态表示警示的信息；
32.所述操作系统处理模块将人员姿态表示警示的信息转换成报警信息；
33.所述操作系统处理模块向所述底层处理模块发送报警信息。
34.进一步的，所述车载视频处理架构系统还包括：监视模块、存储模块；
35.所述监视模块，用于采集车内视觉信息，生成视频流；
36.所述存储模块，用于存储人员姿态表示警示的信息以及对应转换的报警信息；
37.所述监视模块向底层处理模块发送视频流；
38.所述存储模块存储所述操作系统处理模块中人员姿态表示警示的信息以及对应转换的报警信息。
39.根据本发明的四个方面，提供一种车载视频处理系统，所述车载视频处理系统包括：
40.采集模块、算法模块、存储模块、多模服务模块、调度模块、监视模块、警示模块；
41.所述采集模块，用于控制摄像头采集车内视频流；
42.所述算法模块，用于识别判断视频流中人员姿态表示警示；
43.所述存储模块，用于存储视频流以及识别出人员姿态表示警示的结果；
44.所述多模服务模块，用于根据预设场景调取人员姿态表示警示的结果；
45.所述调度模块，用于调度app接收人员姿态表示警示的结果；
46.所述监视模块，用于管理车内监控报警，并管理监控报警与云端的数据交互；
47.所述警示模块，用于根据预设场景下人员姿态表示警示的结果生成报警信息；
48.所述算法模块识别判断所述采集模块采集的视频流中人员姿态是否表示警示；
49.若，视频流中有表示警示的人员姿态，则所述存储模块存储该视频流中人员姿态表示警示的结果信息；
50.所述多模服务模块根据预设场景调取所述存储模块存储人员姿态表示警示的结果信息；
51.所述调度模块调度app接收所述多模服务模块调取的人员姿态表示警示的结果信息；
52.所述警示模块将所述app在预设场景下的人员姿态表示警示的结果信息转换成报警信息；
53.所述监视模块将所述警示模块转换成的报警信息发送至云端；
54.根据云端发送数据进行数据共享，车机和手机获取报警信息。
55.根据本发明的五个方面，提供一种车内警示装置，所述车内警示装置包括：
56.姿态信息获取模块，用于获取车内人员姿态的图像信息；
57.警示信息判断模块，用于根据图像中车内人员姿态判断车内人员是否发出警示；
58.云端信息上报模块，用于若，图像中车内人员姿态表示警示，则将当前车内人员发出警示的信息上报云端；
59.云端信息下发模块，用于根据云端发送数据进行数据共享，手机app和车机app获得当前车内人员正在发出警示的信息；
60.应用程序模块，用于所述app根据预设功能处理车内人员发出警示的信息，包括在人机终端显示警示信息和控制车机与手机建立通信。
61.根据本发明的六个方面，提供一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
62.所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行所述车内警示方法的步骤。
63.根据本发明的七个方面，提供一种计算机可读存储介质，存储有可由电子设备执行的计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行所述车内警示方法的步骤。
64.根据本发明的八个方面，提供一种车辆，包括：
65.电子设备，用于实现所述车内警示方法的步骤；
66.处理器，处理器运行程序，当程序运行时从电子设备输出的数据执行所述车内警示方法的步骤；
67.存储介质，用于存储程序，程序在运行时对于从电子设备输出的数据执行所述车内警示方法的步骤。
68.通过上述方案，获得如下有益的技术效果：
69.本技术通过识别车内儿童的姿态判断其是否在发出警示或求助，主动建立其与车外人员的沟通通道，及时获得车内状态信息，使车内儿童及时被关注，减少儿童自身控制能力缺乏导致的恐慌。
70.本技术通过利用云端技术进行数据共享，使车机和手机app信息同步，手机端既可以主动与车机建立通信通道，也可以根据儿童的姿态自动建立通信通道。
附图说明
71.图1是本发明一个或多个实施例提供的一种车内警示方法的流程图。
72.图2是本发明一个或多个实施例提供的一种车内警示系统的结构图。
73.图3是本发明一个或多个实施例提供的一种车载视频处理架构系统的结构图。
74.图4是本发明一个或多个实施例提供的一种车载视频处理系统的结构图。
75.图5是本发明一个或多个实施例提供的一种车内警示装置的结构图。
76.图6是本发明一个具体实施例的oms部署与整体的系统架构示意图。
77.图7是本发明一个或多个实施例提供的车内警示方法的一种电子设备结构框图。
具体实施方式
78.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
79.图1是本发明一个或多个实施例提供的一种车内警示方法的流程图。
80.如图1所示的车内警示方法包括：
81.步骤s1，获取车内人员姿态的图像信息；
82.步骤s2，根据图像中车内人员姿态判断车内人员是否发出警示；
83.步骤s3，若，图像中车内人员姿态表示警示，则将当前车内人员发出警示的信息上报云端；
84.步骤s4，根据云端发送数据进行数据共享，手机app和车机app获得当前车内人员正在发出警示的信息；
85.步骤s5，app根据预设功能处理车内人员发出警示的信息，包括在人机终端显示警示信息和控制车机与手机建立通信。
86.通过上述方案，获得如下有益的技术效果：
87.本技术通过识别车内儿童的姿态判断其是否在发出警示或求助，主动建立其与车外人员的沟通通道，及时获得车内状态信息，使车内儿童及时被关注，减少儿童自身控制能力缺乏导致的恐慌。
88.本技术通过利用云端技术进行数据共享，使车机和手机app信息同步，手机端既可以主动与车机建立通信通道，也可以根据儿童的姿态自动建立通信通道。
89.具体而言，oms摄像头设置在车内，可以视觉覆盖车内的环境。通过对人员的姿态(如，手势、面部表情、肢体动作、不完整的语音等)判别车内人员(如，儿童)的意图表示(比如，是否不能在继续车内等待、做出危险动作、寻觅成年人等)。
90.通常儿童欠缺表达能力和使用通信工具(如，电话)的能力，即便成年人在当场，也不是完全通过儿童的意见表达来判断出儿童所表述的意思。而携带儿童同程车辆，可能经历陌生环境，可能临时离开车辆，可能需要全程关注前方道路等，成年人不能时刻注意儿童的意见，而儿童又需要成年人及时做出关注、回复，否则可能会擅自行动。
91.比如，爸爸坐在驾驶位，妈妈在后排与儿子同乘。当停车后，妈妈下车去买东西，告诉爸爸看好儿子。但儿子没有任何语言表示，突然开车门冲出车外找妈妈。
92.再比如，爸爸带儿子乘车，儿子独自留在车上，虽然儿子答应会安静等待锁好车门，但儿子在经过一定时间等待后，仍然尝试打开车门外出寻找。
93.儿童有时即便通过语言表达了同意的意思，但又可能用动作、表情表示改变想法，
假如此时儿童与成年人的沟通渠道可能已经不存在，或成年人认为已经达成共识，不再需要从新商议，专注处理手头工作，此时儿童外在动作、姿态、表情等一定程度上可以映射出儿童的意图。通过儿童姿态(如动作、姿态、表情等)判断是否可能想要离开车辆、打开车门等信息，由于这些动作都是通过儿童外在动作姿态获取的，又都会威胁人员和车辆安全，可以将这些信息统一归为警示信息。
94.由于将儿童留在车内，处于车辆一端，成年人位于车外，处于手机一端，从行为能力上，应该由成年人发起建立通信。但成年人发起建立通信取决于成年人对当前车内状况的判断。因此，车辆通过oms摄像头发现儿童的姿态有表述焦虑、不安的情绪，或者有企图打开车门的行为等威胁安全的风险，可以认为儿童发出了一种警示，也可以认为儿童有发起沟通的意图，应该立即建立车机与手机的通信，使成年人与儿童形成沟通渠道。可以在车机和手机配套预先设置专用于儿童独立留在车内使用的应用软件，比如可以根据当前儿童独立留在车内的场景，自动协助建立通信信道，比如使手机与车机可以通话，规避儿童缺乏使用通信工具，缺乏主动发起沟通能力的问题。
95.由于成年人可能正在专注手头工作，不能及时使用通信工具，或不能进行沟通，比如爸爸正在打开后备箱搬运从超市购买的物品，至少应该在手机一端发出警示。也可能是儿童的无聊恶作剧，至少应该在车机一端发出警示，提醒儿童的行动可以被成年人发现等。儿童也会意识到，暂时车机是可以与成年人建立沟通的最有效、且唯一的端口，从而在心理暗示上，降低儿童擅自行动的冲动。
96.利用云端共享车内警示信息，除了为人机、车机之间建立通信，还可以临时接入导航、地区监控等辅助看管车辆的状态变化，至少可以通过时间戳、经纬度标记出导航、地区监控中可被关联的信息段落、数据指针等。
97.图2是本发明一个或多个实施例提供的一种车内警示系统的结构图。
98.如图2所示，车内警示系统包括：
99.视觉采集模块，用于采集车内人员姿态的图像信息；
100.姿态识别模块，用于识别图像信息中表示警示的姿态；
101.告警信息模块，用于车机、手机获取车内人员发出警示的信息；
102.姿态识别模块识别视觉采集模块采集的车内人员姿态图像信息，判断图像中是否有表示警示姿态的图像；
103.若，图像中是有表示警示姿态的图像，则告警信息模块根据图像中有表示警示姿态的图像，发送警示信息到云端；
104.根据云端发送数据进行数据共享，车机和手机获取车内人员发出警示的信息；
105.其中，车机和手机预装app，app根据预设功能处理车内人员发出警示的信息，在人机终端显示警示信息，并控制车机与手机建立通信。
106.具体而言，携带儿童在车上，由于场景不同，所要关注的姿态可被解读的警示信息也不同。比如，车辆行驶过程中，没有发现儿童的任何姿态信息，则可能忘记将儿童带上车辆，比如，车辆行驶过程中，儿童自行解开安全带，则可能是儿童无聊，危险玩耍，比如，车辆停靠过程中，在车辆尚未挺稳的状态下，自行打开车门跳下，则可能是儿童表现欲旺盛，比如，儿童独自留在车内，企图离开车辆外出探索，则可能是感到孤独、焦虑等。针对不同场景，app的处理策略不同，比如，专门为建立通话的app。除了手机、车机之间建立通信的app，
还可以根据当前场景下形成的警示信息，其他app可以激活。比如，专用于儿童看护服务辅助的app，可以根据上述几种车辆行驶场景和工况，生成对应的警示信息。比如，车辆行驶，发现车内没有儿童，则可以警示儿童未上车。比如，车辆行驶过程中，儿童自行解开安全带，则可以警示儿童安全带松脱。比如，在车辆尚未停稳的状态下，车门锁被操作，则可以警示车门意外打开故障。
107.图3是本发明一个或多个实施例提供的一种车载视频处理架构系统的结构图。
108.如图3所示，车载视频处理架构系统包括：底层处理模块、操作系统处理模块；
109.底层处理模块，用于自动识别采集的视频流中人员姿态表示警示的信息；
110.底层处理模块将识别的人员姿态表示警示的信息向操作系统处理模块发送；
111.底层处理模块接收来自操作系统处理模块报警信息；
112.底层处理模块将报警信息编译成车机显示终端驱动代码；
113.车机显示终端根据驱动代码显示报警信息内容的图形点阵。
114.具体而言，底层处理模块主要是对硬件配套的原始数据的收发和处理。比如对像素信息的编解码，比如对数据总线的编解码，比如对显示终端的编解码，比如对算法算力的分配等，基于如oms摄像头、彩色显示屏、算法模块等，通过底层驱动使硬件运行。
115.在本实施例中，车载视频处理架构系统还包括：
116.操作系统处理模块，用于将视频流中人员姿态表示警示的信息转换成报警信息；
117.操作系统处理模块接收识别出视频流中人员姿态表示警示的信息；
118.操作系统处理模块将人员姿态表示警示的信息转换成报警信息；
119.操作系统处理模块向底层处理模块发送报警信息。
120.具体而言，操作系统处理模块主要对多个app、功能模块之间端口衔接，或将存储空间用于文件管理等，或调度各模块处理程序的顺序等，使底层处理模块可以执行操作系统处理模块处理的结果，向操作系统处理模块发送数据。
121.视频流中人员姿态表示警示的信息转换成报警信息，可以取决于配套的警示类app参照当前的行驶场景，发送不同类型的报警信息。比如，可以在车机屏幕上弹出画面，可以控制扬声器发送音频，可以在车机端发送短信留言等。
122.在本实施例中，车载视频处理架构系统还包括：监视模块、存储模块；
123.监视模块，用于采集车内视觉信息，生成视频流；
124.存储模块，用于存储人员姿态表示警示的信息以及对应转换的报警信息；
125.监视模块向底层处理模块发送视频流；
126.存储模块存储操作系统处理模块中人员姿态表示警示的信息以及对应转换的报警信息。
127.具体而言，监视模块的硬件部分主要借助底层处理模块处理原始的视频信息，软件部件主要借助操作系统处理模块对人员姿态表示警示的信息转换报警信息。存储模块主要辅助实时信息记录，辅助警示类app在实时信息上的标记。比如某app通过调取存储模块中人员姿态表示警示的信息，被当前儿童独自留在车上的场景下的姿态动作激活。众多app不能全部工作在前台，也不需要全部在线处理数据，可以根据对app的调度控制，由app调用存储器内的数据。而监控模块是不需要停止的，应当连续工作，可以不因某个app而停止对外界图像信息的采集。
128.图4是本发明一个或多个实施例提供的一种车载视频处理系统的结构图。
129.如图4所示，车载视频处理系统包括：
130.采集模块、算法模块、存储模块、多模服务模块、调度模块、监视模块、警示模块；
131.采集模块，用于控制摄像头采集车内视频流；
132.算法模块，用于识别判断视频流中人员姿态表示警示；
133.存储模块，用于存储视频流以及识别出人员姿态表示警示的结果；
134.多模服务模块，用于根据预设场景调取人员姿态表示警示的结果；
135.调度模块，用于调度app接收人员姿态表示警示的结果；
136.监视模块，用于管理车内监控报警，并管理监控报警与云端的数据交互；
137.警示模块，用于根据预设场景下人员姿态表示警示的结果生成报警信息；
138.算法模块识别判断采集模块采集的视频流中人员姿态是否表示警示；
139.若，视频流中有表示警示的人员姿态，则存储模块存储该视频流中人员姿态表示警示的结果信息；
140.多模服务模块根据预设场景调取存储模块存储人员姿态表示警示的结果信息；
141.调度模块调度app接收多模服务模块调取的人员姿态表示警示的结果信息；
142.警示模块将app在预设场景下的人员姿态表示警示的结果信息转换成报警信息；
143.监视模块将警示模块转换成的报警信息发送至云端；
144.根据云端发送数据进行数据共享，车机和手机获取报警信息。
145.具体而言，采集模块，控制摄像头采集车内视频流；算法模块，识别判断视频流中人员姿态表示警示，如，拨弄车门开关，升降车窗。如，左顾右盼，瞳孔变化。如，在车内到处移动，翻动东西。如，口中喊“妈妈”“爸爸”，如双手紧抱胸前，紧握拳头等；可以综合多个姿态判断，也可以根据权重侧重某一个姿态的判断。存储模块，存储视频流以及识别出人员姿态表示警示的结果；多模服务模块，根据预设场景调取人员姿态表示警示的结果；儿童的行为姿态并不是任何时候都可以被判定位警示，或在当前场景下的姿态虽然有警示意思表述，但并没有威胁。比如在开车时，呼喊“妈妈”，只是一种互动引起注意。调度模块，调度app接收人员姿态表示警示的结果；比如app设置成用儿童的行为姿态作为启动激活，或参考儿童的行为姿态进行工作的样式，则需要app根据预设的功能处理人员姿态表示警示的结果。监视模块，管理车内监控报警，并管理监控报警与云端的数据交互；比如，手机和车机建立沟通渠道，两边都需要第一时间启动各自平台上的app，通过云端报警，可以激活两边的app。警示模块，根据预设场景下人员姿态表示警示的结果生成报警信息；算法模块识别判断所述采集模块采集的视频流中人员姿态是否表示警示；算法模块预设算法，对视频流中的特征信息进行分析，比如分析生物特征信息，发现车辆开动后，儿童没有在车上，说明有可能儿童被遗落，如果对应具有警示功能的app在存储器中检索到此类信息，可以发出报警，比如声音提示。若，视频流中有表示警示的人员姿态，则存储模块存储该视频流中人员姿态表示警示的结果信息；多模服务模块根据预设场景调取存储模块存储人员姿态表示警示的结果信息；调度模块调度app接收多模服务模块调取的人员姿态表示警示的结果信息；调度模块根据预设的后台管理规则管理app，防止多个app根据同一报警信息产生冲突。警示模块将app在预设场景下的人员姿态表示警示的结果信息转换成报警信息；监视模块将所述警示模块转换成的报警信息发送至云端；根据云端发送数据进行数据共享，车机和手
机获取报警信息。
146.图5是本发明一个或多个实施例提供的一种车内警示装置的结构图。
147.如图5所示，车内警示装置包括：姿态信息获取模块、警示信息判断模块、云端信息上报模块、云端信息下发模块、应用程序模块；
148.姿态信息获取模块，用于获取车内人员姿态的图像信息；
149.警示信息判断模块，用于根据图像中车内人员姿态判断车内人员是否发出警示；
150.云端信息上报模块，用于若，图像中车内人员姿态表示警示，则将当前车内人员发出警示的信息上报云端；
151.云端信息下发模块，用于根据云端发送数据进行数据共享，手机app和车机app获得当前车内人员正在发出警示的信息；
152.应用程序模块，用于app根据预设功能处理车内人员发出警示的信息，包括在人机终端显示警示信息和控制车机与手机建立通信。
153.值得注意的是，虽然本系统只披露了姿态信息获取模块、警示信息判断模块、云端信息上报模块、云端信息下发模块、应用程序模块，但并不意味着本装置仅仅局限于上述基本功能模块，相对，本发明所要表达的意思是，在上述基本功能模块的基础之上，本领域技术人员可以结合现有技术任意添加一个或多个功能模块，形成无穷多个实施例或技术方案，也就是说本系统是开放式的而非封闭式的，不能因为本实施例仅披露了个别基本功能模块，就认为本发明权利要求的保护范围局限于上述公开的基本功能模块。
154.图6是本发明一个具体实施例的oms部署与整体的系统架构示意图。
155.如图6所示，本实施例以高通提供的oms摄像头数据采集模块，如高通8155架构作为底层处理模块的主要部分，结合安卓操作系统作为操作系统处理模块的主要部分，实现对车内儿童姿态识别的识别和对警示姿态的报警。高通提供的oms摄像头数据采集模块属于现有技术，安卓操作系统属于现有技术。基于硬件和软件的结合，具体实施方式如下。
156.对车内的人员进行视觉信息采集的链路相关内容包括，将oms摄像头采集的视频流，包括对儿童姿态、手势、面部表情等图像识别内容，传递给高通提供的摄像头数据采集方案ais_server，再将数据传送给数据采集方案中的ais_be_server处理；将上述步骤处理数据通过hab(虚拟机管理器抽象层)传递给数据采集方案中的ais_fe_serrver，再给到数据采集方案中的ais_client。具体oms算法对外提供服务由omsservice完成，位于操作系统处理模块的hal层(硬件抽象层)，通过binder方式(binder是android提供的一套进程间相互通信框架)对外提供服务。在omsservice模块中集成ais_client(数据采集方案的服务端)，同时，需要集成algo_sdk(algo是内存数据库计算引擎，提供sql计算功能，支持常用的sql算法，遵循sql92标准，是一个迭代计算框架)来提供oms监控算法。omsservice需要持久化的内容需要存储在ufs(高速存储模块)中，包含开启手势识别、姿态识别、面部识别等各自对车内儿童姿态类信息检测的开关等。systemservice模块用于系统调度应用(如，预设功能的app)，负责协调系统中各模块的相互合作，比如，将结果发送给导航app，用于控制导航，其目的在于解析omsservice模块传递的json(一种轻量级的数据交换格式)分发重组给到导航app，控制各个app时序调度问题，确保发送给导航app时序的正确性，内容易于导航app处理。
157.systemservice调用安卓framework的接口，framework内部集成omsclientsdk模
块。
158.后根据车内人员姿态的图像信息表示警示的数据链路相关包括，omsservices模块将oms摄像头收集视频的检测结果发送给到framework接口(android framework包含三个重要相关内容：服务端、客户端、linux驱动)，多模服务multimodalservice模块调用framework接口获取oms摄像头收集视频的检测结果。多模服务负责融合系统中的多模输入，完成各种场景智能推荐功能，在此功能中负责处理收到的osm摄像头收集视频的结果，将收到的识别内容进行逻辑判定(判定规则可以依据用户设定进行，如警示信息上报是开启，对识别出的警示信息是否自动发送等)。
159.多模服务将判定的结果传递给监控app，监控app用于管理车内监控报警，并管理监控报警与云端的数据交互。
160.报警方式可以采用手机提醒：监控app将oms的报警信息发送给云端，云端再通过云端报警将信息传递到手机app供用户查看。
161.亦可以采用仪表提醒：监控app将oms摄像头收集视频的结果为报警的信息发送给适配层，(适配层是处于应用层与hal之间的一层，如，adapterservice模块)，用于解耦应用层与系统层。通过适配层下发oms报警信息给到sharedinfoservice模块，sharedinfoservice模块服务提供了一种ipc通信能力，在qnx(车机的底层操作系统)和android都有部署，既可以实现单系统内的数据通信，也可以实现跨虚拟系统的进程通信。需要进程间通信的应用都可以接入sharedinfo sdk模块进行跨进程数据传输。由此服务就把oms的报警信息由安卓侧传递给了qnx侧，再上传给到hq-api(unified api)，hq-api为qnx侧hal层与应用层一种通用通信机制，再传递给到仪表应用由仪表显示报警信息。
162.视频监控的链路相关包括，oms摄像头采集的视频流，传递给高通提供的摄像头数据采集方案ais_server，再将数据传送给ais_be_server处理，此部分集成在qnx系统中。将上述步骤处理数据通过hab传递给ais_fe_serrver，再将视频流传递到v4l2驱动(v4l2：是linux下视频采集和输出框架。用来统一接口，向应用层提供api)，后续对接到android camera2 api(可专用于监控)；监控app可调用android原生接口获取监控数据。监控数据上传到云端后，用户可以通过手机app开启查看监控视频的功能。
163.该实施例中，由vehicle setting app承接设置内容，设置内容包括：比如设置“活体”检测开关、设置“遗忘”检测开关、姿态识别开关等。由设置应用下发的开关项存储到omsservice模块，做适当存储，保障下电后再上电保留上次设置状态。可针对多个儿童设置账户，区别其姿态识别的特点，比如，账户app(如，account app)需要保存每个用户的设置状态，支持账户切换时状态的切换。账户信息与omsservice模块之间的通信通过datasyncservice模块存储或处理，进程间数据同步通过该服务进行广播和监听。
164.在本实施例中，涉及siitech ais服务器。siitech ais服务器是一个软件解决方案，收集ais,arpa(自动雷达绘图辅助)和卫星(如inmarsat，铱星)信息并重新分配；然后解码并存储ais和arpa数据到数据库中。ais服务器支持具有自动雷达绘图辅助(arpa)功能的雷达。ais服务器可以作为单个程序使用，也可以作为可扩展ais网络系统的组件使用。ais服务器是siitech基于web的海上交通监控解决方案的基础。与web vts结合使用，ais服务器允许来自一个或多个ais基站、应答器和/或接收器的信息被分析、记录、过滤并呈现给用户。在服务端编程中，通常会创建多个node实例来处理客户端的请求，以此提升系统的吞吐
率。对这样多个node实例，称之为cluster(集群)。
165.图7是本发明一个或多个实施例提供的车内警示方法的一种电子设备结构框图。
166.如图7所示，本技术提供一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
167.存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行一种车内警示方法的步骤。
168.本技术还提供一种计算机可读存储介质，存储有可由电子设备执行的计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行一种车内警示方法的步骤。
169.本技术还提供一种车辆，包括：
170.电子设备，用于实现车内警示方法的步骤；
171.处理器，处理器运行程序，当程序运行时从电子设备输出的数据执行车内警示方法的步骤；
172.存储介质，用于存储程序，程序在运行时对于从电子设备输出的数据执行车内警示方法的步骤。
173.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
174.电子设备包括硬件层，运行在硬件层之上的操作系统层，以及运行在操作系统上的应用层。该硬件层包括中央处理器(cpu，central processing unit)、内存管理单元(mmu，memory management unit)和内存等硬件。该操作系统可以是任意一种或多种通过进程(process)实现电子设备控制的计算机操作系统，例如，linux操作系统、unix操作系统、android操作系统、ios操作系统或windows操作系统等。并且在本发明实施例中该电子设备可以是智能手机、平板电脑等手持设备，也可以是桌面计算机、便携式计算机等电子设备，本发明实施例中并未特别限定。
175.本发明实施例中的电子设备控制的执行主体可以是电子设备，或者是电子设备中能够调用程序并执行程序的功能模块。电子设备可以获取到存储介质对应的固件，存储介质对应的固件由供应商提供，不同存储介质对应的固件可以相同可以不同，在此不做限定。电子设备获取到存储介质对应的固件后，可以将该存储介质对应的固件写入存储介质中，具体地是往该存储介质中烧入该存储介质对应固件。将固件烧入存储介质的过程可以采用现有技术实现，在本发明实施例中不做赘述。
176.电子设备还可以获取到存储介质对应的重置命令，存储介质对应的重置命令由供应商提供，不同存储介质对应的重置命令可以相同可以不同，在此不做限定。
177.此时电子设备的存储介质为写入了对应的固件的存储介质，电子设备可以在写入了对应的固件的存储介质中响应该存储介质对应的重置命令，从而电子设备根据存储介质对应的重置命令，对该写入对应的固件的存储介质进行重置。根据重置命令对存储介质进行重置的过程可以现有技术实现，在本发明实施例中不做赘述。
178.为了描述的方便，描述以上装置时以功能分为各种单元、模块分别描述。当然在实施本技术时可以把各单元、模块的功能在同一个或多个软件和/或硬件中实现。
179.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
180.对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
181.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器或者网络设备等)执行本技术各个实施方式或者实施方式的某些部分所述的方法。
182.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种车内警示方法，其特征在于，所述车内警示方法包括：获取车内人员姿态的图像信息；根据图像中车内人员姿态判断车内人员是否发出警示；若，图像中车内人员姿态表示警示，则将当前车内人员发出警示的信息上报云端；根据云端发送数据进行数据共享，手机app和车机app获得当前车内人员正在发出警示的信息；所述app根据预设功能处理车内人员发出警示的信息，包括在人机终端显示警示信息和控制车机与手机建立通信。2.一种车内警示系统，其特征在于，所述车内警示系统包括：视觉采集模块，用于采集车内人员姿态的图像信息；姿态识别模块，用于识别图像信息中表示警示的姿态；告警信息模块，用于车机、手机获取车内人员发出警示的信息；所述姿态识别模块识别所述视觉采集模块采集的车内人员姿态图像信息，判断图像中是否有表示警示姿态的图像；若，图像中是有表示警示姿态的图像，则所述告警信息模块根据图像中有表示警示姿态的图像，发送警示信息到云端；根据云端发送数据进行数据共享，车机和手机获取车内人员发出警示的信息；其中，车机和手机预装app，所述app根据预设功能处理车内人员发出警示的信息，在人机终端显示警示信息，并控制车机与手机建立通信。3.一种车载视频处理架构系统，其特征在于，所述车载视频处理架构系统包括：底层处理模块、操作系统处理模块；所述底层处理模块，用于自动识别采集的视频流中人员姿态表示警示的信息；所述底层处理模块将识别的人员姿态表示警示的信息向所述操作系统处理模块发送；所述底层处理模块接收来自所述操作系统处理模块报警信息；所述底层处理模块将报警信息编译成车机显示终端驱动代码；车机显示终端根据驱动代码显示报警信息内容的图形点阵。4.根据权利要求3所述车载视频处理架构系统，其特征在于，所述车载视频处理架构系统还包括：所述操作系统处理模块，用于将视频流中人员姿态表示警示的信息转换成报警信息；所述操作系统处理模块接收识别出视频流中人员姿态表示警示的信息；所述操作系统处理模块将人员姿态表示警示的信息转换成报警信息；所述操作系统处理模块向所述底层处理模块发送报警信息。5.根据权利要求4所述车载视频处理架构系统，其特征在于，所述车载视频处理架构系统还包括：监视模块、存储模块；所述监视模块，用于采集车内视觉信息，生成视频流；所述存储模块，用于存储人员姿态表示警示的信息以及对应转换的报警信息；所述监视模块向底层处理模块发送视频流；所述存储模块存储所述操作系统处理模块中人员姿态表示警示的信息以及对应转换的报警信息。
6.一种车载视频处理系统，其特征在于，所述车载视频处理系统包括：采集模块、算法模块、存储模块、多模服务模块、调度模块、监视模块、警示模块；所述采集模块，用于控制摄像头采集车内视频流；所述算法模块，用于识别判断视频流中人员姿态表示警示；所述存储模块，用于存储视频流以及识别出人员姿态表示警示的结果；所述多模服务模块，用于根据预设场景调取人员姿态表示警示的结果；所述调度模块，用于调度app接收人员姿态表示警示的结果；所述监视模块，用于管理车内监控报警，并管理监控报警与云端的数据交互；所述警示模块，用于根据预设场景下人员姿态表示警示的结果生成报警信息；所述算法模块识别判断所述采集模块采集的视频流中人员姿态是否表示警示；若，视频流中有表示警示的人员姿态，则所述存储模块存储该视频流中人员姿态表示警示的结果信息；所述多模服务模块根据预设场景调取所述存储模块存储人员姿态表示警示的结果信息；所述调度模块调度app接收所述多模服务模块调取的人员姿态表示警示的结果信息；所述警示模块将所述app在预设场景下的人员姿态表示警示的结果信息转换成报警信息；所述监视模块将所述警示模块转换成的报警信息发送至云端；根据云端发送数据进行数据共享，车机和手机获取报警信息。7.一种车内警示装置，其特征在于，所述车内警示装置包括：姿态信息获取模块，用于获取车内人员姿态的图像信息；警示信息判断模块，用于根据图像中车内人员姿态判断车内人员是否发出警示；云端信息上报模块，用于若，图像中车内人员姿态表示警示，则将当前车内人员发出警示的信息上报云端；云端信息下发模块，用于根据云端发送数据进行数据共享，手机app和车机app获得当前车内人员正在发出警示的信息；应用程序模块，用于所述app根据预设功能处理车内人员发出警示的信息，包括在人机终端显示警示信息和控制车机与手机建立通信。8.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1所述车内警示方法的步骤。9.一种计算机可读存储介质，其特征在于，存储有可由电子设备执行的计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行权利要求1所述车内警示方法的步骤。10.一种车辆，其特征在于，包括：电子设备，用于实现权利要求1所述车内警示方法的步骤；处理器，处理器运行程序，当程序运行时从电子设备输出的数据执行权利要求1所述车内警示方法的步骤；存储介质，用于存储程序，程序在运行时对于从电子设备输出的数据执行权利要求1所
述车内警示方法的步骤。

技术总结
本申请公开了一种车内警示方法、车内警示系统、车载视频处理架构系统、车内警示装置、电子设备、存储介质及车辆，包括：获取车内人员姿态的图像信息；根据图像中车内人员姿态判断车内人员是否发出警示；若，图像中车内人员姿态表示警示，则将当前车内人员发出警示的信息上报云端；根据云端发送数据进行数据共享，手机APP和车机APP获得当前车内人员正在发出警示的信息；所述APP根据预设功能处理车内人员发出警示的信息，包括在人机终端显示警示信息和控制车机与手机建立通信。通过上述方案，识别车内儿童姿态判断其是否发出警示或求助，建立其与车外人员的沟通通道，及时获得车内状态，使车内儿童及时被关注，减少儿童自身控制能力缺乏导致的恐慌。缺乏导致的恐慌。缺乏导致的恐慌。


技术研发人员：张文娟 丁冠源 回姝 黄嘉桐 郭富琦 郑彤 王兆麟
受保护的技术使用者：中国第一汽车股份有限公司
技术研发日：2023.04.11
技术公布日：2023/7/28