模型验证方法、装置、设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及机器学习技术领域，具体涉及一种模型验证方法、装置、设备及存储介质。


背景技术：

2.在汽车行业的故障预测领域，传统的汽车示波器、万用表等故障检测装备，只有在故障发生之后，才能检测到故障，且不是所有的故障都有故障码可以上报。故障类的预测问题，由于无法获得某些故障真实时间，导致传统的有监督算法则无用武之地。此时，弱监督学习就是解决此类标签不准确的最佳算法模型，然而，即便训练好了弱监督学习模型，却因没有准确的标签数据对预测结果进行验证，而导致无法确定弱监督学习模型的预测结果是否准确。


技术实现要素：

3.本技术的目的之一在于提供一种模型验证方法、装置、设备及存储介质，用于验证通过弱监督学习训练得到的模型的准确性。
4.为了实现上述目的，本技术采用的技术方案如下：
5.根据本技术涉及的第一方面，提供一种模型验证方法，包括：模型验证装置根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定目标车辆发生故障的故障预测时间，预设故障预测模型为基于弱监督学习训练得到的，第一历史时间段为目标车辆发生故障的故障发生时间之前的时间段。进一步的，模型验证装置根据故障预测时间以及故障发生时间，验证预设故障预测模型的准确性是否满足预设需求。
6.根据上述技术手段，本技术提供的模型验证方法中，通过故障发生时间，对预设故障预测模型预测出的故障预测时间进行比较，实现了确定基于弱监督学习训练得到的预设故障预测模型的准确性，保障预设故障预测模型的预测结果能够满足用户的需求。
7.在一种可能的实施方式中，上述模型验证装置根据故障预测时间以及故障发生时间，验证预设故障预测模型的准确性是否满足预设需求，包括：确定故障预测时间与故障发生时间之间的差值；在差值小于预设阈值的情况下，确定预设故障预测模型的准确性满足预设需求；在差值大于或等于预设阈值的情况下，确定预设故障预测模型的准确性不满足预设需求。
8.根据上述技术手段，本技术提供了一种确定预设故障预测模型是否准确的方法。
9.在一种可能的实施方式中，上述模型验证方法还包括：根据目标车辆的故障现场照片，确定故障现场照片的拍摄时刻；根据拍摄时刻确定故障发生时间。
10.根据上述技术手段，本技术提供了一种确定故障发生时间的方法，以便于后续对于预设故障预测模型的验证。
11.在一种可能的实施方式中，上述模型验证装置根据拍摄时刻确定故障发生时间，包括：获取目标车辆在第二历史时间段内的运行信息，第二历史时间段为拍摄时刻之前的
时间段；在第二历史时间段内的运行信息满足预设条件的情况下，将拍摄时刻确定故障发生时间。
12.根据上述技术手段，本技术提供了一种保障确定到的故障发生时间的准确性的方法，以提高后续对于预设故障预测模型验证的准确性。
13.在一种可能的实施方式中，上述故障现场照片上携带有时间水印；模型验证装置根据目标车辆的故障现场照片，确定故障现场照片的拍摄时刻，包括：基于文本识别技术识别时间水印，获取故障现场照片上的时间信息；根据时间信息指示的时刻，确定拍摄时刻。
14.根据上述技术手段，本技术提供了一种确定拍摄时刻的方法，以用于后续确定故障发生时间。
15.在一种可能的实施方式中，上述模型验证装置根据时间信息指示的时刻，确定拍摄时刻，包括：在时间信息指示的时刻在上传时刻之前的情况下，将时间信息指示的时刻确定为拍摄时刻，上传时刻为救援人员在拍摄故障现场照片后上传系统的时刻。
16.根据上述技术手段，本技术提供了一种保障确定到的拍摄时刻准确性的方法，以提高后续确定故障发生时间的准确性。
17.在一种可能的实施方式中，在上述预设故障预测模型用于预测车辆发生亏电故障的故障预测时间的情况下，方法还包括：在第二历史时间段内的运行信息指示目标车辆在第二历史时间段内点火正常的情况下，确定第二历史时间段内的运行信息满足预设条件。
18.在一种可能的实施方式中，在上述预设故障预测模型用于预测车辆发生发动机故障的故障预测时间的情况下，方法还包括：在第二历史时间段内的运行信息指示目标车辆在第二历史时间段内发动机正常运行的情况下，确定第二历史时间段内的运行信息满足预设条件。
19.在一种可能的实施方式中，在上述预设故障预测模型的准确性不满足预设需求的情况下，上述模型验证方法还包括：获取多个车辆中每个车辆在故障发生时间之前的第一历史时间段内的运行信息；并将多个车辆中每个车辆在第一历史时间段内的运行信息作为特征，将多个车辆中每个车辆的故障发生时间作为标签，继续对预设故障预测模型进行训练。
20.根据上述技术手段，本技术提供了一种在验证模型不够准确的情况下，基于对模型验证时准确的故障发生时间，进一步对预设故障预测模型进行训练修正，以提高预设故障预测模型的准确性。这样一来，进行训练修正后的预设故障预测模型仍可以进一步重复验证，直至预设故障预测模型能够达到相应的准确性需求。
21.根据本技术提供的第二方面，提供一种模型验证装置，包括确定单元以及处理单元。确定单元，用于根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定目标车辆发生故障的故障预测时间，预设故障预测模型为基于弱监督学习训练得到的，第一历史时间段为目标车辆发生故障的故障发生时间之前的时间段。处理单元，用于根据故障预测时间以及故障发生时间，验证预设故障预测模型的准确性是否满足预设需求。
22.在一种可能的实施方式中，上述处理单元，具体用于确定故障预测时间与故障发生时间之间的差值；在差值小于预设阈值的情况下，确定预设故障预测模型的准确性满足预设需求；在差值大于或等于预设阈值的情况下，确定预设故障预测模型的准确性不满足预设需求。
23.在一种可能的实施方式中，上述确定单元，还用于根据所述目标车辆的故障现场照片，确定所述故障现场照片的拍摄时刻；根据拍摄时刻确定故障发生时间。
24.在一种可能的实施方式中，上述模型验证装置还包括获取单元，获取单元，用于获取目标车辆在第二历史时间段内的运行信息，第二历史时间段为拍摄时刻之前的时间段。确定单元，还用于在第二历史时间段内的运行信息满足预设条件的情况下，将拍摄时刻确定故障发生时间。
25.在一种可能的实施方式中，上述故障现场照片上携带有时间水印。上述获取单元，还用于基于文本识别技术识别时间水印，获取故障现场照片上的时间信息。上述确定单元，还用于根据时间信息指示的时刻，确定拍摄时刻。
26.在一种可能的实施方式中，上述确定单元，还用于在时间信息指示的时刻在上传时刻之前的情况下，将时间信息指示的时刻确定为拍摄时刻，上传时刻为救援人员在拍摄故障现场照片后上传系统的时刻。
27.在一种可能的实施方式中，在上述预设故障预测模型用于预测车辆发生亏电故障的故障预测时间的情况下，上述确定单元，还用于在第二历史时间段内的运行信息指示目标车辆在第二历史时间段内点火正常的情况下，确定第二历史时间段内的运行信息满足预设条件。
28.在一种可能的实施方式中，在上述预设故障预测模型用于预测车辆发生发动机故障的故障预测时间的情况下，上述确定单元，还用于在第二历史时间段内的运行信息指示目标车辆在第二历史时间段内发动机正常运行的情况下，确定第二历史时间段内的运行信息满足预设条件。
29.根据本技术提供的第三方面，提供一种模型验证设备，部署于车辆。模型验证设备包括存储器和处理器，存储器和处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令；当处理器执行计算机指令时，模型验证设备执行上述第一方面及其任一种可能的实施方式提供的模型验证方法。
30.根据本技术提供的第四方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在模型验证设备上运行时，使得模型验证设备执行上述第一方面及其任一种可能的实施方式提供的模型验证方法。
31.根据本技术提供的第五方面，提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在在模型验证设备上运行时，使得模型验证设备执行上述第一方面及其任一种可能的实施方式提供的模型验证方法。
32.由此，本技术的上述技术特征具有以下有益效果：
33.(1)本技术提供的模型验证方法中，通过故障发生时间，对预设故障预测模型预测出的故障预测时间进行比较，实现了确定基于弱监督学习训练得到的预设故障预测模型的准确性，保障预设故障预测模型的预测结果能够满足用户的需求。
34.(2)本技术提供的模型验证方法中，通过提高确定的拍摄时刻的准确性，提高后确定故障发生时间的准确性，进而根据对故障发生时间的判断，确定故障发生时间是否准确。进一步的，基于准确度较高的故障发生时间，对通过弱监督学习训练得到的预设故障预测模型，预测得到的故障预测时间进行验证，以提高对预设故障预测模型验证得到的验证结果的准确性。
35.需要说明的是，第二方面至第五方面中的任一种实现方式所带来的技术效果可参见第一方面中对应实现方式所带来的技术效果，此处不再赘述。
36.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
37.图1是根据一示例性实施例示出的一种模型验证系统的结构示意图；
38.图2是根据一示例性实施例示出的一种模型验证方法的流程图；
39.图3是根据一示例性实施例示出的又一种模型验证方法的流程图；
40.图4是根据一示例性实施例示出的又一种模型验证方法的流程图；
41.图5是根据一示例性实施例示出的一种模型训练示意图；
42.图6是根据一示例性实施例示出的又一种模型验证方法的流程图；
43.图7是根据一示例性实施例示出的又一种模型验证方法的流程图；
44.图8是根据一示例性实施例示出的又一种模型验证方法的流程图；
45.图9是根据一示例性实施例示出的又一种模型验证方法的流程图；
46.图10是根据一示例性实施例示出的一种模型验证装置的框图；
47.图11是根据一示例性实施例示出的一种模型验证设备的框图。
具体实施方式
48.以下将参照附图和优选实施例来说明本技术的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本技术的其他优点与功效。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本技术，而不是为了限制本技术的保护范围。
49.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，遂图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
50.在实施例的描述中，除非另有说明，“/”表示“或”的意思，例如，a/b可以表示a或b。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。此外，“至少一个”“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
51.相关技术中，在汽车行业的故障预测领域，传统的汽车示波器、万用表等故障检测装备，只有在故障发生之后，才能检测到故障，且不是所有的故障都有故障码可以上报。故障类的预测问题，由于无法获得某些故障真实时间，导致传统的有监督算法则无用武之地。此时，弱监督学习就是解决此类标签不准确的最佳算法模型，然而，即便训练好了弱监督学习模型，却因没有准确的标签数据对预测结果进行验证，而导致无法确定弱监督学习模型的预测结果是否准确。
52.需要说明的，弱监督学习可以为分为三类，包括不完全监督、不确切监督以及不精确监督。其中，不完全监督是指模型的训练数据中只有一部分数据有对应的标签，存在部分数据没有标签。不确切监督是指模型的训练数据只给出了粗粒度标签。不精确监督是指给出的标签不精确，只是一个粗粒度标签。
53.为了解决上述问题，本技术提出一种模型验证方法、装置、设备及存储介质，模型验证装置根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定目标车辆发生故障的故障预测时间，预设故障预测模型为基于弱监督学习训练得到的，第一历史时间段为目标车辆发生故障的故障发生时间之前的时间段。进一步的，模型验证装置根据故障预测时间以及故障发生时间，验证预设故障预测模型的准确性是否满足预设需求。
54.这样一来，本技术提供的模型验证方法中，通过故障发生时间，对预设故障预测模型预测出的故障预测时间进行比较，实现了确定基于弱监督学习训练得到的预设故障预测模型的准确性，保障预设故障预测模型的预测结果能够满足用户的需求。
55.图1示出一种模型验证系统，本技术实施例提供的模型验证方法可以适用于如图1所示的模型验证系统，用于验证弱监督学习训练得到的模型的准确性。如图1所示，模型验证系统10中包括模型验证装置11、终端设备12以及服务器13。
56.其中，服务器13分别与模型验证装置11以及终端设备12连接，上述连接关系中，可以采用有线方式连接，也可以采用无线方式连接，本技术实施例对此不作限定。
57.模型验证装置11可以用于根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定目标车辆发生故障的故障预测时间。
58.其中，预设故障预测模型为基于弱监督学习训练得到的，第一历史时间段为目标车辆发生故障的故障发生时间之前的时间段。
59.模型验证装置11还可以用于根据故障预测时间以及故障发生时间，验证预设故障预测模型的准确性是否满足预设需求。
60.终端设备12可以为具有拍摄功能的电子设备，例如具有拍摄功能的手机、具有通信功能的相机等，本技术实施例对此不作具体限定。
61.在一些实施例中，终端设备12被配置为拍摄到的故障现场照片中携带的照片信息中包括拍摄时刻。
62.在另一些实施例中，终端设备12被配置为在拍摄到的故障现场照片上设置有时间水印，时间水印用于反映故障现场照片的拍摄时刻。
63.终端设备12可以由救援人员携带，并对故障现场进行拍摄故障现场照片。
64.其中，故障现场照片中携带有目标车辆的车架号，车架号用于唯一标识目标车辆。
65.终端设备12还可以用于基于与服务器13之间的连接，在拍摄到故障现场照片后，向服务器13上传。
66.服务器13可以用于接收到终端设备12上传的故障现场照片后，将故障现场照片以车架号命名并存储。
67.服务器13还可以用于记录终端设备12上传故障现场照片的上传时刻。
68.图2是根据一些示例性实施例示出的一种模型验证方法的流程示意图。在一些实施例中，上述模型验证方法可以应用到如图1所示的模型验证系统10中的模型验证装置11。以下，本技术实施例以模型验证方法应用于模型验证装置11为例，对上述模型验证方法进
行说明。
69.如图2所示，本技术实施例提供的模型验证方法，包括下述s201-s202。
70.s201、模型验证装置根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定目标车辆发生故障的故障预测时间。
71.其中，预设故障预测模型为基于弱监督学习训练得到的，第一历史时间段为目标车辆发生故障的故障发生时间之前的时间段。
72.作为一种可能的实现方式，模型验证装置将目标车辆在第一历史时间段内的运行信息作为特征，输入预设故障预测模型，以获取预设故障预测模型预测到的目标车辆发生故障的故障预测时间。
73.需要说明的，运行信息包括训练预设故障预测模型的过程中所采用的特征。例如，在预设故障预测模型用于预测车辆发生亏电故障的故障预测时间的情况下，若在预设故障预测模型的训练过程中，特征包括车型、车辆里程信息、高原系数、车辆运行状态、各个耗电车灯的开关状态、蓄电池电流、蓄电池电压、蓄电池温度、环境温度、车辆异常唤醒时间、车辆异常唤醒次数等信号，将亏电维修记录中的维修时间作为标签；则运行信息也相应包括车型、车辆里程信息、高原系数、车辆运行状态、各个耗电车灯的开关状态、蓄电池电流、蓄电池电压、蓄电池温度、环境温度、车辆异常唤醒时间、车辆异常唤醒次数等信号数据。
74.需要说明的，预设故障预测模型可以由模型验证系统的运维人员，预先在模型验证装置中设置，用于实现对车辆上无法通过故障码确定准确故障时间的故障进行预测，示例性的可以参照本技术实施例的后续记载，此处不再进行赘述。
75.需要说明的，第一历史时间段包括的时长可以由模型验证系统的运维人员，预先在模型验证装置中设置，示例性的可以为1个月、2个月、3个月等，本技术实施例对此不作具体限定。
76.在一些实施例中，故障发生时间可以为驾驶员在感知到故障后，向车企服务平台反馈的故障时间；还可以为车企派出的救援人员上报的故障时间，具体如何确定较为准确的故障发生时间，可以参照本技术实施例的后续记载，此处不再进行赘述。
77.s202、模型验证装置根据故障预测时间以及故障发生时间，验证预设故障预测模型的准确性是否满足预设需求。
78.作为一种可能的实现方式，在故障预测时间以及故障发生时间以天为单位的情况下，模型验证装置确定故障预测时间所指示的日期，以及故障发生时间所指示的日期，在故障预测时间以及故障发生时间所指示的日期为同一天的情况下，确定预设故障预测模型的准确性满足预设需求。
79.在一些实施例中，若故障预测时间以及故障发生时间均用于指示时刻，则模型验证装置确定故障预测时间与故障发生时间之间的差值，并在差值小于预设阈值的情况下，确定预设故障预测模型的准确性满足预设需求；在差值大于或等于预设阈值的情况下，确定预设故障预测模型的准确性不满足预设需求。
80.可以理解的，在本技术实施例提供的模型验证方法中，通过故障发生时间，对预设故障预测模型预测出的故障预测时间进行比较，实现了确定基于弱监督学习训练得到的预设故障预测模型的准确性，保障预设故障预测模型的预测结果能够满足用户的需求。
81.在一些实施例中，模型验证装置基于多个车辆的故障发生时间以及各个车辆在相
应的第一历史时间段内的运行信息，对预设故障预测模型进行验证，在该情况下，预设需求还可以为：故障发生时间与故障预测时间在同一天，或者故障发生时间与故障预测时间之间的差值小于预设阈值的比例大于预设比例，预设比例示例性为90％、95％等。
82.进一步的，若预设故障预测模型的准确性不满足预设需求，模型验证装置基于获取到的多个车辆中每个车辆在故障发生时间之前的第一历史时间段内的运行信息，将多个车辆中每个车辆在第一历史时间段内的运行信息作为特征，将多个车辆中每个车辆的故障发生时间作为标签，继续对预设故障模型进行训练。
83.可选的，在基于多个车辆中每个车辆在第一历史时间段内的运行信息以及故障发生时间对预设故障预测模型进行训练修正后，模型验证装置进一步对预设故障预测模型进行验证，确定训练修正后的故障预测模型的准确性是否满足预设需求。若训练修正后的预设故障预测模型的准确性仍无法满足预设需求，则继续对预设故障预测模型进行训练修正，直至预设故障预测模型的准确性满足预设需求。
84.在一种设计中，为了实现确定故障发生时间，以便对预设故障预测模型的预测结果进行验证，如图3所示，本技术实施例提供的模型验证方法，还包括s301-s302。
85.s301、模型验证装置根据目标车辆的故障现场照片，确定故障现场照片的拍摄时刻。
86.作为一种可能的实现方式，模型验证装置从服务器中，基于目标车辆的车脚号获取目标车辆的故障现场照片，并对故障现场照片进行解析，从故障现场照片的详细信息中获取故障现场照片的拍摄时刻。
87.需要说明的，目标车辆的故障现场照片可以由目标车辆的驾驶员呼叫的救援人员，在拍摄现场照片后，上传到服务器中，并目标车辆的车架号进行命名存储的，本技术实施例对此不作具体限定。
88.在一些实施例中，若故障现场照片上携带有时间水印，则模型验证装置确定故障现场照片的拍摄时刻，还包括如下步骤s3011-s3012。
89.s3011、模型验证装置基于文本识别技术识别时间水印，获取故障现场照片上的时间信息。
90.可以理解的，通过采用文本识别技术(optical character recognition，ocr)对时间水印记载的时间信息进行识别，获取故障现场照片上的时间信息，相较于传统的手工录入系统时间信息，减少了手工输入时间，提高了时间录入的效率。
91.s3012、模型验证装置根据时间信息指示的时刻，确定拍摄时刻。
92.在一些实施例中，为了保障拍摄时刻的准确性，在获取到的时间水印记载的时间信息后，模型验证装置还从服务器中获取基于人员在拍摄故障现场照片后上传系统的上传时刻。进一步的，模型验证装置确定时间信息指示的时刻是否在上传时刻之前，并在时间信息指示的时刻在上传时刻之前的情况下，将时间信息指示的时刻确定为拍摄时刻。
93.可以理解的，虽然当前的ocr识别技术能达到很高的准确率，为了降低误识别带来的数据错误，需要把识别的拍摄时刻与上传系统的上传时刻做比较，在拍摄时刻大于上传时刻，也即拍摄时刻晚于上传时刻的情况下，表明拍摄时间识别错误，模型验证装置重新对该故障现场照片进行识别，以保障拍摄时间的准确性，进一步保障对预设故障预测模型准确性验证的准确性。
94.s302、模型验证装置根据拍摄时刻确定故障发生时间。
95.作为一种可能的实现方式，模型验证装置将上述步骤s301中确定到的拍摄时刻，确定为故障发生时间。
96.在一些实施例中，若故障发生时间以天为单位，则模型验证装置将拍摄时间所属的日期，确定为故障发生时间。
97.可以理解的，本技术实施例提供的模型验证方法中，通过对故障现场照片进行处理，获取故障发生时间，为后续对预设故障预测模型进行准确性验证提供了支持。
98.在一种设计中，本技术上述实施例中虽然获取到了真实的故障救援时间，但并不表示真实的故障救援时间，就一定是真实的故障时间。(例如，车辆停止使用一周后，车辆就已经发生了故障，但用户在停止使用后的第二周才发现故障，并请求救援，此时的救援时间就无法确认为故障发生时间)。为了保障确定到的故障发生时间的准确性，本技术实施例提供的模型验证方法，如图4所示，还包括s401-s402。
99.s401、模型验证装置获取目标车辆在第二历史时间段内的运行信息。
100.其中，第二历史时间段为拍摄时刻之前的时间段。
101.作为一种可能的实现方式，模型验证装置在基于上述步骤s301中确定到拍摄时刻之后，确定第二历史时间段。进一步的，模型验证装置从服务器中，基于目标车辆的车架号，获取目标车辆在第二历史时间段内的运行信息。
102.需要说明的，第二历史时间段包括的时长可以由模型验证系统的运维人员，预先在模型验证装置中设置，示例性的可以为8小时、16小时、24小时等，本技术实施例对此不作具体限定。
103.示例性的，若拍摄时刻为a年b月c日d时，且第二历史时间段为拍摄时刻之前24小时的时间段，则模型验证装置确定第二历史时间段为a年b月c-1日d时，与a年b月c日d时之间的时间段。
104.s402、模型验证装置在第二历史时间段内的运行信息满足预设条件的情况下，将拍摄时刻确定故障发生时间。
105.需要说明的，预设条件用于指示车辆的运行信息正常，未出现故障。
106.作为一种可能的实现方式，模型验证装置判断第二历史时间段内的运行信息是否满足预设条件。进一步的，模型验证装置在第二历史时间段内的运行信息满足预设条件的情况下，将拍摄时刻确定为故障发生时间。
107.在一些实施例中，在预设故障预测模型用于预测车辆发生亏电故障的故障预测时间的情况下，模型验证装置在第二历史时间段内的运行信息指示目标车辆在第二历史时间段内点火正常的情况下，确定第二历史时间段内的运行信息满足预设条件。
108.否则，模型验证装置确定上述实施例中确定到的目标车辆的故障发生时间，无法用于对预设故障预测模型的验证，更换目标车辆对预设故障预测模型进行验证。
109.在另一些实施例中，在预设故障预测模型用于预测车辆发生发动机故障的故障预测时间的情况下，模型验证装置在第二历史时间段内的运行信息指示目标车辆在第二历史时间段内发动机正常运行的情况下，确定第二历史时间段内的运行信息满足预设条件。
110.否则，模型验证装置确定上述实施例中确定到的目标车辆的故障发生时间，无法用于对预设故障预测模型的验证，更换目标车辆对预设故障预测模型进行验证。
111.可以理解的，本技术实施例提供的模型验证方法中，通过故障现场照片的拍摄时刻之前第二历史时间段内目标车辆的运行信息，确定故障现场照片的拍摄时刻是否能够用于指示故障发生时间，以保障确定到的故障发生时间的准确性。
112.在一种设计中，以预设故障预测模型用于预测车辆发生亏电故障的故障预测时间为例，对预设故障预测模型的训练流程如下所示，包括数据获取、数据处理、模型训练以及模型筛选。
113.需要说明的，数据处理以及模型训练如图5所示，首先对原始数据进行预处理，剔除存在缺失值和异常值的数据，并按照时间序列对原始数据进行排序，进一步基于时间序列排序的原始数据进行事件分割，并将各个事件转换为相应的特征，进而根据得到的特征以及预设算法，实现模型的训练，得到预设故障预测模型。
114.其中，在数据获取过程中，模型验证系统的运维人员基于亏电故障事件，从车企的数据云平台中获取发生亏电故障时间的车辆，并获取车辆数据总线记录的时序数据以及维修记录。
115.在数据处理过程中，对获取到的数据中，存在缺失值和异常值的数据进行处理，然后对原始数据中的部分变量进行转换，以便用以后续的模型训练过程。
116.示例性的，如获取到的数据中包括开关状态类信息，则计算开关状态类在0和1两种开关状态下分别对应的总时间。如获取到的数据中包括蓄电池传感器的电流信号，则根据如下公式一对其转换，确定蓄电池的输出电流。
117.i＝(value-m)*k公式一
118.其中，i为蓄电池的输出电流，value为蓄电池传感器的电流信号，m为电流信号参数，示例性可以为32768，k为电流信号与电流转换系数。
119.进一步的，在对获取到的数据进行清洗、转换后，提取与亏电故障相关的运行信息，作为模型训练过程中的特征，提取与亏电故障相关的维修记录，将维修时间确定为模型训练过程中的标签。
120.在模型训练过程中，基于数据处理过程中得到的特征与标签，分别采用多个生存分析算法进行训练，得到多个亏电预测模型。
121.示例性的，生存分析算法可以为随机生存森林(random survival forests)算法、深度命中(deephit)算法以及深度测量(deepsurv)算法。
122.在生存分析算法中，各函数的说明如下表1所示。
123.表1：函数说明的表
124.函数说明f(t)死亡密度函数f(t)累积死亡分布函数s(t)生存概率函数h(t)风险函数h0(t)基线危害函数h(t)累积危险函数
125.其中，生存函数表示的是事件发生的时间不早于t的概率，如下公式二所示。
126.s(t)＝pr(t≥t)
ꢀꢀꢀꢀ
公式二
127.需要说明的，生存函数的值随t的增大而减小，在t＝0的情况下，s(t)＝1；在t趋向于无穷的情况下，s(t)趋向于0。
128.累积死亡分布函数f(t)表示事件发生的时间早于t的概率，如下公式三所示。
129.f(t)＝1-s(t)
ꢀꢀꢀꢀ
公式三
130.风险函数h(t)表示的是瞬间发生感兴趣事件的概率，如下公式四所示。
[0131][0132]
与此对应的是累积危险函数，其是对危险函数在时间上的积分，如下公式五所示。
[0133][0134]
需要说明的，以上是对于生存分析算法中涉及到的部分函数进行的说明，在具体对预设故障预测模型进行训练时，可以参照现有技术中的训练方法，对预设故障预测模型进行训练，本技术实施例对此不作具体限定。
[0135]
在模型筛选过程中，基于预测结果以及车辆的故障记录，采用混淆矩阵对各个模型进行评分，将分数最佳的模型确定为预设故障预测模型。
[0136]
示例性的，以亏电故障为例，若车辆发生了亏电事件，则标签值为1，若车辆未发生亏电事件，则标签值为0，以精确度(precision)和召回率(recall)作为性能指标，确定各个模型的分数。
[0137]
其中，混淆矩阵如下表2所示。
[0138]
表2：混淆矩阵
[0139][0140]
precision的计算公式如下公式六所示。
[0141][0142]
recall的计算公式如下公式六所示。
[0143][0144]
在基于如表2所示的混淆矩阵对模型训练过程中得到的多个模型进行性能测试后，得到如下表3所示的不同模型的各项性能指标。
[0145]
表3：不同模型的各项性能指标
[0146] precisionrecallrandom survival forests0.960.80
deephit0.840.45deepsurv0.860.28
[0147]
这样一来，即可基于上述表3中的不同模型的各项性能指标，确定出基于random survival forests算法训练得到的模型为预设故障预测模型。
[0148]
在一种设计中，本技术实施例提供的模型验证方法的整体验证流程，如图6所示，包括s501-s506。
[0149]
s501、模型验证装置获取目标车辆的故障现场照片。
[0150]
s502、模型验证装置基于文本识别技术，获取目标车辆的故障发生时间。
[0151]
s503、模型验证装置获取目标车辆在第一历史时间段内的运行信息。
[0152]
s504、模型验证装置根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定目标车辆发生故障的故障预测时间。
[0153]
s505、模型验证装置根据故障发生时间以及故障预测时间，对预设故障预测模型进行验证。
[0154]
s506、模型验证装置输出模型验证结果。
[0155]
作为一种可能的实现方式，模型验证装置在基于上述步骤s505确定到预设故障预测模型的验证结果后，将模型验证结果输出到与其连接显示设备，或服务器中存储。
[0156]
需要说明的，上述步骤s501-s506中记载的模型验证方法的具体实现方式，可以参照本技术上述实施例中的记载，此处不再进行赘述。
[0157]
在一种设计中，本技术实施例提供的模型验证方法的拍摄时刻的确定流程，如图7所示，包括s601-s605。
[0158]
s601、模型验证装置获取救援人员上报的故障车辆的故障信息。
[0159]
其中，故障信息包括故障现场照片、故障车辆的车架号、故障类型、故障描述等。
[0160]
s602、模型验证装置确定故障信息的上传时刻。
[0161]
s603、模型验证装置基于故障现场照片上的拍摄时刻以及上传时刻，对拍摄时刻进行验证。
[0162]
s604、模型验证装置确定拍摄时刻是否验证成功。
[0163]
需要说明的，在模型验证装置确定拍摄时刻验证成功的情况下，执行步骤s605；在确定拍摄时刻验证失败的情况下，丢弃该条数据，采用其他故障车辆的故障信息对预设故障预测模型进行验证。
[0164]
s605、模型验证装置基于故障车辆的车架号以及拍摄时刻对故障现场照片重命名，并存储重命名后的故障现场照片。
[0165]
示例性的，若故障车辆的车架号为vina，拍摄时刻为ta，则重命名后的故障现场照片的命名例如可以为vina+ta。
[0166]
需要说明的，上述步骤s601-s605中记载的模型验证方法的具体实现方式，可以参照本技术上述实施例中的记载，此处不再进行赘述。
[0167]
在一种设计中，为进一步提高对模型验证的准确性，在上述步骤s605确定到拍摄时刻后，进一步确定故障发生时间的流程，如图8所示，包括s701-s705。
[0168]
s701、模型验证装置获取故障车辆的车架号以及拍摄时刻。
[0169]
s702、模型验证装置基于车架号以及拍摄时刻，获取故障车辆在第二历史时间段
内的运行信息。
[0170]
s703、模型验证装置确定第二历史时间段内的运行信息是否满足预设条件。
[0171]
需要说明的，在模型验证装置确定第二历史时间段内的运行信息满足预设条件的情况下，执行步骤s704；在确定第二历史时间段内的运行信息不满足预设条件的情况下，丢弃该条数据，采用其他故障车辆的故障信息对预设故障预测模型进行验证。
[0172]
s704、模型验证装置在第二历史时间段内的运行信息满足预设条件的情况下，将拍摄时刻确定故障发生时间。
[0173]
s705、模型验证装置存储该故障车辆的故障发生时间。
[0174]
需要说明的，上述步骤s701-s705中记载的模型验证方法的具体实现方式，可以参照本技术上述实施例中的记载，此处不再进行赘述。
[0175]
在一种设计中，在得到故障车辆的故障发生时间后，本技术实施例提供的模型验证方法中，对弱监督学习训练得到的预设故障预测模型的验证流程，如图9所示，包括s801-s803。
[0176]
s801、模型验证装置获取故障车辆在故障发生时间之前的第一历史时间段内的运行信息。
[0177]
s802、模型验证装置根据预设故障预测模型以及第一历史时间段内的运行信息，确定故障预测时间。
[0178]
s803、模型验证装置根据故障预测时间以及故障发生时间，确定预设故障预测模型的验证结果。
[0179]
需要说明的，上述步骤s801-s803中记载的模型验证方法的具体实现方式，可以参照本技术上述实施例中的记载，此处不再进行赘述。
[0180]
上述主要从方法的角度对本技术实施例提供的方案进行了介绍。为了实现上述功能，模型验证装置或模型验证设备包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0181]
本技术实施例可以根据上述方法，示例性的对模型验证装置或模型验证设备进行功能模块的划分，例如，模型验证装置或模型验证设备可以包括对应各个功能划分的各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0182]
图10为本技术实施例提供的一种模型验证装置的结构示意图。该模型验证装置用于执行上述模型验证方法。如图10所示，该模型验证装置90包括确定单元901以及处理单元902。
[0183]
确定单元901，用于根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定目标车辆发生故障的故障预测时间，预设故障预测模型为基于弱监督学习
训练得到的，第一历史时间段为目标车辆发生故障的故障发生时间之前的时间段。
[0184]
处理单元902，用于根据故障预测时间以及故障发生时间，验证预设故障预测模型的准确性是否满足预设需求。
[0185]
可选的，上述处理单元902，具体用于确定故障预测时间与故障发生时间之间的差值；在差值小于预设阈值的情况下，确定预设故障预测模型的准确性满足预设需求；在差值大于或等于预设阈值的情况下，确定预设故障预测模型的准确性不满足预设需求。
[0186]
可选的，上述确定单元901，还用于根据目标车辆的故障现场照片，确定故障现场照片的拍摄时刻；根据拍摄时刻确定故障发生时间。
[0187]
可选的，上述模型验证装置90还包括获取单元903。
[0188]
获取单元903，用于获取目标车辆在第二历史时间段内的运行信息，第二历史时间段为拍摄时刻之前的时间段。
[0189]
确定单元901，还用于在第二历史时间段内的运行信息满足预设条件的情况下，将拍摄时刻确定故障发生时间。
[0190]
可选的，在上述故障现场照片上携带有时间水印的情况下，上述获取单元903，还用于基于文本识别技术识别时间水印，获取故障现场照片上的时间信息。
[0191]
上述确定单元901，还用于根据时间信息指示的时刻，确定拍摄时刻。
[0192]
可选的，上述确定单元901，还用于在时间信息指示的时刻在上传时刻之前的情况下，将时间信息指示的时刻确定为拍摄时刻，上传时刻为救援人员在拍摄故障现场照片后上传系统的时刻。
[0193]
可选的，在上述预设故障预测模型用于预测车辆发生亏电故障的故障预测时间的情况下，上述确定单元901，还用于在第二历史时间段内的运行信息指示目标车辆在第二历史时间段内点火正常的情况下，确定第二历史时间段内的运行信息满足预设条件。
[0194]
可选的，在上述预设故障预测模型用于预测车辆发生发动机故障的故障预测时间的情况下，上述确定单元901，还用于在第二历史时间段内的运行信息指示目标车辆在第二历史时间段内发动机正常运行的情况下，确定第二历史时间段内的运行信息满足预设条件。
[0195]
图11是根据一示例性实施例示出的一种模型验证设备的框图。如图11所示，模型验证设备100包括但不限于：处理器1001和存储器1002。
[0196]
其中，上述的存储器1002，用于存储上述处理器1001的可执行指令。可以理解的是，上述处理器1001被配置为执行指令，以实现上述实施例中的模型验证方法。
[0197]
需要说明的是，本领域技术人员可以理解，图11中示出的模型验证设备结构并不构成对模型验证设备的限定，模型验证设备可以包括比图11所示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0198]
处理器1001是模型验证设备的控制中心，利用各种接口和线路连接整个模型验证设备的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行模型验证设备的各种功能和处理数据，从而对模型验证设备进行整体监控。处理器1001可包括一个或多个处理单元。可选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到
处理器1001中。
[0199]
存储器1002可用于存储软件程序以及各种数据。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能模块所需的应用程序(比如确定单元、处理单元等)等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0200]
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1002，上述指令可由模型验证设备100的处理器1001执行以实现上述实施例中的模型验证方法。
[0201]
在实际实现时，图10中的确定单元901、处理单元902以及获取单元903的功能均可以由图11中的处理器1001调用存储器1002中存储的计算机程序实现。其具体的执行过程可参考上实施例中的模型验证方法部分的描述，这里不再赘述。
[0202]
可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存储存储器(random access memory，ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0203]
在示例性实施例中，本技术实施例还提供了一种包括上述模型验证设备的车辆。
[0204]
在示例性实施例中，本技术实施例还提供了一种包括一条或多条指令的计算机程序产品，该一条或多条指令可以由模型验证设备的处理器1001执行以完成上述实施例中的模型验证方法。
[0205]
需要说明的是，上述计算机可读存储介质中的指令或计算机程序产品中的一条或多条指令被模型验证设备的处理器执行时实现上述模型验证方法实施例的各个过程，且能达到与上述模型验证方法相同的技术效果，为避免重复，这里不再赘述。
[0206]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全分类部或者部分功能。
[0207]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0208]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全分类部单元来实现本实施例方案的目的。
[0209]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0210]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全分类部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例方法的全分类部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0211]
以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种模型验证方法，其特征在于，所述方法包括：根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定所述目标车辆发生故障的故障预测时间，所述预设故障预测模型为基于弱监督学习训练得到的，所述第一历史时间段为所述目标车辆发生故障的故障发生时间之前的时间段；根据所述故障预测时间以及所述故障发生时间，验证所述预设故障预测模型的准确性是否满足预设需求。2.根据权利要求1所述的模型验证方法，其特征在于，所述根据所述故障预测时间以及所述故障发生时间，验证所述预设故障预测模型的准确性是否满足预设需求，包括：确定所述故障预测时间与所述故障发生时间之间的差值；在所述差值小于预设阈值的情况下，确定所述预设故障预测模型的准确性满足所述预设需求；在所述差值大于或等于所述预设阈值的情况下，确定所述预设故障预测模型的准确性不满足所述预设需求。3.根据权利要求1或2所述的模型验证方法，其特征在于，所述方法还包括：根据所述目标车辆的故障现场照片，确定所述故障现场照片的拍摄时刻；根据所述拍摄时刻确定所述故障发生时间。4.根据权利要求3所述的模型验证方法，其特征在于，所述根据所述拍摄时刻确定所述故障发生时间，包括：获取所述目标车辆在第二历史时间段内的运行信息，所述第二历史时间段为所述拍摄时刻之前的时间段；在所述第二历史时间段内的运行信息满足预设条件的情况下，将所述拍摄时刻确定所述故障发生时间。5.根据权利要求3所述的模型验证方法，其特征在于，所述故障现场照片上携带有时间水印；所述根据所述目标车辆的故障现场照片，确定所述故障现场照片的拍摄时刻，包括：基于文本识别技术识别所述时间水印，获取所述故障现场照片上的时间信息；根据所述时间信息指示的时刻，确定所述拍摄时刻。6.根据权利要求5所述的模型验证方法，其特征在于，所述根据时间信息指示的时刻，确定所述拍摄时刻，包括：在所述时间信息指示的时刻在上传时刻之前的情况下，将所述时间信息指示的时刻确定为所述拍摄时刻，所述上传时刻为救援人员在拍摄所述故障现场照片后上传系统的时刻。7.根据权利要求4所述的模型验证方法，其特征在于，在所述预设故障预测模型用于预测车辆发生亏电故障的故障预测时间的情况下，所述方法还包括：在所述第二历史时间段内的运行信息指示所述目标车辆在所述第二历史时间段内点火正常的情况下，确定所述第二历史时间段内的运行信息满足所述预设条件。8.根据权利要求4所述的模型验证方法，其特征在于，在所述预设故障预测模型用于预测车辆发生发动机故障的故障预测时间的情况下，所述方法还包括：在所述第二历史时间段内的运行信息指示所述目标车辆在所述第二历史时间段内发动机正常运行的情况下，确定所述第二历史时间段内的运行信息满足所述预设条件。
9.根据权利要求1或2所述的模型验证方法，其特征在于，在所述预设故障预测模型的准确性不满足所述预设需求的情况下，所述方法还包括：获取所述多个车辆中每个车辆在故障发生时间之前的第一历史时间段内的运行信息；将所述多个车辆中每个车辆在第一历史时间段内的运行信息作为特征，将所述多个车辆中每个车辆的故障发生时间作为标签，继续对所述预设故障预测模型进行训练。10.一种模型验证装置，其特征在于，包括确定单元以及处理单元；所述确定单元，用于根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定所述目标车辆发生故障的故障预测时间，所述预设故障预测模型为基于弱监督学习训练得到的，所述第一历史时间段为所述目标车辆发生故障的故障发生时间之前的时间段；所述处理单元，用于根据所述故障预测时间以及所述故障发生时间，验证所述预设故障预测模型的准确性是否满足预设需求。11.根据权利要求10所述的模型验证装置，其特征在于，所述处理单元，具体用于确定所述故障预测时间与所述故障发生时间之间的差值；在所述差值小于预设阈值的情况下，确定所述预设故障预测模型的准确性满足所述预设需求；在所述差值大于或等于所述预设阈值的情况下，确定所述预设故障预测模型的准确性不满足所述预设需求。12.一种模型验证设备，其特征在于，部署于车辆，包括存储器和处理器；所述存储器和所述处理器耦合；所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述处理器执行所述计算机指令时，所述模型验证设备执行如权利要求1-9中任意一项所述的模型验证方法。13.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在模型验证设备上运行时，使得所述模型验证设备执行如权利要求1-9中任意一项所述的模型验证方法。

技术总结
本申请涉及一种模型验证方法、装置、设备及存储介质，涉及计算机技术领域。该方法包括模型验证装置根据预设故障预测模型以及目标车辆在第一历史时间段内的运行信息，确定目标车辆发生故障的故障预测时间，预设故障预测模型为基于弱监督学习训练得到的，第一历史时间段为目标车辆发生故障的故障发生时间之前的时间段。进一步的，模型验证装置根据故障预测时间以及故障发生时间，验证预设故障预测模型的准确性是否满足预设需求。由此，实现了验证通过弱监督学习训练得到的模型的准确性。通过弱监督学习训练得到的模型的准确性。通过弱监督学习训练得到的模型的准确性。


技术研发人员：杨俱成 罗咏刚 谭瑞
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2023.05.22
技术公布日：2023/8/9