地理样本数据质量评估方法、设备及存储介质与流程

1.本发明涉及地理人工智能技术领域，尤其涉及一种地理样本数据质量评估方法、设备及存储介质。


背景技术：

2.目前，主流的地理人工智能算法大部分是数据驱动型算法，其关键部分是训练数据，或被称为样本数据。虽然人工智能算法的特征学习过程一般具有鲁棒性，可以在使用带有一定噪声或错误的样本数据的情况下构建出可用的模型。但是样本数据的质量，如数据分布不均衡和样本标签错误等，仍会在一定程度上降低人工智能模型的性能，从而影响最终输出产品的质量。在做出数据驱动的人工智能决策时，获取可验证的和具有良好质量控制的样本数据非常重要。样本数据质量信息有助于潜在的数据用户决定是否使用样本数据以及如何使用样本数据，并支持以此为基础的预测结果误差分析。提供样本数据质量信息还可以提高样本数据的可信度，以增加样本数据重用的机会。因此，在地理人工智能样本数据共享的过程中需要特别关注其质量评估和质量描述。
3.然而，现有的地理人工智能样本数据质量评估体系完整度不高、适用性差、可扩展能力弱的不足，需要面向像素级、对象级、场景级等不同应用层级的样本数据质量需求，研究出更可靠地地理人工智能样本质量评估方法。


技术实现要素：

4.为解决上述现有技术中存在的技术问题，本发明的目的在于提供一种的地理样本数据质量评估方法、设备及存储介质，能满足多应用层级地理人工智能样本数据的质量评估需求，为地理人工智能样本数据的质量评估提供系统性参考，从而帮助提高样本数据的可靠性。
5.为实现上述发明目的，本发明提供一种地理样本数据质量评估方法，包括以下步骤：
6.步骤s1、分析多应用层级的地理人工智能样本数据的质量特征，建立多应用层级的样本数据质量指标体系；
7.步骤s2、确定进行质量评估的地理人工智能样本数据集的特征与质量规范；
8.步骤s3、确定进行质量评估的地理人工智能样本数据集的质量评估规范；
9.步骤s4、执行地理人工智能样本数据质量评估，获取质量评估结果；
10.步骤s5、基于步骤s4得到的质量评估结果，生成地理人工智能样本数据质量评估报告；
11.其中，多应用层级至少包括场景级、对象级和像素级。
12.根据本发明的一个方面，还包括：
13.步骤s6、对所述步骤s2至步骤s5的质量评估过程进行监控，生成反馈信息；
14.步骤s7、利用反馈信息，对质量评估的算法、模型、工具、协议、以及各个质量指标
的评估优先级进行改进。
15.根据本发明的一个方面，在所述步骤s1中，所述质量指标体系包括完整性、逻辑一致性、主题精度、位置精度、时间质量、以及可用性六个质量维度。
16.根据本发明的一个方面，所述地理人工智能样本数据质量评估报告至少包括：地理人工智能样本数据集描述信息、质量评估元数据信息、质量评估方法信息、质量评估结果信息、以及帮助理解和使用质量信息的过程和方法的信息。
17.根据本发明的一个方面，在所述步骤s1中，
18.所述场景级地理人工智能样本数据质量指标体系包括：
19.完整性维度的场景类别标注缺失指标、场景类别标注冗余指标；
20.逻辑一致性维度的影像尺寸信息一致性指标、影像格式信息一致性指标、影像波段信息一致性指标；
21.主题精度维度的场景标注类别精度指标、样本属性精度指标；
22.位置精度维度的样本空间位置精度指标；
23.时间质量维度的样本时间精度指标、样本时间有效性指标；
24.可用性维度的场景类别平衡度指标；
25.所述对象级地理人工智能样本数据质量指标体系，包括：
26.完整性维度的对象类别标注缺失指标、对象类别标注冗余指标、对象位置标注缺失指标、对象位置标注冗余指标；
27.逻辑一致性维度额影像尺寸信息一致性指标、影像格式信息一致性指标、影像波段信息一致性指标、对象位置标注格式一致性指标、对象位置标注拓扑一致性指标；
28.主题精度维度的对象标注类别精度指标、样本属性精度指标；
29.位置精度维度的样本空间位置精度指标、对象标注位置偏移度指标、对象标注位置重叠度指标；
30.时间质量维度的样本时间精度指标、样本时间有效性指标；
31.可用性维度的对象类别平衡度指标；
32.所述像素级地理人工智能样本数据质量指标体系，包括：
33.完整性维度的像素类别标注缺失指标、像素类别标注冗余指标；
34.逻辑一致性维度的影像尺寸信息一致性指标、影像格式信息一致性指标、影像波段信息一致性指标、影像对尺寸信息一致性指标、影像对空间信息一致性指标、标注图像尺寸一致性指标、标注图像格式一致性指标；
35.主题精度维度的像素标注类别精度指标、样本属性精度指标；
36.位置精度维度的样本空间位置精度指标；
37.时间质量维度的样本时间精度指标、样本时间有效性指标、影像对时间一致性指标；
38.可用性维度的像素类别平衡度指标。
39.根据本发明的一个方面，在所述步骤s2中，具体包括：
40.步骤s21、检测地理人工智能样本数据集的元数据是否完整以及样本数据集是否能顺利通过元数据进行发现和访问；
41.步骤s22、通过地理人工智能样本数据集的元数据分析样本数据集服务于的具体
应用任务类型；
42.步骤s23、基于样本数据集的具体应用任务类型，判断样本数据集的应用层级属于场景级、对象级或像素级，以及判断样本数据集中标注的类型属于场景标注、对象标注或像素标注；
43.步骤s24、确定地理人工智能样本数据集的质量评估目的并进行记录；
44.步骤s25、基于质量评估目的，确定样本数据集所需评估的质量维度和相应的质量指标，并对待评估的质量指标进行优先级排序。
45.根据本发明的一个方面，在所述步骤s3中，具体包括：
46.步骤s31、基于地理人工智能样本数据集的应用层级，确定质量评估单元，
47.其中，所述质量评估单元包括：以区域为质量评估单元、以对象为质量评估单元、还是以像素为质量评估单元；
48.步骤s32、分析质量评估单元的地理人工智能样本数据集，选择相应的算法或模型评估样本数据集对应的质量指标；
49.步骤s33、对地理人工智能样本数据集中需要评估的质量指标的属性和质量维度、质量评估优先级的设定、以及选择的评估方法或模型和相应的理由进行描述和记录。
50.根据本发明的一个方面，在所述步骤s32中，对数据量较少的样本数据集采用全检测法，对于数据量较大的样本数据集采用进行抽样检测法。
51.根据本发明的一个方面，在所述步骤s4中，具体包括：
52.步骤s41、获取抽样样本数据单元或全部样本数据单元到质量评估样本数据子集；
53.步骤s42、确定每个抽样样本数据单元或全部样本数据单元对应的真实值或参考数据，包括以下几种途径：室内人工解译、现有的空间数据产品、以及现场收集的数据；
54.步骤s43、若所述步骤s32中采用抽样检测法，则基于抽样样本数据单元和参考数据估计总体样本数据集的相关质量评估结果；若所述步骤s32中采用全检测法，则基于全部样本数据单元和参考数据得到总体样本数据集的相关质量评估结果。
55.根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种地理样本数据质量评估方法。
56.根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种地理样本数据质量评估方法。
57.本发明提出了一种地理样本数据质量评估方法、设备及存储介质，首先分析不同应用层级的地理人工智能样本数据质量信息需求，针对像素级、目标级、场景级数据建立地理人工智能样本数据质量指标体系；其次面向地理人工智能样本数据的共享和互操作，提出了规范化和科学化的地理人工智能样本数据质量评估流程。本发明，能够满足像素级、目标级、场景级多应用层级的地理人工智能样本数据的质量评估需求，为地理人工智能样本数据的质量评估提供系统性参考，从而帮助提高样本数据的可靠性。
附图说明
58.为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
59.图1示意性表示根据本发明一个实施例中提供的地理样本数据质量评估方法流程图；
60.图2示意性表示根据本发明一种实施方式的地理人工智能样本数据质量评估总体过程图；
61.图3示意性表示根据本发明一种实施方式的场景级地理人工智能样本数据质量指标体系图；
62.图4示意性表示根据本发明一种实施方式的对象级地理人工智能样本数据质量指标体系图；
63.图5示意性表示根据本发明一种实施方式的像素级地理人工智能样本数据质量指标体系图；
64.图6示意性表示根据本发明一种实施方式的地理人工智能样本数据质量评估流程图。
具体实施方式
65.此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
66.此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
67.如图1、图2和图6所示，本发明的一种地理样本数据质量评估方法，包括以下步骤：
68.步骤s1、分析多应用层级的地理人工智能样本数据的质量特征，建立多应用层级的样本数据质量指标体系；
69.步骤s2、确定进行质量评估的地理人工智能样本数据集的特征与质量规范；
70.步骤s3、确定进行质量评估的地理人工智能样本数据集的质量评估规范；
71.步骤s4、执行地理人工智能样本数据质量评估，获取质量评估结果；
72.步骤s5、基于步骤s4得到的质量评估结果，生成地理人工智能样本数据质量评估报告；
73.其中，多应用层级至少包括场景级、对象级和像素级。
74.在该实施例中，针对包括像素级、目标级、场景级的不同应用层级的地理人工智能样本数据进行质量评估，分析不同应用层级的地理人工智能样本数据质量信息需求，建立地理人工智能样本数据质量指标体系；面向地理人工智能样本数据的共享和互操作，提升
质量评估结果的透明度和可信度，提出规范化和科学化的地理人工智能样本数据质量评估流程，能满足多应用层级地理人工智能样本数据的质量评估需求，为地理人工智能样本数据的质量评估提供系统性参考，从而帮助提高样本数据的可靠性。
75.具体地说，首先，通过分析多应用层级的地理人工智能样本数据的质量特征，建立不同应用层级的样本数据质量指标体系，然后根据需求确定进行质量评估的地理人工智能样本数据集的特征与质量规范，其目的在于确定样本数据集所需评估的质量维度和相应的质量指标并排序，再确定进行质量评估的地理人工智能样本数据集的质量评估规范，其目的在于确定用于评估样本数据集对应的质量指标的具体算法或模型；最后，以基于步骤s2和步骤s3，执行地理人工智能样本数据质量评估，获取质量评估结果并生成相应的质量评估报告，完成多应用层级的地理人工智能样本数据质量评估。
76.如图1、图2和图6所示，根据本发明的一个实施例中，优选地，还包括：
77.步骤s6、对步骤s2至步骤s5的质量评估过程进行监控，生成反馈信息；
78.步骤s7、利用反馈信息，对质量评估的算法、模型、工具、协议、以及各个质量指标的评估优先级进行改进。
79.在该实施例中，在执行步骤s2至步骤s5时，对上述过程进行完整的监控，基于监控的过程生成反馈信息，利用反馈信息对上述步骤进行修正与改进，从而逐渐完善整个评价过程，其中，对于算法、模型、工具、协议的修改进属于对步骤s3的改进，对于各个质量指标的评估优先级的改进属于对步骤s2的改进。
80.根据本发明的一个方面，在步骤s1中，质量指标体系包括完整性、逻辑一致性、主题精度、位置精度、时间质量、以及可用性六个质量维度。
81.在该实施例中，对多应用层级提出包括六个质量维度的述质量指标体系，包括完整性、逻辑一致性、主题精度、位置精度、时间质量、以及可用性，再基于六个质量维度提出各个样本数据质量指标，从而实现对样本数据的可靠性评价。
82.根据本发明的一个实施例中，优选地，地理人工智能样本数据质量评估报告至少包括：地理人工智能样本数据集描述信息、质量评估元数据信息、质量评估方法信息、质量评估结果信息、以及帮助理解和使用质量信息的过程和方法的信息。
83.根据本发明的一个实施例中，优选地，在步骤s1中，
84.如图3所示，场景级地理人工智能样本数据质量指标体系包括：
85.完整性维度的场景类别标注缺失指标、场景类别标注冗余指标；
86.逻辑一致性维度的影像尺寸信息一致性指标、影像格式信息一致性指标、影像波段信息一致性指标；
87.主题精度维度的场景标注类别精度指标、样本属性精度指标；
88.位置精度维度的样本空间位置精度指标；
89.时间质量维度的样本时间精度指标、样本时间有效性指标；
90.可用性维度的场景类别平衡度指标；
91.如图4所示，对象级地理人工智能样本数据质量指标体系，包括：
92.完整性维度的对象类别标注缺失指标、对象类别标注冗余指标、对象位置标注缺失指标、对象位置标注冗余指标；
93.逻辑一致性维度额影像尺寸信息一致性指标、影像格式信息一致性指标、影像波
段信息一致性指标、对象位置标注格式一致性指标、对象位置标注拓扑一致性指标；
94.主题精度维度的对象标注类别精度指标、样本属性精度指标；
95.位置精度维度的样本空间位置精度指标、对象标注位置偏移度指标、对象标注位置重叠度指标；
96.时间质量维度的样本时间精度指标、样本时间有效性指标；
97.可用性维度的对象类别平衡度指标；
98.如图5所示，像素级地理人工智能样本数据质量指标体系，包括：
99.完整性维度的像素类别标注缺失指标、像素类别标注冗余指标；
100.逻辑一致性维度的影像尺寸信息一致性指标、影像格式信息一致性指标、影像波段信息一致性指标、影像对尺寸信息一致性指标、影像对空间信息一致性指标、标注图像尺寸一致性指标、标注图像格式一致性指标；
101.主题精度维度的像素标注类别精度指标、样本属性精度指标；
102.位置精度维度的样本空间位置精度指标；
103.时间质量维度的样本时间精度指标、样本时间有效性指标、影像对时间一致性指标；
104.可用性维度的像素类别平衡度指标。
105.如图6所示，根据本发明的一个实施例中，优选地，在步骤s2中，具体包括：
106.步骤s21、检测地理人工智能样本数据集的元数据是否完整以及样本数据集是否能顺利通过元数据进行发现和访问；
107.步骤s22、通过地理人工智能样本数据集的元数据分析样本数据集服务于的具体应用任务类型；
108.步骤s23、基于样本数据集的具体应用任务类型，判断样本数据集的应用层级属于场景级、对象级或像素级，以及判断样本数据集中标注的类型属于场景标注、对象标注或像素标注；
109.步骤s24、确定地理人工智能样本数据集的质量评估目的并进行记录；
110.步骤s25、基于质量评估目的，确定样本数据集所需评估的质量维度和相应的质量指标，并对待评估的质量指标进行优先级排序。
111.在该实施例中，首先需要确定样本数据集的元数据的完整性，以及样本数据集是否能顺利通过元数据进行发现和访问，如不完整或无法访问则需补充与发布元数据信息；通过元数据分析样本数据集服务于的具体应用任务类型，应用服务类型包括用于场景分类(对应场景级应用层级)、目标检测(对应对象级应用层级)或语义分割任务(对应像素级应用层级)，根据具体应用任务类型能够判断样本数据集的应用层级，从而确定样本数据集中标注的类型属于场景标注(对应场景级应用层级)、对象标注(对应对象级应用层级)或像素标注(对应像素级应用层级)；基于质量评估目的，确定样本数据集所需评估的质量维度和相应的质量指标，并对待评估的质量指标进行优先级排序。
112.如图6所示，根据本发明的一个实施例中，优选地，在步骤s3中，具体包括：
113.步骤s31、基于地理人工智能样本数据集的应用层级，确定质量评估单元，
114.其中，质量评估单元包括：以区域为质量评估单元(对应场景级应用层级)、以对象为质量评估单元(对应对象级应用层级)、还是以像素为质量评估单元(对应像素级应用层
级)；
115.步骤s32、分析质量评估单元的地理人工智能样本数据集，选择相应的算法或模型评估样本数据集对应的质量指标；
116.步骤s33、对地理人工智能样本数据集中需要评估的质量指标的属性和质量维度、质量评估优先级的设定、以及选择的评估方法或模型和相应的理由进行描述和记录，以保证样本数据集质量评估流程的可复现性。
117.根据本发明的一个实施例中，优选地，在步骤s32中，对数据量较少的样本数据集采用全检测法，对于数据量较大的样本数据集采用进行抽样检测法。
118.在该实施例中，通常在进行人工智能样本数据评估前，定义数据集中数据量阈值，在数据集中数据量大于数据量阈值时，认为数据量较大，则对该样本数据集采用抽样检测法，包括但不限于概率抽样方法和非概率抽样方法；在数据集中数据量小于或等于数据量阈值时，认为数据量较小，则对该样本数据集采用全检测法，有利于样本数据质量评估的高效性。
119.如图6所示，根据本发明的一个实施例中，优选地，在步骤s4中，具体包括：
120.步骤s41、获取抽样样本数据单元或全部样本数据单元到质量评估样本数据子集；
121.步骤s42、确定每个抽样样本数据单元或全部样本数据单元对应的真实值或参考数据，包括以下几种途径：室内人工解译、现有的空间数据产品、以及现场收集的数据；
122.步骤s43、若步骤s32中采用抽样检测法，则基于抽样样本数据单元和参考数据估计总体样本数据集的相关质量评估结果；若步骤s32中采用全检测法，则基于全部样本数据单元和参考数据得到总体样本数据集的相关质量评估结果。
123.根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项的一种地理样本数据质量评估方法。
124.根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，计算机指令被处理器执行时，实现如上述技术方案中任一项一种地理样本数据质量评估方法。
125.本发明的一种地理样本数据质量评估方法、设备及存储介质，地理样本数据质量评估方法包括：步骤s1、分析多应用层级的地理人工智能样本数据的质量特征，建立多应用层级的样本数据质量指标体系；步骤s2、确定进行质量评估的地理人工智能样本数据集的特征与质量规范；步骤s3、确定进行质量评估的地理人工智能样本数据集的质量评估规范；步骤s4、执行地理人工智能样本数据质量评估，获取质量评估结果；步骤s5、基于步骤s4得到的质量评估结果，生成地理人工智能样本数据质量评估报告；首先分析不同应用层级的地理人工智能样本数据质量信息需求，针对像素级、目标级、场景级数据建立地理人工智能样本数据质量指标体系；其次面向地理人工智能样本数据的共享和互操作，提出了规范化和科学化的地理人工智能样本数据质量评估流程，能满足像素级、目标级、场景级多应用层级的地理人工智能样本数据的质量评估需求，为地理人工智能样本数据的质量评估提供系统性参考，从而帮助提高样本数据的可靠性。
126.此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
127.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
128.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
129.还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
130.最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

技术特征：
1.一种地理样本数据质量评估方法，其特征在于，包括以下步骤：步骤s1、分析多应用层级的地理人工智能样本数据的质量特征，建立多应用层级的样本数据质量指标体系；步骤s2、确定进行质量评估的地理人工智能样本数据集的特征与质量规范；步骤s3、确定进行质量评估的地理人工智能样本数据集的质量评估规范；步骤s4、执行地理人工智能样本数据质量评估，获取质量评估结果；步骤s5、基于所述步骤s4得到的质量评估结果，生成地理人工智能样本数据质量评估报告；其中，多应用层级至少包括场景级、对象级和像素级。2.根据权利要求1所述的地理样本数据质量评估方法，其特征在于，还包括：步骤s6、对所述步骤s2至步骤s5的质量评估过程进行监控，生成反馈信息；步骤s7、利用反馈信息，对质量评估的算法、模型、工具、协议、以及各个质量指标的评估优先级进行改进。3.根据权利要求1所述的地理样本数据质量评估方法，其特征在于，在所述步骤s1中，所述质量指标体系包括完整性、逻辑一致性、主题精度、位置精度、时间质量、以及可用性六个质量维度。4.根据权利要求1所述的地理样本数据质量评估方法，其特征在于，所述地理人工智能样本数据质量评估报告至少包括：地理人工智能样本数据集描述信息、质量评估元数据信息、质量评估方法信息、质量评估结果信息、以及帮助理解和使用质量信息的过程和方法的信息。5.根据权利要求3所述的地理样本数据质量评估方法，其特征在于，在所述步骤s1中，所述场景级地理人工智能样本数据质量指标体系包括：完整性维度的场景类别标注缺失指标、场景类别标注冗余指标；逻辑一致性维度的影像尺寸信息一致性指标、影像格式信息一致性指标、影像波段信息一致性指标；主题精度维度的场景标注类别精度指标、样本属性精度指标；位置精度维度的样本空间位置精度指标；时间质量维度的样本时间精度指标、样本时间有效性指标；可用性维度的场景类别平衡度指标；所述对象级地理人工智能样本数据质量指标体系，包括：完整性维度的对象类别标注缺失指标、对象类别标注冗余指标、对象位置标注缺失指标、对象位置标注冗余指标；逻辑一致性维度额影像尺寸信息一致性指标、影像格式信息一致性指标、影像波段信息一致性指标、对象位置标注格式一致性指标、对象位置标注拓扑一致性指标；主题精度维度的对象标注类别精度指标、样本属性精度指标；位置精度维度的样本空间位置精度指标、对象标注位置偏移度指标、对象标注位置重叠度指标；时间质量维度的样本时间精度指标、样本时间有效性指标；可用性维度的对象类别平衡度指标；
所述像素级地理人工智能样本数据质量指标体系，包括：完整性维度的像素类别标注缺失指标、像素类别标注冗余指标；逻辑一致性维度的影像尺寸信息一致性指标、影像格式信息一致性指标、影像波段信息一致性指标、影像对尺寸信息一致性指标、影像对空间信息一致性指标、标注图像尺寸一致性指标、标注图像格式一致性指标；主题精度维度的像素标注类别精度指标、样本属性精度指标；位置精度维度的样本空间位置精度指标；时间质量维度的样本时间精度指标、样本时间有效性指标、影像对时间一致性指标；可用性维度的像素类别平衡度指标。6.根据权利要求5所述的地理样本数据质量评估方法，其特征在于，在所述步骤s2中，具体包括：步骤s21、检测地理人工智能样本数据集的元数据是否完整以及样本数据集是否能顺利通过元数据进行发现和访问；步骤s22、通过地理人工智能样本数据集的元数据分析样本数据集服务于的具体应用任务类型；步骤s23、基于样本数据集的具体应用任务类型，判断样本数据集的应用层级属于场景级、对象级或像素级，以及判断样本数据集中标注的类型属于场景标注、对象标注或像素标注；步骤s24、确定地理人工智能样本数据集的质量评估目的并进行记录；步骤s25、基于质量评估目的，确定样本数据集所需评估的质量维度和相应的质量指标，并对待评估的质量指标进行优先级排序。7.根据权利要求6所述的地理样本数据质量评估方法，其特征在于，在所述步骤s3中，具体包括：步骤s31、基于地理人工智能样本数据集的应用层级，确定质量评估单元，其中，所述质量评估单元包括：以区域为质量评估单元、以对象为质量评估单元、还是以像素为质量评估单元；步骤s32、分析质量评估单元的地理人工智能样本数据集，选择相应的算法或模型评估样本数据集对应的质量指标；步骤s33、对地理人工智能样本数据集中需要评估的质量指标的属性和质量维度、质量评估优先级的设定、以及选择的评估方法或模型和相应的理由进行描述和记录；在所述步骤s32中，对数据量较少的样本数据集采用全检测法，对于数据量较大的样本数据集采用抽样检测法。8.根据权利要求7所述的地理样本数据质量评估方法，其特征在于，在所述步骤s4中，具体包括：步骤s41、获取抽样样本数据单元或全部样本数据单元到质量评估样本数据子集；步骤s42、确定每个抽样样本数据单元或全部样本数据单元对应的真实值或参考数据，包括以下几种途径：室内人工解译、现有的空间数据产品、以及现场收集的数据；步骤s43、若所述步骤s32中采用抽样检测法，则基于抽样样本数据单元和参考数据估计总体样本数据集的相关质量评估结果；若所述步骤s32中采用全检测法，则基于全部样本
数据单元和参考数据得到总体样本数据集的相关质量评估结果。9.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如权利要求1至8中任一项所述的地理样本数据质量评估方法。10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1至8中任一项所述的地理样本数据质量评估方法。

技术总结
本发明涉及一种地理样本数据质量评估方法、设备及存储介质，地理样本数据质量评估方法包括：分析多应用层级的地理人工智能样本数据的质量特征，建立多应用层级的样本数据质量指标体系；确定进行质量评估的地理人工智能样本数据集的特征与质量规范；确定进行质量评估的地理人工智能样本数据集的质量评估规范；执行地理人工智能样本数据质量评估，获取质量评估结果；基于质量评估结果，生成地理人工智能样本数据质量评估报告。本发明，能够满足像素级、目标级、场景级多应用层级的地理人工智能样本数据的质量评估需求，为地理人工智能样本数据的质量评估提供系统性参考，从而帮助提高样本数据的可靠性。样本数据的可靠性。样本数据的可靠性。


技术研发人员：上官博屹 贺广均 冯鹏铭 金世超 符晗 陈千千 常江 梁颖
受保护的技术使用者：北京卫星信息工程研究所
技术研发日：2023.04.18
技术公布日：2023/7/20