一种基于不确定性感知的图像分类模型回归误差消减方法

1.本发明涉及一种基于不确定性感知的图像分类模型回归误差消减方法，属于面向图像分类模型更新过程中图像分类模型向前兼容性优化技术领域。


背景技术：

2.当前图像分类模型在生活的各个场景中都已开展了广泛的应用，如人脸识别、无人驾驶、拍照搜索等。作为这些现代软件系统中的关键组件，图像分类模型也同这些传统软件一样，经历着持续的更新，以求向用户提供更好的服务。
3.但图像分类模型的不断更新也可能会引入回归误差，即总存在部分图像样本，其预测在旧版本图像分类模型中是正确的，但在新版本图像分类模型中是错误的。回归误差的存在破坏了新模型的向前兼容性。对于图像分类模型，大多基于深度神经网络(dnn)的架构，由于dnn是一种不确定性模型，因此在更新后产生的回归误差是不可避免的。例如，对于同一个图像分类模型和同一个图像数据集，在其他各项参数都保持相同的情况下，分别对这个模型进行两次独立的训练，尽管图像分类模型在两次训练后的预测准确率是相近的，但是模型所能正确预测的图像样本是不完全相同的。
4.图像分类模型中回归误差的普遍存在，对生产实践和用户体验都会带来破坏性影响。例如，照片搜索app的更新导致搜索结果与过往不同，导致该app在应用商店中评分下降；对x射线图像进行医学分类的模型，在更新后容易误判的图像样本发生了改变，导致医生需要重新适应。诸如此类的问题反映了对图像分类模型更新后出现的回归误差，导致模型向前兼容性下降，对用户体验造成了不好的影响。
5.目前对图像分类模型的回归误差消减工作仍存在许多不足。一方面，现有的模型训练技术在图像数据更新或模型架构更新时，无法保证训练后新图像分类模型对旧图像分类模型的向前兼容性，无法满足业务应用要求；另一方面，现有的回归误差消减技术，会导致图像分类模型的性能下降，实用效果较差，无法满足业务应用要求。


技术实现要素：

6.发明目的：针对现有的技术在图像数据更新或图像分类模型架构更新时新图像分类模型向前兼容性差和性能下降的问题，本发明提供一种基于不确定性感知的图像分类模型回归误差消减的轻量级应用技术，从图像分类模型不确定性分析的视角，采用集成的方法，使得在图像分类模型更新的应用场景下，减少图像分类模型的回归误差，并保障图像分类模型表现效果的下界。
7.技术方案：一种基于不确定性感知的图像分类模型回归误差消减方法，以支持减少图像分类模型更新过程中产生的回归误差，兼顾图像分类模型的向前兼容性和表现性能；包括1)图像分类模型更新时，分别独立训练得到图像分类的旧模型和新模型；2)对于无数据的情形，采用图像扰动或模型扰动的策略来估计图像分类模型的不确定性；3)对于拥有少量无标签数据的情形，采用温度缩放的策略校准旧模型的不确定性；4)使用简单平均
的模型集成方法得到集成模型。
8.所述1)中，图像分类模型更新的原因通常有如下两种：(1)收集到更多的图像数据用于模型训练。例如，为用户提供拍照搜索服务的app，在提供服务的同时收集到了更多的图像数据，这些图像数据可以用于对模型更新的训练；(2)更新了图像分类模型的底层神经网络架构。例如，网络vgg架构是近十年前流行使用的图像分类模型，而resnet等新的网络架构被证明可以提供更高的准确性，因此需要进行升级。在这两种原因导致的模型更新时，我们都需要对旧模型和新模型分别在对应的图像数据集上采用相应的网络架构独立地进行训练，训练得到的新模型用于更新原本的旧模型。但模型更新后，也会不可避免地带来回归误差。例如，将resnet-50模型更新为densenet-169模型，在imageclef图像数据集上，回归误差高达9.44％。对于图像数据集d，其中旧模型预测正确而新模型预测错误的样本，被称作回归误差(regression error)。
9.考虑一种模型更新时的常见情况，由于图像数据隐私或专有限制，无法确定模型训练所使用的图像数据集，此时对模型的不确定性进行分析采用的策略是图像扰动或模型扰动。
10.所述2)中，在没有额外数据可用来减少图像分类模型回归错误时，通过估计每个图像输入样本的预测方差来调整旧模型和新模型的不确定性。对于相似的图像输入，图像分类模型应产生相似的预测输出，因此对于相似的图像输入，预测方差越大的模型其不确定性也越大，这便是图像扰动。同理，对于同一输入，图像分类模型发生微小改变后的预测方差越大，则模型的不确定性也越大，这便是模型扰动。
11.基于这样的结论，可以得到两种引入扰动的方式：
12.(1)通过随机噪声扰动输入图像；
13.(2)通过图像分类模型中加入dropout扰动模型。
14.旧模型记为m
old
，新模型记为m
new
，对于输入图像x，旧模型的预测输出记为新模型的预测输出记为通过这图像扰动或模型扰动的方式，分别计算旧模型和新模型的预测方差和
15.对于输入图像x，定义如下的缩放系数α1(x)和α2(x)：
[0016][0017][0018]
根据输入数据x，使用计算得到的缩放系数α1(x)和α2(x)来调整模型预测值，实现预测值的逐点缩放，调整后旧模型和新模型的预测分别为：
[0019][0020][0021]
经过这种缩放后的简单平均相当于逆方差加权，当m
old
和m
new
之间无相关性时，将达到最低方差。此时，集成模型的预测输出即为对调整后模型预测进行简单平均：
[0022]
[0023]
所述3)中，在可以获得部分无标记数据用来减少图像分类模型回归错误时，此时使用温度缩放(temperature-scaling)技术可以更好地处理回归错误。温度缩放是一种简单但有效的技术，可以用于置信度校准，做法是在神经网络的softmax层之前将softmax层的输入logitzm除以标量t(称作温度)，即：
[0024][0025]
其中表示模型m在温度t下的预测输出，对于使用温度t的模型记为m
(t)
。温度缩放的特性是不会改变softmax输出的最大值所在类别，因此保留了模型的预测。根据这一特性，模型m
(t)
和模型m的预测结果是完全一致的。
[0026]
均方误差(mse，mean squared error)可以用来表示模型预测值与真实标签之间的差距，故mse(m)在一定层面上反应了模型m的不确定性，即模型预测值与真实标签之间的差距越大，其对应的均方误差mse也就越大，也就说明了该模型的不确定性越大。而对于图像分类模型更新的场景而言，旧模型往往是具有更大的不确定性的，这也是进行模型更新的原因。因此，需要对图像分类的旧模型m
old
进行温度缩放得到降低其模型不确定性，并使其不确定性近似等于新模型的不确定性，通过这种操作，对齐了新旧模型的不确定性，然后通过简单平均的集成方法就能得到具有最好表现效果的集成模型
[0027]
注意到通过使用均方误差mse来衡量模型不确定性，因此只需要实现：
[0028][0029]
为了实现上述目标，使用了一小组不带标记的图像数据来解决。具体地，在这组不带标记的图像数据上，对旧模型进行温度缩放得到并求解最佳的温度t
*
使得对于最佳温度t
*
的求解，使用到了具有多个初始点的拟牛顿法l-bfgs进行求解。
[0030]
值得注意的是，上述方法中只需要在旧模型第一次进行预测前，使用这组不带标记的图像数据求解得到最佳的温度值t
*
。对于之后的输入，每次都是使用这个温度值t
*
而无需改变，然后通过下面的表达式得到集成模型的预测输出
[0031][0032]
其中，表示温度缩放后旧模型的预测概率分布，表示新模型的预测概率分布。注意到最佳温度值t
*
只需要计算一次，因此该方法也是高效可行的。
[0033]
所述4)中，简单平均的模型集成方法是对多个模型的预测结果取平均，对于图像分类模型的回归误差问题中的新旧模型具体而言，是指将旧模型及新模型对输入数据的预测概率分布进行简单平均。
[0034]
在所述2)和所述3)中，给出了无数据和拥有少量无标签数据两种情形下的不确定性分析方法，并且通过缩放系数或温度缩放技术，分别对旧模型和新模型的预测进行了一定的调整。记调整后旧模型的预测为以及调整后新模型的预测为此时通过对这两个预测做简单平均便能得到我们所期望的兼具向前兼容性和表现性能的集成
模型的预测
[0035][0036]
1)图像分类模型更新时，分别独立训练得到旧模型和新模型。注意，新旧模型的训练是独立进行的，可能使用不同的图像数据集和深度神经网络架构。采用如下的流程训练旧模型和新模型：
[0037]
101)构建模型架构，并随机初始化模型参数；
[0038]
102)按批读取图像训练数据集，并输入给模型；
[0039]
103)计算模型预测值与真实标签值的交叉熵(cross-entropy)，得到模型的损失loss；
[0040]
104)采用误差反向传播算法，根据损失loss更新模型各神经网络层参数；
[0041]
105)训练模型，直至模型收敛，得到训练好的模型。
[0042]
对图像分类的新旧模型进行不确定性分析，根据不同情形可分别采用2)中无数据情形下的不确定性分析流程或3)中拥有少量无标签数据情形下的不确定性分析流程。
[0043]
2)在无数据情形下的不确定性分析实现流程如下：
[0044]
201)给旧模型(m
old
)和新模型(m
new
)输入相同的图像数据(x)，分别得到对应的预测输出和
[0045]
202)通过图像扰动或模型扰动的方式，评估模型的不确定性；
[0046]
2021)对于图像扰动的方式：
[0047]
i)根据图像输入x通过加入随机噪声(例如，常采用高斯噪声)产生与x相近的一组图像输入x
1,
…
,n
；
[0048]
ii)将这组图像输入x
1,
…
,n
同时输入给m
old
和m
new
，分别得到旧模型和新模型产生的对应的预测输出，计算预测输出的方差和
[0049]
2022)对于模型扰动的方式：
[0050]
i)对旧模型m
old
和新模型m
new
通过设置网络dropout来随机丢弃部分神经元的输出，以产生与旧模型对应的一组相似的随机模型和与新模型对应的一组相似的随机模型
[0051]
ii)将图像输入x同时输入给和分别得到和产生的一组预测输出，计算预测输出的方差和
[0052]
203)根据图像扰动或模型扰动得到新旧模型预测方差，分别计算旧模型和新模型的缩放系数α1(x)和α2(x)，计算公式为：
[0053][0054][0055]
204)根据缩放系数，得到通过缩放系数调整后旧模型和新模型关于图像输入x的预测输出：
[0056][0057][0058]
3)在拥有少量无标签数据情形下的不确定性分析实现流程如下：
[0059]
301)给定旧模型(m
old
)，新模型(m
new
)，一小组未标记的图像数据集d，和待预测的图像输入x，分别得到对应的预测输出和
[0060]
302)判断在数据集d上，是否已经计算了最佳温度t
*
：
[0061]
i)若是，则跳转304)执行；
[0062]
ii)若否，则跳转303)执行；
[0063]
303)在数据集d上，根据使用具有多个初始点的拟牛顿法l-bfgs，求解得到最佳温度t
*
；
[0064]
304)采用温度缩放技术，使用最佳温度t
*
缩放m
old
的logit得到温度缩放调整后的旧模型m
old
的预测输出：
[0065][0066]
305)新模型m
new
的预测输出无需使用温度缩放，故保持不变。
[0067]
4)根据对新旧模型不确定性分析结果，对新旧模型预测输出集成，实现流程如下：
[0068]
401)经过不确定性分析后(经过流程2或3)旧模型和新模型的预测输出分别记作，和
[0069]
402)通过不确定性分析，使得旧模型和新模型的第二层不确定性保持一致，此时可通过简单平均的方式，得到符合需要的集成预测输出
[0070][0071]
403)即为集成旧模型m
old
和新模型m
new
后，对图像输入x产生的预测输出。
[0072]
404)最终，集成模型对输入x预测的分类类别为集成预测输出中具有最大值的索引类别(1,
…
,k)，即：
[0073][0074]
与现有技术方案相比，本发明具有以下特点：
[0075]
1)使用模型集成的方法，解决图像分类模型更新带来的回归误差，能够有效地实现模型的向前兼容性和表现性能的兼顾；
[0076]
2)从深度神经网络的不确定性视角，给出了一套完整和有效的方法分析和量化深度神经网络的不确定性；
[0077]
3)针对生产实践中图像分类模型更新的实际情况，提出了两套解决方案，在无数据和拥有少量无标签数据的情形下，都能有效的解决问题；
[0078]
4)本方法具有高效性、轻量级、通用性的特点，该流程无需使用大量图像数据，整套流程快速高效、及时性强，具有应用价值。
附图说明
[0079]
图1为本发明实施例的整体执行流程图；
[0080]
图2为本发明实施例提供的在无数据情形下对新旧模型进行不确定性分析的流程图；
[0081]
图3为本发明实施例提供的在拥有部分未标记数据情形下对新旧模型进行不确定性分析的流程图；
[0082]
图4为本发明实施例提供的通过图像扰动和模型扰动计量模型不确定性的流程图。
具体实施方式
[0083]
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0084]
图1描述了本发明整体执行流程图，强调了本发明是基于不确定性感知的减少图像分类模型回归错误的技术，主要采用的方法是模型集成，包含旧模型和新模型两部分。而图2和图3分别描述了在无数据情形下和拥有部分未标记数据情形下的流程，其基本思路都是分析旧模型和新模型的不确定性后，再进行简单平均的模型集成方法。图4使用图例描述了在无数据情形下通过图像扰动和模型扰动分析模型不确定性的具体流程。
[0085]
下面进行具体实施说明。首先描述模型准备部分：
[0086]
步骤一：旧模型和新模型是分别独立训练得到的，通常会使用不同的图像数据集和深度神经网络架构，且新模型在当前测试集一般具有更高的准确率。
[0087]
接下来是模型不确定性分析部分，首先描述在无数据情形下的不确定性分析：
[0088]
步骤二：无数据的情形下，将根据旧模型m
old
、新模型m
new
和待预测的图像输入x来分析模型的不确定性，采用图像扰动或模型扰动的方法。
[0089]
图像扰动的做法是对待预测的图像输入x，加入随机噪音产生一组相近的图像输入x
1,
…
,n
，将这组图像分别输入给m
old
和m
new
，并计算模型的预测输出的方差和
[0090]
模型扰动的做法是设置m
old
和m
new
的dropout来随即丢弃其中一部分神经元的输出，以产生一组相似的随机模型和然后将待预测的图像输入x，分别输入给这两组模型，计算每组模型预测输出的方差和
[0091]
步骤三：根据模型预测方差得到模型的缩放系数α1(x)和α2(x)，(x)，其本质是逆方差权重。
[0092]
步骤四：根据缩放系数α1(x)和α2(x)，以及新旧模型对图像输入x的预测结果和进行权重缩放后得到新旧模型不确定性对齐后的预测结果进行权重缩放后得到新旧模型不确定性对齐后的预测结果和
[0093]
对于拥有部分无标记数据情形下的不确定性分析流程如下：
[0094]
步骤二：拥有部分无标记数据的情形下，将根据旧模型m
old
、新模型m
new
和未标记数据集d来分析模型的不确定性，采用温度缩放的方法。
[0095]
步骤三：判断最佳温度t
*
是否存在？若存在，则跳过本步骤。否则，在数据集d上，根据使用具有多个初始点的拟牛顿法l-bfgs，求解得到最佳温度t
*
。
[0096]
步骤四：对于输入x，对m
old
产生的预测logit用温度t
*
缩放后，再经过softmax层得到其预测输出而m
new
不使用温度缩放，故其预测输出仍为
[0097]
最后是模型集成部分：
[0098]
步骤五：为了便于描述，对于上述两种情形下不确定性分析中步骤四旧模型产生的预测输出记为新模型产生的预测输出记为此时新旧模型的预测输出经过了不确定性对齐，具有统一的不确定性，因而通过简单平均便能得到满足需要的集成模型预测输出，计算方式为：最后，找到向量中元素最大值所在的索引类别即为集成模型对图像输入x的预测类别。
[0099]
图像分类模型采用的模型本质通常是深度神经网络模型，包括：resnet_v1，resnet_v2，wideresnet(wrn)，resnext，vgg等模型，包含了输入层、输出层和若干隐藏层的神经网络结构，通常有卷积层，池化层，批归一化层，全连接层和激活层等。
[0100]
通过上述方法，本发明实现一种基于不确定性感知的图像分类模型回归误差消减的轻量级应用技术，该方法采用基于模型集成的方法，对更新前后的新旧模型先采取不确定性分析后、再进行简单平均的模型集成，得到具有向前兼容性和较好表现性能的集成模型。
[0101]
显然，本领域的技术人员应该明白，上述的本发明实施例的基于不确定性感知的图像分类模型回归误差消减的轻量级应用技术的各步骤可以用通用的计算装置来实现，它们可以用计算装置可执行的程序代码来实现，从而构成应用软件系统中的组件之一。因而，本发明实施例不限制于任何特定的硬件和软件结合。

技术特征：
1.一种基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，包括如下步骤：1)图像分类模型更新时，分别独立训练得到图像分类的旧模型和新模型；2)对于无数据的情形，采用图像扰动或模型扰动的策略来估计图像分类模型的不确定性；3)对于拥有无标签数据的情形，采用温度缩放的策略校准旧模型的不确定性；4)使用简单平均的模型集成方法得到集成模型。2.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述1)中，图像分类模型更新的原因通常有如下两种：(1)收集到更多的图像数据用于模型训练；(2)更新了图像分类模型的底层神经网络架构；在这两种原因导致的图像分类模型更新时，对图像分类的旧模型和新模型分别在对应的图像数据集上采用相应的网络架构独立地进行训练，训练得到的新模型用于更新原本的旧模型，模型更新后，带来回归误差；对于图像数据集d，其中旧模型预测正确而新模型预测错误的样本，被称作回归误差。3.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述2)中，图像扰动时，通过随机噪声扰动输入图像：对于输入图像x，加入随机噪音产生一组相近的输入图像x
1,
…
,n
，将这组图像分别输入给旧模型m
old
和新模型m
new
，并计算旧模型m
old
和新模型m
new
的预测方差和4.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述2)中，模型扰动的做法是设置旧模型m
old
和新模型m
new
的dropout来随即丢弃其中一部分神经元的输出，以产生一组相似的随机模型和然后将待预测的输入图像x，分别输入给这两组模型和计算每组模型预测输出的方差和5.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述3)中，在可以获得部分无标记数据用来减少图像分类模型回归错误时，此时使用温度缩放技术处理回归错误，对图像分类的旧模型m
old
进行温度缩放得到通过使用均方误差mse来衡量模型不确定性，实现：使用一组不带标记的图像数据，在这组不带标记的图像数据上，对旧模型进行温度缩放得到并求解最佳的温度t
*
使得对于最佳温度t
*
的求解，使用具有多个初始点的拟牛顿法l-bfgs进行求解；对于之后的输入图像，每次都是使用这个温度值t
*
而无需改变，然后通过下面的表达式得到集成模型的预测输出得到集成模型的预测输出6.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，所述4)中，简单平均的模型集成方法，对于图像分类模型的回归误差问题中的新旧模型具体而言，是指将旧模型及新模型对输入数据的预测概率分布进行简单平均。
7.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，图像分类模型更新时，分别独立训练得到旧模型和新模型；采用如下的流程训练旧模型和新模型：101)构建模型架构，并随机初始化模型参数；102)按批读取图像训练数据集，并输入给模型；103)计算模型预测值与真实标签值的交叉熵，得到模型的损失loss；104)采用误差反向传播算法，根据损失loss更新模型各神经网络层参数；105)训练模型，直至模型收敛，得到训练好的模型。8.根据权利要求1所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，对图像分类的新旧模型进行不确定性分析，根据不同情形可分别采用无数据情形下的不确定性分析流程或拥无标签数据情形下的不确定性分析流程；2)在无数据情形下的不确定性分析实现流程如下：201)给旧模型m
old
和新模型m
new
输入相同的图像数据x，分别得到对应的预测输出p
mold
(x)和p
mnew
(x)；202)通过图像扰动或模型扰动的方式，评估模型的不确定性；2021)对于图像扰动的方式：i)根据图像输入x通过加入随机噪声产生与x相近的一组图像输入x
1,
…
,n
；ii)将这组图像输入x
1,
…
,n
同时输入给m
old
和m
new
，分别得到旧模型和新模型产生的对应的预测输出，计算预测输出的方差和2022)对于模型扰动的方式：i)对旧模型m
old
和新模型m
new
通过设置网络dropout来随机丢弃部分神经元的输出，以产生与旧模型对应的一组相似的随机模型和与新模型对应的一组相似的随机模型ii)将图像输入x同时输入给和分别得到和产生的一组预测输出，计算预测输出的方差和203)根据图像扰动或模型扰动得到新旧模型预测方差，分别计算旧模型和新模型的缩放系数α1(x)和α2(x)，计算公式为：(x)，计算公式为：204)根据缩放系数，得到通过缩放系数调整后旧模型和新模型关于图像输入x的预测输出：输出：9.根据权利要求8所述的基于不确定性感知的图像分类模型回归误差消减方法，其特征在于，3)在拥有少量无标签数据情形下的不确定性分析实现流程如下：
301)给定旧模型m
old
，新模型m
new
，一组未标记的图像数据集d，和待预测的图像输入x，分别得到对应的预测输出和302)判断在数据集d上，是否已经计算了最佳温度t
*
：i)若是，则跳转304)执行；ii)若否，则跳转303)执行；303)在数据集d上，根据使用具有多个初始点的拟牛顿法l-bfgs，求解得到最佳温度t
*
；304)采用温度缩放技术，使用最佳温度t
*
缩放m
old
的logit得到温度缩放调整后的旧模型m
old
的预测输出：305)新模型m
new
的预测输出无需使用温度缩放，故保持不变。

技术总结
本发明公开一种基于不确定性感知的图像分类模型回归误差消减方法，面向图像分类模型在图像数据更新或模型架构更新后，新版本图像分类模型难以兼容旧版本图像分类模型的问题。使用模型集成策略，估计并根据新旧两个图像分类模型在预测结果中的不确定性，得到模型的集成预测结果。其中集成策略针对无数据(data-free)和少量无标签数据(label-free)两种情形下分别讨论。对于无数据情形，采用图像扰动或模型扰动的方式来估计图像分类模型的不确定性；对于少量无标签数据情形，采用温度缩放的方式校准旧版本图像分类模型的不确定性，使之向新版本图像分类模型对齐。本发明减少了回归误差，得到具有向前兼容性的集成图像分类模型；具有更佳的表现效果。具有更佳的表现效果。具有更佳的表现效果。


技术研发人员：马晓星 徐经纬 曹春 吕建 李泽南 张茂润
受保护的技术使用者：南京大学
技术研发日：2023.04.20
技术公布日：2023/7/28