使用一般内容脑反应模型对特定于学科的内容进行分类的制作方法

使用一般内容脑反应模型对特定于学科的内容进行分类
发明领域
1.本发明总体上涉及人工智能(ai)。更具体地，本发明涉及使用脑反应模型对特定于学科的内容(discipline-specific content)进行自动分类的技术。
2.背景
3.人脑及其底层生物神经网络有一种有效的方式来处理少量数据，以迅速达到认知分类。因此，能够模拟人脑反应的机器学习(ml)算法可以具有特殊的优势，诸如依赖非常有限的可用训练来对内容进行分类。
4.例如，在电子电路的缺陷检查领域，一些检查活动仍然必须由人类专家手动执行。原因是，在识别缺陷(诸如罕见缺陷)或决定缺陷的结果(例如，由于给定缺陷而处置管芯(die))方面仍然存在人类专家的能力，而现有的自动化检查技术不能提供该能力的替代方案。
5.另一个示例可以在医疗保健领域看到，其中大多数诊断过程是由医疗专业人员手动执行。尽管用于诊断的ai模型可能会变得更加可用，但预计人类专家仍将是诊断过程的一部分，因为数据收割(data harvesting)、结构化(structuring)和标注(labeling)限制了ai成为医疗系统手中的自主工具。
6.因此，需要能够取代这种人工专家审查的自动化视觉检查技术。
7.发明概述
8.下文描述的本发明的实施例提供了一种内容分类方法，包括接收属于特定学科的多个预定义类别的内容项集合，以及从该特定学科的每个内容项中提取相应的特征。接收由一个或更多个人类观察者执行的对特定学科的内容项的标注，对于每个内容项，该标注指示由该一个或更多个人类观察者从多个预定义类别中分配给该内容项的相应类别。上传一般内容脑反应模型，该模型使用被呈现一般内容数据库的人脑的测量值来估计，其中该一般内容数据库使用特征集合来定义，并且包括该特征集合与提取的脑活动集合之间的映射。将一般内容脑反应模型应用于提取的特征，以使用标注来计算针对特定学科的按类别的脑反应集合。给定与学科相关联的新内容项，基于一般内容脑反应模型和特定于学科的脑反应，从多个预定义类别中估计与新内容项最匹配的类别。
9.在一些实施例中，估计类别包括(a)从新内容项中提取多个特征，(b)将一般内容脑反应模型应用于从新内容项中提取的特征，以计算新内容脑反应，以及(c)使用特定于学科的脑反应集合和新内容脑反应，估计与新内容项最匹配的类别。
10.在一些实施例中，估计类别包括：在脑活动坐标系中估计新内容脑反应与特定于学科的脑反应之间的相应的距离集合，以及使用标注来根据该距离集合将新内容项分类到预定义类别之一。
11.在实施例中，估计类别包括：计算新内容项与给定类别中的任何一个具有相同标签(label)的相应的概率集合，以及根据计算出的概率集合将新内容项分类到预定义类别之一。
12.在另一个实施例中，提取特征包括从提取的特征中省略被认为在统计上无关紧要
的一个或更多个预定义特征。
13.在一些实施例中，提取的特征包括颜色的色度(shades of colors)、特征空间频率、对比度水平和流行率(prevalence)中的至少一个。
14.在一些实施例中，内容分类方法还包括使用统计模型来导出一般内容脑反应模型，该统计模型是线性回归和非线性回归中的一种。
15.在实施例中，人脑的测量值包括脑连通性(connectivity)矩阵。在另一个实施例中，基于与连通性关联矩阵相结合的认知层来对人脑的测量值进行建模。
16.在一些实施例中，特定学科的内容项包括半导体管芯的图像，其中类别是预定义的质量箱(bin)，并且其中，通过人类审查的标注包括将每个图像分配为表示属于预定义的质量箱之一的管芯。
17.在一些实施例中，内容分类方法还包括决定半导体管芯的使用，该半导体管芯的图像被分类为表示属于预定义的箱之一的管芯。
18.在实施例中，通过解剖磁共振成像(mri)、扩散张量成像(dti)、功能性mri(fmri)、脑电图(eeg)、脑磁图(meg)、红外成像、紫外成像、计算机断层扫描(ct)、脑图谱超声(brain mapping ultrasound)、体内细胞数据、体内分子数据、基因组数据和光学成像中的一种或更多种来执行脑测量。
19.在一些实施例中，标注包括对一系列帧、图像、声音、触觉信号、气味、味道和抽象内容类型中的至少一个进行标注。
20.在一些实施例中，抽象内容类型包括感觉(feelings)。
21.在实施例中，特征被表示为第一向量空间，其中脑活动集合被表示为第二向量空间，并且其中，一般内容脑反应模型被定义为第一向量空间和第二向量空间之间的线性变换。
22.根据本发明的另一个实施例，还提供了一种内容分类装置，包括接口和处理器。接口被配置成：(i)接收属于特定学科的多个预定义类别的内容项集合，并从该特定学科的每个内容项中提取相应的特征，以及(ii)接收由一个或更多个人类观察者执行的对特定学科的内容项的标注，对于每个内容项，该标注指示由该一个或更多个人类观察者从多个预定义类别中分配给该内容项的相应类别。处理器被配置成：(i)上传一般内容脑反应模型，该一般内容脑反应模型使用被呈现一般内容数据库的人脑的测量值来估计，其中该一般内容数据库是使用特征集合来定义的，并且包括该特征集合与提取的脑活动集合之间的映射，(ii)将一般内容脑反应模型应用于所提取的特征，以使用标注来计算针对特定学科的按类别的脑反应集合，以及(iii)给定与学科相关联的新内容项，基于一般内容脑反应模型和特定于学科的脑反应，从多个预定义类别中估计与新内容项最匹配的类别。
23.根据对本发明的实施例的以下详细描述并结合附图，本发明将得到更充分的理解，附图中：
24.附图简述
25.图1是示意性地示出根据本发明的实施例的装置的框图，该装置被配置成使用一般脑反应模型和特定于学科的已标注脑反应的数据库对属于特定学科的新内容项进行分类；
26.图2是示意性地示出根据本发明的实施例的图1的装置的元件和处理方案的框图
以及流程图，该元件和处理方案用于生成一般脑反应模型并用该模型导出图1的已标注脑反应的数据库；
27.图3是示意性地示出根据本发明的实施例的，使用图1的装置对属于特定学科的新内容项进行分类的方法的流程图；以及
28.图4是根据本发明的实施例的，在新内容项脑反应与特定于学科的已标注脑反应的分散群体(scatter)之间的估计距离的集合的示意性图示视图，该估计距离的集合用于对新内容项进行分类。
具体实施方式
29.概要
30.下文描述的本发明的实施例提供了用于使用一般脑反应模型对给定学科的内容进行分类的装置和方法。学科的示例包括半导体加工缺陷的检查，但是通常来说，所公开的技术可以用于对与任何其他合适学科相关的内容进行分类。内容项可以包括例如图像(例如，经加工的半导体管芯的图像)。然而，通常，所公开的技术可以用于对其他类型的内容进行分类，诸如对作为音频文件的内容项进行分类。
31.典型地，所公开的技术生成并使用一般脑反应模型(在下文中也称为“空白(bare)脑反应模型”)来计算任何所需的特定于学科的脑反应。一般脑反应模型是一般性的，或者说是空白的，因为它不是特定于学科的。一般来说，空白脑反应模型包括数千个大脑区域的反应，每个区域由内容的不同属性唯一地激活。例如，可以从人类观察者的大脑的功能性mri扫描来估计反应，该人类观察者被呈现非特定于学科的内容数据库(诸如，足够大的图像集合)。
32.一般脑反应模型涵盖了非常多的属性，以下称为“特征”。这种涵盖使得能够模拟特定于内容的脑反应，而不需要扫描被暴露于特定学科的内容的人脑来向模型添加更多特定于内容的属性。例如，诸如灰色的色度(shades of gray)的特征被一般模型覆盖到一定程度，使得对特定内容的大脑反应不需要将新的灰色的色度添加到灰色的色度的特征列表中。
33.对于特定的分类任务，计算标注的特定于学科的脑反应集合。给定属于该学科但标签未知的新内容项，也计算该内容项的脑反应。
34.使用统计分析，由处理器估计新内容所属的类别(例如，其标签)，例如通过将映射的反应与特定于学科的脑反应的分散群体进行比较来估计。以这种方式，可以对学科的新内容项进行分类。下面详细描述的空白脑反应模型通常包括特征空间(其定义内容项)与脑活动空间(其包括fmri提取的脑振幅)之间的一个或更多个映射(例如，算子)。
35.如上所述，所公开的技术依赖于这样的观察，即在某些条件下，可以通过向人类呈现足够全面的一般内容并在该过程中扫描他们的大脑，来建立一般脑反应模型。随后可以使用该一般脑反应模型，使用特定于学科的已标注内容项的数据库，来计算相应的特定于学科的脑反应。特定于学科的脑反应可以在以后用于对特定学科的新内容进行分类。
36.例如，一般内容的数据库，诸如捕获复杂城市环境的图像集合，可以在脑扫描(例如，fmri扫描)期间呈现给很多人，并且fmri提取的脑反应然后可以用于模拟对特定于学科的(例如电子电路的)图像的脑反应。
37.因此，所公开的技术利用实际的人脑来生成“专家机器”，以更接近地(例如，比完全人工的模型更接近地)采用和模仿许多不同学科中的人类专家的能力，以便自动对新内容进行分类。然而，这种专家行为(expert performance)是通过主要使用非专家的人类来生成空白脑反应模型，并且仅使用少量特定于学科的人类(“专家”)进行标注来实现的。
38.使用来自复杂环境的内容确保了相同类型的任何内容(例如，图像)的足够大的特征集合f被该过程足够全面地覆盖(例如，采样)，以作为用于生成不同的模拟脑反应的基础，这些模拟脑反应将成功地对来自相应不同学科的内容进行分类。实际上，发明人已经根据经验发现，这样的“通用”特征集合f可以被生成并用于将一般脑反应模型应用到不同的成功的特定于学科的脑反应分类问题中。
39.这样的特征的通用集合f可以包括例如几何形状、颜色、色度(shades)、对比度、使用图像的频谱分析获得的特征空间频率以及特征的流行率，等等。特征提取步骤通常包括执行初始图像预处理步骤，诸如平滑、偏置和增强。
40.特定学科的多个类别的示例是经加工的半导体管芯的图像的类别。这种应用中的学科是半导体加工缺陷的检查。在该示例中，一个或更多个专家人类观察者对内容进行标注，并且每个类别仅包括被标注为表示具有相似(例如，相同箱)质量的管芯的图像，同时该类别被相应地标注。换句话说，对于m个标签的集合g，被标注为示出不同管芯质量(即，属于不同的类别箱中的管芯)的不同图像各自都标注有不同的标签ls∈g,s＝1,2,
…
m。(例如，标注相同的每组图像对应于单个预定义的已标注质量箱)。
41.在一些实施例中，所公开的技术的准备部分因此被分成两个阶段：
42.(i)初始的“通用”阶段，该阶段涉及对被呈现一般内容数据库的内容的人类的实际脑扫描。使用统计模型生成“空白”脑反应模型，该“空白”脑反应模型在“通用”特征集合f(其定义一般内容)和(即，对f的)脑反应振幅集之间建立最佳拟合变换。例如，该特征集合可以是这样的，其通过跨越内容项的每个特征向量来定义表示一般内容的特征空间。
43.(ii)特定于学科的阶段，在该阶段期间，一个或更多个人类专家将特定学科的内容项标注为属于该学科的预定义类别组g中的一个类别。应用空白脑反应模型来计算对根据已标注内容项的类别进行标注的内容项的脑反应，从而获得该学科中人类专家的估计的脑反应的数据库。
44.在实施例中，在初始准备阶段期间，处理器从一般内容数据库的每个(数字化)内容中提取特征集合(例如，特征向量)f，该特征集合f属于前述的预定义“通用”内容集合(f∈f)。对于每个内容项，相应的特征集合f(f∈f)将指定不同的权重，这些权重可以是集合f中的二进制(选中/未选中)特征(即，在一些应用中，f的一些成员为空且不被使用)。
45.可以根据一组关系(例如，方程)(诸如特征fi∈f之间的线性关系，如下所述)和估计的脑振幅{a}来构建空白脑反应模型，估计的脑振幅也被称为“脑活动图(brain-activity map)”：
[0046][0047]
其中，aj(rj)是fmri提取的脑区域rj的活动，在下面进行了进一步的描述，并且其中，处理器随后例如通过执行线性回归来统计地导出系数α
ij
。
[0048]
在替代表示中，针对在fmri扫描期间被显示给人类受试者的每个图像，提取图像特征的向量f，f＝(f1，f2,
…
,fn)，通过fmri扫描来提取相应的脑激活特征向量a＝(a1,
a2,
…
,ak)。尚且未知的映射在方程1中由一组线性函数使用系数α
ij
进行估计，因此，映射在本文中可以被描述为将图像特征映射到更高维度(即，k》n)脑激活空间的映射。函数φ(f)可以通过采用有监督特征学习，例如通过由k个线性函数的集合对φ(f)进行建模，来估计。也就是：
[0049]
方程1’aj＝f
t
βj[0050]
其中，
[0051]
方程1的被统计地求解出的关系由此定义了关系的“最佳拟合”系数集，该系数集在下文中被表示为数组数组也可以被描述为将特征空间中的任何向量变换到脑活动空间中的相应脑活动向量的前述映射(例如，算子)。
[0052]
请注意，方程1的结构取决于所使用的底层脑模型和统计模型，如下所述。所示的方程是通过示例的方式并且纯粹是为了呈现的简单性而提出的。例如，非线性关系集合可以代替方程1。
[0053]
因此，更一般地，在下文中称为stat的统计算法(例如，线性或非线性回归、或一般线性模型(glm)等等)统计地求解在提取的特征和对每个图像分别估计的脑振幅之间的大型关系集合(诸如方程1的关系)以获得一般内容脑反应模型(或算子)：
[0054][0055]
由系数数组描述的这个模型或者统计估计的算子，在内容(例如，图像)不是特定于应用的意义上仍然是“空白”或隐含的，并且因此，提取的特征集合并不表示分类的实际目标。
[0056]
以上空白脑反应模型的维度仅通过示例给出，而实际维度可以根据所使用的底层脑模型的(例如，解剖复杂性、功能复杂性)复杂性而变化。同时，不管精确的数学描述如何，足够全面的一般内容(例如，一般内容的大型数据库)确保所使用的任何空白脑反应模型是“完全的”(例如，系数对数据库的扩大不敏感)。
[0057]
如上所述，为了构建前述专家机器(例如，特定于学科的脑反应的数据库)，处理器上传特定于学科的(数字化)内容项集合，每个内容项具有各自的标签ls∈g。假定每个标注的类别包括数量为ns个的内容项。处理器从每个特定于学科的内容项中提取前述的通用预定义特征集合的特征子集f
ds
，子集f
ds
可以与预定义集f相同，或者是较小的优化子集。例如，在检测到或接收到黑白图像的指示的情况下，所提取的特征的子集可以是相同的集合，但是对于除了灰色之外的颜色色度(例如，红色的色度)具有零权重。作为另一个示例，f
ds
和/或f的元素可以分别是集合f
ds
和/或f的二进制(选中/未选中)特征。可替代地，子集大小可以减小到仅包括灰色的色度，即，通过不处理无效的其他颜色的色度来节省存储空间并减少计算工作量。
[0058]
无论哪种方式，对于每个特定于学科的内容，相应的特征向量f
ds
(f
ds
∈f
ds
)的非零元素(即权重)将因内容项而异。
[0059]
特征集合f
ds
的提取涉及与以上类似的预处理步骤，并且除了前述的可能将通用特
征集合f缩减为较小的特征子集f
ds
以外，它还将模型优化到特定的应用(例如，基于灰度图像内容的图像分类)。
[0060]
然后处理器重新应用空白脑反应模型，即(其根据特征fi∈f来指定脑反应振幅)，以计算相应的特定于学科的按类别ls∈g标注的脑反应集合：
[0061][0062]
在实施例中，由方程3给出的特定于学科的脑反应集合可以被描述为脑反应空间中的向量的分散群体。
[0063]
给定具有尚且未知的标签x∈g、需要进行分类的新内容项，假定该新内容项属于该学科的多个类别中的一个类别(例如，给定经加工的半导体管芯的新图像)，因此处理器从新内容项中提取特征集合(例如，特征向量)f
nc
∈f
ds
。
[0064]
然后，处理器将脑反应模型应用于新内容项以计算新内容脑反应：
[0065][0066]
其中，如上所述，f
nc
∈f
ds
是所提取的新内容的特征集合。如果新内容是相同项的不同“视图”集，诸如半导体缺陷的图像的增强集合，该不同“视图”集(例如，通过增强)生成相同内容的特征集合的集合，那么新内容脑反应可以在统计上被细化为：
[0067][0068]
由于每个类别有数量为ns个的特定于学科的内容项，因此这些项的脑反应的平均值，即
[0069][0070]
会给出脑活动坐标系中标签位置的估计值。
[0071]
在替代表示中，来自特定学科的假定已标注的数据集可以写成其中ls∈g并且假设在类别集g中有m个类别。再次注意到，在某些应用中，f的一些成员为空且不被使用，以及这样缩减的特征向量在上面被表示为f
ds
。
[0072]
对属于同一类别(即，类)的脑激活进行平均，并且平均值由以下方程表示：
[0073][0074]
新特征向量f
nc
的预测基于与平均值中的每一个之间的相似性来完成。
[0075]
在上面的描述中，随后，处理器应用统计测试，诸如相似性测试，或者在一些实施例中，处理器计算向量与按标签的平均向量中的每一个之间的内积，以生成未知标签x是标签ls∈g的概率：
[0076][0077]
，直到达到全局归一化因子。
[0078]
更一般地，可以通过计算新内容脑反应与已标注的分散群体
之间的距离来估计相似性。可以使用l1或者其他距离(诸如hellinger距离)来估计相似性。
[0079]
在使用内积的情况下，使用标签，处理器根据概率分布和应用于该分布的分类标准对内容进行分类。例如，处理器可以选择最可能的标签作为分类的结果。更一般地，处理器根据映射的新内容和映射的已标注内容之间的相似性水平对内容进行分类，如下面进一步描述的。
[0080]
在一些实施例中，处理器还基于分类输出决定。例如，使用预先指定的验收标准，处理器可以基于分类发布废弃半导体管芯的决定，并将该管芯引导到内部根本原因分析(in-house root cause analysis)。
[0081]
为了对来自非常不同的学科(包括非视觉学科，诸如感觉、语音音调等)的内容进行分类，内容预处理步骤可以包括在内容类型之间变换内容，以便使用公开的技术进行进一步分析。例如，预处理可以包括将音频文件编码成图像。
[0082]
可替代地，属于任何非视觉类别的内容可以具有它们自己类型的定义的相关特征的数据库，诸如，对于音频可以具有响度水平和特征声音频率的数据库。然而，发明人已经发现，处理器可以被编程来执行不同的预处理步骤，例如，将音频信息编码成视觉信息并以可验证的方式使用视觉内容的提取特征。类似地，其他非视觉内容类型，诸如气味和抽象内容类型(例如，感觉)，可以被成功地编码到多维视觉尺度中并使用公开的技术进行分类。
[0083]
装置描述
[0084]
图1是示意性地示出根据本发明的实施例的装置10的框图，该装置10被配置成使用一般脑反应模型212和已标注的脑反应的特定于学科的数据库200对属于特定学科的新内容项102进行分类。特定于学科的新内容项102可以是例如经加工的半导体管芯的图像。
[0085]
为了使装置10执行其预期用途，装置10的存储器112保持数据库200，数据库200包括先前计算(如图2中所述)的已标注脑反应的按类别的集合换句话说，处理器110在存储器112中保持用于该学科的“专家机器”。
[0086]
数字化模块104将新内容102数字化为数字数据集(在下文中称为数字图像)用于输入到装置10。数字图像(例如，经由网络，或者经由本地通信链路)被传送(106)到装置10的处理器110。数字图像可以存储在存储器112中。
[0087]
处理器110的特征提取模块122运行特征识别算法以从新内容102中提取相应的新内容特征集合(例如，特征向量)f
nc
。典型地，特征提取模块122可以包括前述预处理步骤中的一个或更多个，这些预处理步骤适于与特定学科的内容一起使用，以帮助提取特征向量f
nc
。
[0088]
处理器110将特征向量f
nc
输入到乘法模块124中，从而导出针对新内容的脑反应模型在此阶段，新内容具有前述的、尚且未知的标签x∈g。一旦接收到输入，统计测试模块125相对于已标注的映射的脑反应估计映射的脑反应数据点(例如，向量)所有这些数据点都可以是脑活动空间中的向量，或者更一般地，如图4中所示，所有这些数据点都可以是脑活动坐标系中的数据点。随后，统计测试模块
125运行相似性测试，以通过例如使用方程7计算向量的内积来计算x＝ls(即人类专家会将新内容102分类并标注为属于类别ls)的概率p＝ps。更一般地，这两个集合经历相似性检查，如下所述，其中估计了一组距离(如图4中所见)。
[0089]
为了覆盖所有标签，模块125调用(时间逻辑未示出)特定于学科的按类别ls∈g的脑反应集合的整个存储集200，来生成新内容项102属于特定于学科的内容的标注集之一的概率分布。
[0090]
内容分类器126对结果150进行排列，结果150包括被标注的以及可选地被分级的概率分布。为此，分类器126可以应用预定义的标准，诸如选择最大概率标签、最小距离。分类器126根据该结果输出决定，例如输出到用户显示器(未示出)。
[0091]
例如，在经加工的半导体管芯的图像的实例中，结果可以被模块126限制到三个选项：该管芯应该被标注为属于“好”箱的97％概率，该管芯应该被标注为属于“可接受的”箱的2％概率，以及该管芯应该被标注为属于“废品”箱的1％概率。决定可以基于例如存储在存储器112中的标准，其具有0.1％作为“废品”箱所允许的最大概率的标准，以基于上述分类废弃管芯，并将管芯转移到人工检查以进行根本原因分析。
[0092]
处理器110可以使用通信和用户接口114在本地或远程参与，诸如来自远程程序/用户的查询或用户使用例如触摸屏进行的选择/查询。
[0093]
在各种实施例中，可以使用合适的硬件(诸如使用一个或更多个分立部件、一个或更多个专用集成电路(asic)和/或一个或更多个现场可编程门阵列(fpga))来实现图1所示的装置的不同电子元件。所公开的处理器、单元和模块的一些功能，例如处理器110及其模块122-126的一些或所有功能，可以在一个或更多个通用处理器中实现，该一个或更多个通用处理器用软件编程以执行本文描述的功能。例如，软件可以通过网络或从主机以电子形式下载到处理器，或者软件可以替代地或附加地在非暂时性有形介质(诸如，磁存储器、光存储器或电子存储器)上被提供和/或存储。特别地，处理器110运行如本文所公开的专用算法，包括在图3中公开的算法，该专用算法使得处理器110能够执行所公开的步骤，如下文进一步描述的。
[0094]
生成特定于内容的脑反应的标注集
[0095]
图2是示意性地示出根据本发明的实施例的图1装置10的元件(122、124)和处理方案的框图及流程图，该元件和处理方案用于生成一般脑反应模型212并使用该模型导出图1的已标注脑反应的数据库200。
[0096]
所示的处理分为两个阶段：
[0097]
(i)阶段201，其涉及实际的脑扫描以使用统计模型222生成一般内容脑反应模型(212)，该一般内容脑反应模型连接一般内容数据库204的特征和相应的fmri提取的脑振幅集211，以及
[0098]
(ii)阶段202，其中，对于数据库224的特定于学科的内容(例如，半导体管芯的每个标注图像)的特征的每个标注集或向量f
ds
226，应用一般内容脑反应模型212来计算特定于学科的按类别ls∈g的脑反应集合以这种方式，人脑的预测或分类能力被用来对多个学科中的专家机器进行建模。
[0099]
数据库200的生成包括根据所提出实施例的算法，该算法由装置10使用来执行过
程，该过程从接收数字化内容的数据库204开始，该数字化内容诸如是彩色图像集，其捕获复杂的城市环境，和/或捕获另一种复杂的环境，诸如各种人类活动和手势，等等。
[0100]
使用图1的模块122，处理器110从一般内容数据库204的每个内容(即，数字化图像)中提取属于预定义的特征集合206f＝(f1，f2，
……
，fk)的特征(黑色填充圆)。这种提取通常包括预处理和模式识别的初级步骤。
[0101]
如上所述，按内容，向量(f1，f2，
……
，fk)中的一些特征被选中，而一些特征不被选中，以产生特征向量f
内容
，特征向量f
内容
表示特定项的内容。例如，颜色特征在灰度图像中不被选中，并且一些几何特征可以被选中或不选中，诸如在仅包括直线和直角的对象的图像中不存在弧线。
[0102]
处理器110还接收fmri数据(208)的相应数据库，该fmri数据包括被呈现数据库204的内容的人的人脑的fmri图像。虽然数据208被呈现为fmri数据，但它可以是其他类型的数据，诸如脑电图(eeg)、脑磁图(meg)、红外图像、紫外图像、计算机断层扫描(ct)、超声图像、体内细胞数据、体内分子数据、基因组数据或光学成像。
[0103]
使用预先指定的脑模型，诸如脑的可以被激活的脑区域和/或神经路径的图(map)，模式识别模块210根据脑测量值(例如，用这样的数据填充模型)生成按被呈现给人类的图像的相应的脑反应振幅213的集合211，反应213包括例如方程1的脑活动振幅aj(rj)。
[0104]
在数学上，通过医学成像和其他测量工具对某些脑区域和/或神经路径(后者也称为“脑连接组(brain connectome)”)的激活进行建模可以通过将与所呈现内容的特征相关的fmri提取的反应值代入一般人脑反应模型的一组矩阵以生成脑活动图来实现，从而提供前述的一般内容脑反应模型(算子)的振幅集aj(rj)。
[0105]
在所示实施例中，fmri提取的脑振幅的集合211(例如，一组脑活动图213)被示出为包括按脑区域(r1，r2，
……
，rk)的反应的灰度值。脑活动振幅(例如，灰色色度条形码)可以使用例如给出表示每个脑区域rj内的脑活动振幅的数值指标的m比特标度来表示激活水平，同时(在另一个未示出的数组中)考虑脑区域之间的相互作用(例如，耦合)(即，其根据连接组进行加权，并且被表示为例如一般人脑反应模型的一组矩阵的非对角线元素，这组矩阵中的对角线元素代表脑区域值)。
[0106]
因此，统计模型222(例如，使用多维回归)统计地导出最佳拟合的空白脑反应模型212(即，最佳拟合算子)，以将所提取特征的向量f
内容
变换为相应的脑反应振幅213数组，并将算子存储在存储器中，以供在使用方程1和方程2生成一般内容脑反应模型(212)时使用。
[0107]
在阶段202，一个或更多个人类专家审查并对特定于学科的内容集244进行标注(228)。例如，如果内容是经加工的半导体管芯的图像，则这样的专家可以是缺陷检查工程师。专家可以从预定义的一组可能的标签g＝(l1，l2，
……
，lm)中选择任何标签。为了举例，预定义的标签组可以包括诸如l1＝“最高箱”(例如，完全干净的管芯)、l2＝“高箱”、l3＝“中等箱”、l4＝“低箱”、l5＝“最低箱”和l6＝“废品”的标签，其中，一般来说，审查和标注过程228的结果应覆盖集合230g＝(l1，l2，
……
，lm)中的所有标签。
[0108]
并行地，处理器110使用特征提取模块122从集合224中提取特定于学科的内容，即特定于学科的特征的相应子集226。
[0109]
在该步骤中，估计的空白模型212是所应用的特定于学科的特征子集226，并且使用结果，处理器按照每个标签ls∈g计算特定于学科的按标注的类别ls的脑反应
[0110]
返回图1，给定学科的新内容项，该新内容项尚未被分类(例如，仍然具有尚且未知的标签x∈g)并且具有特征集合f
nc
，应用一般内容脑反应模型212来使用方程4计算对于新内容的脑反应。然后，统计测试模块125输出标签x是标签ls∈g之一的按类别的概率，如上所述。
[0111]
因此，图1的结果150可以是新内容(例如，来自该学科的新图像)的标签为标签(l1，l2，
……
，lm)之一的概率分布p＝(p1，p2，
……
，pm)，或者，图1的结果150可以是x＝ls的p＝ps。这种概率可以例如使用方程7计算。
[0112]
在半导体管芯示例的情况下，图1的结果150可以是新图像的标签为上面列出的标签(l1，l2，
……
，l6)之一的概率分布(p1，p2，
……
，p6)。
[0113]
随后，例如，基于验收标准，诸如用阈值界定(thresholding)概率振幅或按标签的发生率水平，概率分布被转换成决策过程(例如，商业决定，诸如确定被成像的管芯是适于高端用途、适于低端用途还是应该被丢弃)。
[0114]
对新内容进行分类的方法
[0115]
图3是示意性地示出根据本发明的实施例的使用图1的装置10对属于特定学科的新内容项进行分类的方法。根据本实施例的算法执行一个过程，该过程使用存储在装置10的存储器112中的一般内容脑反应模型212和特定于学科的按类别标注的脑反应200。新内容的一个示例是由用于检测半导体加工缺陷的检查装置拍摄的经加工的半导体管芯的前述图像。
[0116]
该过程以特定于学科的内容上传步骤302开始，其中处理器110上传特定学科(诸如半导体加工缺陷检查)的被标注为不同类别ls∈g的多个内容项，其中每个类别具有不同的标签ls，标签ls在从良性缺陷标签到严重缺陷标签的范围内变化。特别地，内容的类别之一可以是“金管芯”的参考图像(即，无缺陷管芯的图像)的类别。假定内容已经是数字格式。
[0117]
接下来，在特定于学科的特征提取步骤304处，处理器110的特征提取模块122执行预处理并提取相应的一组特征向量f
ds
∈f
ds
，并将它们存储在存储器112中。
[0118]
接下来，在空白脑模型反应上传步骤306处，处理器110从存储器112上传空白脑反应模型212，即
[0119]
接下来，在特定于学科的脑反应计算步骤308处，使用一组标注的(230)特征向量f
ds
∈f
ds
，处理器110应用空白模型212来计算脑反应即，在该学科的前述专家机器数据库200中的脑反应。
[0120]
在新内容特征提取步骤310处，给定具有尚且未知的标签x∈g的新内容项(例如，给定经加工的半导体管芯的新图像)，处理器110从新内容项中提取特征向量f
nc
∈f
ds
。
[0121]
在新内容映射步骤312处，使用方程4(即，)计算对新内容的脑反应。
[0122]
在标注步骤314处，使用包括例如方程7的统计测试，处理器110生成x＝ls的概率p
＝ps。具体地，根据方程7，处理器110使用模块125计算向量在脑活动空间中的方向上的分量。
[0123]
最后，在分类步骤316处，处理器110的模块126基于概率分布p和其他预先指定的分类标准(诸如图4中所示的一组前述距离)对新内容项进行分类(例如，为新内容项选择最可能的标签，或选择与新内容项的最佳匹配)。
[0124]
图3的流程图是举例说明的，纯粹是为了清晰起见。虽然图3描述的检查过程是针对晶圆管芯的示例，但是其他电子电路，诸如pcb的电路，也可以以类似的方式进行检查。虽然在图3中给出的所公开的方法的示例来自特定学科，但是该方法可以在经过必要的修改后被构建并应用于许多学科，从工程学到心理学，以及从执法到娱乐。
[0125]
图4是根据本发明的实施例的，在新内容项脑反应410和特定于学科的标注的脑反应的分散群体402之间的一组估计的距离404的示意性图示视图，这组估计的距离404用于对新内容项进行分类。
[0126]
如图所示，新内容数据点410距脑反应的标注集402具有不同的距离(例如，l1距离)，包括作为这些距离中的最小值的距l2标注集402的距离d2和距l4标注集402的距离d4。
[0127]
在一个实施例中，处理器110用标签l2标注新内容。在另一实施例中，处理器110基于距离d1、d2、
……
、ds、
……
、dm的倒数生成概率分布，并用具有根据从距离导出的概率分布的概率的标签l1、l2、
……
、ls、
……
、lm来标注数据点410。
[0128]
图4的视图是举例说明的，纯粹是为了清晰起见。可以执行附加步骤，为了简单起见省略了这些步骤。例如，在实施例中，每个分散群体402最初被平均成单个数据点，并且计算平均值之间的距离。图4中给出的示例可以在许多学科中构建和应用。
[0129]
应当这样理解，上述实施例是通过示例的方式引用的，并且本发明不限于已经在上文具体示出和描述的内容。相反，本发明的范围包括上文所描述的各种特征的组合和子组合以及所述各种特征的变型和修改，该变型和修改将在本领域的技术人员阅读上述描述之后被想到并且在现有技术中未被公开。

技术特征：
1.一种内容分类方法，包括：接收属于特定学科的多个预定义类别的内容项集合，并从所述特定学科的每个内容项中提取相应的特征；接收由一个或更多个人类观察者执行的对所述特定学科的所述内容项的标注，对于每个内容项，所述标注指示由所述一个或更多个人类观察者从所述多个预定义类别中分配给所述内容项的相应类别；上传一般内容脑反应模型，所述一般内容脑反应模型使用被呈现一般内容数据库的人脑的测量值来估计，其中，所述一般内容数据库使用特征集合来定义，并且包括所述特征集合与提取的脑活动集合之间的映射；将所述一般内容脑反应模型应用于提取的特征，以使用所述标注来计算针对所述特定学科的按类别的脑反应集合；以及给定与所述学科相关联的新内容项，基于所述一般内容脑反应模型和所述特定于学科的脑反应，从所述多个预定义类别中估计与所述新内容项最匹配的类别。2.根据权利要求1所述的内容分类方法，其中，估计所述类别包括：从所述新内容项中提取所述特征中的多个特征；将所述一般内容脑反应模型应用于从所述新内容项中提取的特征，以计算新内容脑反应；以及使用所述特定于学科的脑反应集合和所述新内容脑反应，估计与所述新内容项最匹配的类别。3.根据权利要求2所述的内容分类方法，其中，估计所述类别包括：在脑活动坐标系中估计所述新内容脑反应与所述特定于学科的脑反应之间的相应的距离集合，以及使用所述标注根据所述距离集合将所述新内容项分类到所述预定义类别之一。4.根据权利要求1所述的内容分类方法，其中，估计所述类别包括：计算所述新内容项与给定的类别中的任一个具有相同标签的相应的概率集合，以及根据计算出的概率集合将所述新内容项分类到所述预定义类别之一。5.根据权利要求1-4中任一项所述的内容分类方法，其中，提取所述特征包括从所提取的特征中省略被认为在统计上无关紧要的一个或更多个预定义特征。6.根据权利要求1-4中任一项所述的内容分类方法，其中，所提取的特征包括颜色的色度、特征空间频率、对比度水平和流行率中的至少一个。7.根据权利要求1-4中任一项所述的内容分类方法，并且包括使用统计模型来导出所述一般内容脑反应模型，所述统计模型是线性回归和非线性回归中的一种。8.根据权利要求1-4中任一项所述的内容分类方法，其中，人脑的所述测量值包括脑连通性矩阵。9.根据权利要求8所述的内容分类方法，其中，所述脑连通性矩阵包括基于脑组织的微结构估计的连通性矩阵权重，以形成脑连接组。10.根据权利要求1-4中任一项所述的内容分类方法，其中，基于与连通性关联矩阵相结合的认知层来对人脑的所述测量值进行建模。11.根据权利要求1-4中任一项所述的内容分类方法，其中，所述特定学科的所述内容项包括半导体管芯的图像，其中，所述类别是预定义的质量箱，并且其中，通过人工审查的
所述标注包括将每个图像分配为表示属于预定义的质量箱之一的管芯。12.根据权利要求11所述的内容分类方法，并且包括决定半导体管芯的使用，所述半导体管芯的图像被分类为表示属于预定义的箱之一的管芯。13.根据权利要求1-4中任一项所述的内容分类方法，其中，通过解剖磁共振成像(mri)、扩散张量成像(dti)、功能性mri(fmri)、脑电图(eeg)、脑磁图(meg)、红外成像、紫外成像、计算机断层扫描(ct)、脑图谱超声、体内细胞数据、体内分子数据、基因组数据和光学成像中的一种或更多种来执行脑测量。14.根据权利要求1-4中任一项所述的内容分类方法，其中，所述标注包括对一系列帧、图像、声音、触觉信号、气味、味道和抽象内容类型中的至少一个进行标注。15.根据权利要求14所述的内容分类方法，其中，所述抽象内容类型包括感觉。16.根据权利要求1-4中任一项所述的内容分类方法，其中，所述特征被表示为第一空间，其中所述脑活动集合被表示为第二空间，并且其中所述一般内容脑反应模型被定义为所述第一空间和所述第二空间之间的线性变换。17.一种内容分类装置，包括：接口，所述接口被配置成：接收属于特定学科的多个预定义类别的内容项集合，并从所述特定学科的每个内容项中提取相应的特征；以及接收由一个或更多个人类观察者执行的对所述特定学科的所述内容项的标注，对于每个内容项，所述标注指示由所述一个或更多个人类观察者从所述多个预定义类别中分配给所述内容项的相应类别；以及处理器，其被配置成：上传一般内容脑反应模型，所述一般内容脑反应模型使用被呈现一般内容数据库的人脑的测量值来估计，其中，所述一般内容数据库使用特征集合来定义，并且包括所述特征集合与提取的脑活动集合之间的映射；将所述一般内容脑反应模型应用于提取的特征，以使用所述标注来计算针对所述特定学科的按类别的脑反应集合；以及给定与所述学科相关联的新内容项，基于所述一般内容脑反应模型和所述特定于学科的脑反应，从所述多个预定义类别中估计与所述新内容项最匹配的类别。18.根据权利要求1所述的内容分类装置，其中，所述处理器被配置成通过以下方式估计所述类别：从所述新内容项中提取所述特征中的多个特征；将所述一般内容脑反应模型应用于从所述新内容项中提取的特征，以计算新内容脑反应；以及使用所述特定于学科的脑反应集合和所述新内容脑反应，估计与所述新内容项最匹配的类别。19.根据权利要求18所述的内容分类装置，其中，所述处理器被配置成通过以下方式估计所述类别：在脑活动坐标系中估计所述新内容脑反应与所述特定于学科的脑反应之间的相应的距离集合，以及使用所述标注根据所述距离集合将所述新内容项分类到所述预定义类别之一。
20.根据权利要求17所述的内容分类装置，其中，所述处理器被配置成通过以下方式估计所述类别：计算所述新内容项与给定的类别中的任一个具有相同标签的相应的概率集合，以及根据计算出的概率集合将所述新内容项分类到所述预定义类别之一。21.根据权利要求17-20中任一项所述的内容分类装置，其中，所述处理器被配置成通过从所提取的特征中省略被认为在统计上无关紧要的一个或更多个预定义特征，来提取所述特征。22.根据权利要求17-20中任一项所述的内容分类方法，其中，所提取的特征包括颜色的色度、特征空间频率、对比度水平和流行率中的至少一个。23.根据权利要求17-20中任一项所述的内容分类装置，其中，所述处理器还被配置成使用统计模型来导出所述一般内容脑反应模型，所述统计模型是线性回归和非线性回归中的一种。24.根据权利要求17-20中任一项所述的内容分类装置，其中，人脑的所述测量值包括脑连通性矩阵。25.根据权利要求24所述的内容分类装置，其中，所述脑连通性矩阵包括基于脑组织的微结构估计的连通性矩阵权重，以形成脑连接组。26.根据权利要求17-20中任一项所述的内容分类装置，其中，基于与连通性关联矩阵相结合的认知层来对人脑的所述测量值进行建模。27.根据权利要求17-20中任一项所述的内容分类装置，其中，所述特定学科的所述内容项包括半导体管芯的图像，其中，所述类别是预定义的质量箱，并且其中，通过人工审查的所述标注包括将每个图像分配为表示属于预定义的质量箱之一的管芯。28.根据权利要求27所述的内容分类装置，其中，所述处理器还被配置成决定半导体管芯的使用，所述半导体管芯的图像被分类为表示属于预定义的箱之一的管芯。29.根据权利要求17-20中任一项所述的内容分类装置，其中，通过解剖磁共振成像(mri)、扩散张量成像(dti)、功能性mri(fmri)、脑电图(eeg)、脑磁图(meg)、红外成像、紫外成像、计算机断层扫描(ct)、脑图谱超声、体内细胞数据、体内分子数据、基因组数据和光学成像中的一种或更多种来执行脑测量。30.根据权利要求17-20中任一项所述的内容分类装置，其中，所述标注包括对一系列帧、图像、声音、触觉信号、气味、味道和抽象内容类型中的至少一个进行标注。31.根据权利要求30所述的内容分类装置，其中，所述抽象内容类型包括感觉。32.根据权利要求17-20中任一项所述的内容分类装置，其中，所述特征被表示为第一空间，其中所述脑活动集合被表示为第二空间，并且其中所述一般内容脑反应模型被定义为所述第一空间和所述第二空间之间的线性变换。

技术总结
一种内容分类方法，包括接收来自特定学科的类别的内容项(200)，以及从每个内容项中提取相应的特征。接收由人类观察者执行的、对特定学科的内容项的标注，该标注指示由人类观察者分配给该内容项的相应类别。上传一般内容脑反应模型(212)，该模型使用被呈现一般内容数据库(204)的人脑的测量值来估计，该一般内容数据库(204)使用特征(206)定义并包括特征与提取的脑活动之间的映射。将该模型应用于提取的特征，以使用标注来计算特定学科的脑反应。给定与该学科相关联的新内容项(102)，基于该模型和特定于学科的脑反应，估计与新内容项最匹配的学科类别。匹配的学科类别。匹配的学科类别。


技术研发人员：亚尼夫
受保护的技术使用者：布雷恩维沃有限公司
技术研发日：2021.12.27
技术公布日：2023/9/9