一种多模态数据处理方法及终端与流程

1.本发明涉及人工智能领域，尤其涉及一种多模态数据处理方法及终端。


背景技术：

2.目前，多模态信息嵌入实现预训练的方法包括多种，例如：clip(contrastive language-image pre-training，一种基于对比文本-图像对的预训练模型)采用模态对齐方式实现预训练；gpt(generative pre-training，一种基于深度学习的自然语言处理模型)预测下一个词的方式实现预训练；bert(bidirectional encoder representations from transformers，一种基于双向transformer构建的语言模型)采用随机遮罩单词方式进行预训练。其中，现有的图像模态嵌入方法一般采用卷积方式。图像模态通过transformer模型(一种神经网络)并采用卷积方式提取嵌入特征。但是，目前基于卷积方式嵌入的特征与符号嵌入的特征在transformer模型的结构不一致，由于transformer模型是被设计为对词的关系的学习，而在卷积方式中并没有将图像作为一个符号，因此造成图像向量特征与符号嵌入特征不一致的问题。而且传统的嵌入方法需要对输入的文本和图像进行独立处理，即文本和图像分别输入到两个不同模态的网络里进行处理后进行对齐。此外，传统的图像模态嵌入方法需要对区域特征的提取网络进行训练，而文字模态不需要，可直接将符号输入到嵌入网络中进行学习，造成图像模态和文字模态处理效率不同步，影响预训练效率。


技术实现要素：

3.本发明所要解决的技术问题是：提供一种多模态数据处理方法及终端，实现图像模态特征与文本模态特征的一致性，同时保证图像模态和文本模态训练模型的统一性。
4.为了解决上述技术问题，本发明采用的技术方案为：
5.一种多模态数据处理方法，包括步骤：
6.获取混合数据，所述混合数据包括图像数据以及文本数据；
7.根据预设的符号表获取所述文本数据对应的文本编码；
8.将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码；
9.将所述文本编码与所述图像编码合并处理后输入嵌入层网络进行维度变换，得到嵌入特征。
10.为了解决上述技术问题，本发明采用的另一种技术方案为：
11.一种多模态数据处理终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
12.获取混合数据，所述混合数据包括图像数据以及文本数据；
13.根据预设的符号表获取所述文本数据对应的文本编码；
14.将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指
纹数据对应的图像编码；
15.将所述文本编码与所述图像编码合并处理后输入嵌入层网络进行维度变换，得到嵌入特征。
16.本发明的有益效果在于：文本数据通过符号表转换为文本编码，同时将图像数据转换为指纹数据后，将指纹数据通过符号表转换为图像编码，使得图像数据转换为符号形式进行嵌入，从而实现图像数据与文本数据形成统一的符号模态。同时本发明无需对不同的模态数据构建不同的数据处理通道，可实现混合数据的输入，降低数据处理成本，并且采用感知哈希算法可以直接提取图像数据的指纹数据，无需进行额外的卷积训练，实现即插即用，提高预训练效率。
附图说明
17.图1为本发明实施例提供的一种多模态数据处理方法的步骤流程图；
18.图2为本发明实施例提供的一种多模态数据处理方法的程序流程图；
19.图3为本发明实施例提供的一种感知哈希算法的程序流程图；
20.图4为本发明实施例提供的一种多模态数据处理终端的结构示意图；
21.标号说明：
22.201、存储器；202、处理器。
具体实施方式
23.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
24.请参照图1，本发明实施例提供的一种多模态数据处理方法，包括步骤：
25.获取混合数据，所述混合数据包括图像数据以及文本数据；
26.根据预设的符号表获取所述文本数据对应的文本编码；
27.将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码；
28.将所述文本编码与所述图像编码合并处理后输入嵌入层网络进行维度变换，得到嵌入特征。
29.从上述描述可知，本发明的有益效果在于：文本数据通过符号表转换为文本编码，同时将图像数据转换为指纹数据后，将指纹数据通过符号表转换为图像编码，使得图像数据转换为符号形式进行嵌入，从而实现图像数据与文本数据形成统一的符号模态。同时本发明无需对不同的模态数据构建不同的数据处理通道，可实现混合数据的输入，降低数据处理成本，并且采用感知哈希算法可以直接提取图像数据的指纹数据，无需进行额外的卷积训练，实现即插即用，提高预训练效率。
30.进一步的，所述符号表包括文字符号名称与第一编码；
31.所述根据预设的符号表获取所述文本数据对应的文本编码包括：
32.根据所述文本数据中每一个文字对所述文字符号名称进行检索，确定每一个所述文字对应的第一编码，并将所述文本数据对应的所有第一编码以数组格式进行存储，得到文本编码。
33.由上述描述可知，将文本数据中的每一个文字获取对应的编码，从而转换为文本编码，使得原本的自然语言转换为可供计算机识别的数字语言，从而便于后续多模态预训练的处理，同时使得文本数据的嵌入形式与图像数据的嵌入形式能够实现统一。
34.进一步的，所述符号表包括图像哈希符号名称与第二编码；
35.所述将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码包括：
36.将所述图像数据进行预处理，得到多个待处理图像；
37.将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据；
38.将所述多个指纹数据分别转换为字符数据，根据所述字符数据中每一个字符对所述图像哈希符号名称进行检索，确定每一个所述字符数据对应的第二编码，并将所述第二编码以数组格式进行存储，得到图像编码。
39.由上述描述可知，通过将所述图像数据输入感知哈希算法后得到指纹数据，并通过预设的符号表将指纹数据转换为符号数据，使得图像数据与文本数据的模态一致化，从而实现图像模态与文本模态训练模型的统一，为后续大规模预训练提供了技术支撑，也为模型下游任务提供了更复杂的模型上下文能力。
40.进一步的，所述将所述图像数据进行预处理，得到多个待处理图像具体为：
41.将所述图像数据根据预设比例进行缩放，得到预处理图像；
42.将所述预处理图像根据预设大小进行分割，得到多个待处理图像；
43.所述将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据具体为：
44.将所述待处理图像缩小为预设尺寸，并转换为灰度图像，计算灰度阈值以及所述灰度图像中每一个像素对应的灰度值；
45.将所述灰度值与所述灰度阈值比较，若所述灰度值大于或等于所述灰度阈值，则所述灰度值对应的像素的标记号为1；若所述灰度值小于灰度阈值，则所述灰度值对应的像素的标记号为0，得到所述待处理图像的指纹数据。
46.由上述描述可知，通过感知哈希算法能够直接提取图像数据中小区域的指纹数据，即多个待处理图像的指纹数据，当待处理图像的尺度越小，则图像数据所获取的指纹数据则越精确。将图像数据按照预设比例进行缩放，以便于图像数据能够按照预设大小进行分割，避免尺寸不匹配造成缺漏的问题。同时将待处理图像缩小预设尺寸，能够去除图像的细节，只保留结构和明暗的信息，以便于后期进行生成灰度图像，避免干扰因素。采用感知哈希算法进行数据嵌入处理的方法，无需进行额外的卷积训练。
47.进一步的，所述计算灰度阈值具体为：
48.a＝0.9a
’×
a’+0.99a’；
49.其中，a为灰度阈值，a’为所述灰度图像的灰度平均值。
50.由上述描述可知，本发明所采用的感知哈希算法考虑到处理速度的因素，采用灰度平均值比较的方式进行处理，提高数据的处理速度，保证预训练的工作效率。
51.请参照图4，本发明另一实施例提供了一种多模态数据处理终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
52.获取混合数据，所述混合数据包括图像数据以及文本数据；
53.根据预设的符号表获取所述文本数据对应的文本编码；
54.将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码；
55.将所述文本编码与所述图像编码合并处理后输入嵌入层网络进行维度变换，得到嵌入特征。
56.从上述描述可知，本发明的有益效果在于：文本数据通过符号表转换为文本编码，同时将图像数据转换为指纹数据后，将指纹数据通过符号表转换为图像编码，使得图像数据转换为符号形式进行嵌入，从而实现图像数据与文本数据形成统一的符号模态。同时本发明无需对不同的模态数据构建不同的数据处理通道，可实现混合数据的输入，降低数据处理成本，并且采用感知哈希算法可以直接提取图像数据的指纹数据，无需进行额外的卷积训练，实现即插即用，提高预训练效率。
57.进一步的，所述符号表包括文字符号名称与第一编码；
58.所述根据预设的符号表获取所述文本数据对应的文本编码包括：
59.根据所述文本数据中每一个文字对所述文字符号名称进行检索，确定每一个所述文字对应的第一编码，并将所述文本数据对应的所有第一编码以数组格式进行存储，得到文本编码。
60.由上述描述可知，将文本数据中的每一个文字获取对应的编码，从而转换为文本编码，使得原本的自然语言转换为可供计算机识别的数字语言，从而便于后续多模态预训练的处理，同时使得文本数据的嵌入形式与图像数据的嵌入形式能够实现统一。
61.进一步的，所述符号表包括图像哈希符号名称与第二编码；
62.所述将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码包括：
63.将所述图像数据进行预处理，得到多个待处理图像；
64.将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据；
65.将所述多个指纹数据分别转换为字符数据，根据所述字符数据中每一个字符对所述图像哈希符号名称进行检索，确定每一个所述字符数据对应的第二编码，并将所述第二编码以数组格式进行存储，得到图像编码。
66.由上述描述可知，通过将所述图像数据输入感知哈希算法后得到指纹数据，并通过预设的符号表将指纹数据转换为符号数据，使得图像数据与文本数据的模态一致化，从而实现图像模态与文本模态训练模型的统一，为后续大规模预训练提供了技术支撑，也为模型下游任务提供了更复杂的模型上下文能力。
67.进一步的，所述将所述图像数据进行预处理，得到多个待处理图像具体为：
68.将所述图像数据根据预设比例进行缩放，得到预处理图像；
69.将所述预处理图像根据预设大小进行分割，得到多个待处理图像；
70.所述将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据具体为：
71.将所述待处理图像缩小为预设尺寸，并转换为灰度图像，计算灰度阈值以及所述灰度图像中每一个像素对应的灰度值；
72.将所述灰度值与所述灰度阈值比较，若所述灰度值大于或等于所述灰度阈值，则所述灰度值对应的像素的标记号为1；若所述灰度值小于灰度阈值，则所述灰度值对应的像
素的标记号为0，得到所述待处理图像的指纹数据。
73.由上述描述可知，通过感知哈希算法能够直接提取图像数据中小区域的指纹数据，即多个待处理图像的指纹数据，当待处理图像的尺度越小，则图像数据所获取的指纹数据则越精确。将图像数据按照预设比例进行缩放，以便于图像数据能够按照预设大小进行分割，避免尺寸不匹配造成缺漏的问题。同时将待处理图像缩小预设尺寸，能够去除图像的细节，只保留结构和明暗的信息，以便于后期进行生成灰度图像，避免干扰因素。采用感知哈希算法进行数据嵌入处理的方法，无需进行额外的卷积训练。
74.进一步的，所述计算灰度阈值具体为：
75.a＝0.9a
’×
a’+0.99a’；
76.其中，a为灰度阈值，a’为所述灰度图像的灰度平均值。
77.由上述描述可知，本发明所采用的感知哈希算法考虑到处理速度的因素，采用灰度平均值比较的方式进行处理，提高数据的处理速度，保证预训练的工作效率。
78.请参照图1至图3，本发明的实施例一为：
79.一种多模态数据处理方法，包括步骤：
80.s1、获取混合数据，所述混合数据包括图像数据以及文本数据。
81.在一些实施例中，所述混合数据中的图像数据与文本数据相互对应，即文本数据用于描述图像数据。
82.s2、根据预设的符号表获取所述文本数据对应的文本编码。
83.在一些实施例中，所述符号表包括符号名称key以及符号名称key对应的编码，可通过key-value检索方式在符号表中查找符号名称key所对应的编码value。
84.具体的，所述符号表包括文字符号名称与第一编码。
85.所述s2包括：
86.s21、根据所述文本数据中每一个文字对所述文字符号名称进行检索，确定每一个所述文字对应的第一编码，并将所述文本数据对应的所有第一编码以数组格式进行存储，得到文本编码。
87.在一些实施例中，所述文本数据对应的所有第一编码以数组格式进行存储，得到的文本编码为indexid1＝[1，2，3，55
…
]。
[0088]
s3、将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码。
[0089]
所述s3包括：
[0090]
s31、将所述图像数据进行预处理，得到多个待处理图像。
[0091]
其中，所述s31具体为：
[0092]
s311、将所述图像数据根据预设比例进行缩放，得到预处理图像。
[0093]
在一些实施例中，将图像数据按照等比例的方式缩放长宽，同时将缩放后的图像嵌入到预设大小的画布中(即图像数据按照画布的大小比例进行缩放，使得图像能够恰好嵌入画布)，得到预处理图像。若嵌入过程中，图像的大小无法与画布的大小完全匹配，则长/宽不足的部分通过补白的方式填充完整。在一种可选的实施方式中，画布的大小为224*224分辨率。
[0094]
s312、将所述预处理图像根据预设大小进行分割，得到多个待处理图像。
[0095]
在一些实施例中，将预处理图像按照每隔预设大小的patch(小块区域)分辨率进行分割，得到多个待处理图像。在一种可选的实施方式中，patch的大小为16*16分辨率。
[0096]
在一些实施例中，画布的大小以及patch的大小影响多模态数据处理的速度，若画布的大小越大，patch的大小越小则多模态数据处理的速度越慢，而画布的大小太小存在图像融合特征不够的问题。
[0097]
s32、将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据。
[0098]
所述s32具体为：
[0099]
s321、将所述待处理图像缩小为预设尺寸，并转换为灰度图像，计算灰度阈值以及所述灰度图像中每一个像素对应的灰度值；
[0100]
所述计算灰度阈值具体为：
[0101]
a＝0.9a
’×
a’+0.99a’；
[0102]
其中，a为灰度阈值，a’为所述灰度图像的灰度平均值。
[0103]
在一些实施例中，参照图3，首先，将待处理图像缩小尺寸，即将待处理图像的尺寸由16*16分辨率缩小为8*8分辨率，则此时图像共包括64个像素。以此去除图像的细节，只保留结构或明暗等基本信息，摒弃不同尺寸或比例带来的图像差异。其次，将待处理图像简化色彩，即将缩小后的待处理图像转化为64级灰度图像，即图像中所有像素点的颜色数量总和为64。最后，计算这64个像素点的灰度平均值以及所对应的灰度阈值。
[0104]
s322、将所述灰度值与所述灰度阈值比较，若所述灰度值大于或等于所述灰度阈值，则所述灰度值对应的像素的标记号为1；若所述灰度值小于灰度阈值，则所述灰度值对应的像素的标记号为0，得到所述待处理图像的指纹数据。
[0105]
返回执行步骤s321-s322，直至得到所有待处理图像的指纹数据。
[0106]
在一些实施例中，画布的大小为224*224分辨率，patch的大小为16*16分辨率，则所述图像数据的指纹数据数量总和为14*14＝196。
[0107]
s33、将所述多个指纹数据分别转换为字符数据，根据所述字符数据中每一个字符对所述图像哈希符号名称进行检索，确定每一个所述字符数据对应的第二编码，并将所述第二编码以数组格式进行存储，得到图像编码。
[0108]
在一种可选的实施方式中，多个指纹数据分别转换为字符数据用hex方式进行表示。
[0109]
在一些实施例中，若patch的大小为16*16分辨率，则每一个待处理图像的字符数据所包含的字符位数为4位。
[0110]
在一些实施例中，所述字符数据对应的所有第二编码以数组格式进行存储，得到的图像编码为indexid2＝[3f3f，3v3r，bed3，fg93...]，其中包含196个图像编码。
[0111]
s4、将所述文本编码与所述图像编码合并处理后输入嵌入层网络进行维度变换，得到嵌入特征。
[0112]
在一些实施例中，所述文本编码与所述图像编码合并处理即直接合并扩展数组。
[0113]
在一些实施例中，若将图像编码indexid2＝＝[f3fe，34fe，53fe]输入嵌入层网络，则得到的嵌入特征为数组形式[344，555，563]。
[0114]
需要说明的是，图2中所示的“+”表示两个tensor矩阵直接相加，实现增加嵌入层网络的偏置项。
[0115]
请参照图4，本发明的实施例二为：
[0116]
一种多模态数据处理终端，包括存储器201、处理器202及存储在所述存储器201上并在所述处理器202上运行的计算机程序，所述处理器202执行所述计算机程序时实现实施例一所述的一种多模态数据处理方法中的各个步骤。
[0117]
综上所述，本发明提供的一种多模态数据处理方法及终端，文本数据通过符号表转换为文本编码，同时将图像数据转换为指纹数据后，将指纹数据通过符号表转换为图像编码，使得图像数据转换为符号形式进行嵌入，从而实现图像数据与文本数据形成统一的符号模态；通过本发明的多模态数据处理方式，图像模态符号可嵌入二维空间位置信息，文字模态符号可嵌入一维空间位置信息，同时可用二维空间位置信息表示一维空间位置信息。此外，本发明无需对不同的模态数据构建不同的数据处理通道，无需训练图像嵌入层，可直接将图像模态与文字模态一起输入预训练模型，实现了混合数据的输入，降低数据处理成本，并且采用感知哈希算法可以直接提取图像数据的指纹数据，无需进行额外的卷积训练，实现即插即用，提高预训练效率。
[0118]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种多模态数据处理方法，其特征在于，包括步骤：获取混合数据，所述混合数据包括图像数据以及文本数据；根据预设的符号表获取所述文本数据对应的文本编码；将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码；将所述文本编码与所述图像编码合并处理后输入嵌入层网络进行维度变换，得到嵌入特征。2.根据权利要求1所述的一种多模态数据处理方法，其特征在于，所述符号表包括文字符号名称与第一编码；所述根据预设的符号表获取所述文本数据对应的文本编码包括：根据所述文本数据中每一个文字对所述文字符号名称进行检索，确定每一个所述文字对应的第一编码，并将所述文本数据对应的所有第一编码以数组格式进行存储，得到文本编码。3.根据权利要求1所述的一种多模态数据处理方法，其特征在于，所述符号表包括图像哈希符号名称与第二编码；所述将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码包括：将所述图像数据进行预处理，得到多个待处理图像；将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据；将所述多个指纹数据分别转换为字符数据，根据所述字符数据中每一个字符对所述图像哈希符号名称进行检索，确定每一个所述字符数据对应的第二编码，并将所述第二编码以数组格式进行存储，得到图像编码。4.根据权利要求3所述的一种多模态数据处理方法，其特征在于，所述将所述图像数据进行预处理，得到多个待处理图像具体为：将所述图像数据根据预设比例进行缩放，得到预处理图像；将所述预处理图像根据预设大小进行分割，得到多个待处理图像；所述将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据具体为：将所述待处理图像缩小为预设尺寸，并转换为灰度图像，计算灰度阈值以及所述灰度图像中每一个像素对应的灰度值；将所述灰度值与所述灰度阈值比较，若所述灰度值大于或等于所述灰度阈值，则所述灰度值对应的像素的标记号为1；若所述灰度值小于灰度阈值，则所述灰度值对应的像素的标记号为0，得到所述待处理图像的指纹数据。5.根据权利要求4所述的一种多模态数据处理方法，其特征在于，所述计算灰度阈值具体为：a＝0.9a
’×
a’+0.99a’；其中，a为灰度阈值，a’为所述灰度图像的灰度平均值。6.一种多模态数据处理终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：获取混合数据，所述混合数据包括图像数据以及文本数据；
根据预设的符号表获取所述文本数据对应的文本编码；将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码；将所述文本编码与所述图像编码合并处理后输入嵌入层网络进行维度变换，得到嵌入特征。7.根据权利要求6所述的一种多模态数据处理终端，其特征在于，所述符号表包括文字符号名称与第一编码；所述根据预设的符号表获取所述文本数据对应的文本编码包括：根据所述文本数据中每一个文字对所述文字符号名称进行检索，确定每一个所述文字对应的第一编码，并将所述文本数据对应的所有第一编码以数组格式进行存储，得到文本编码。8.根据权利要求6所述的一种多模态数据处理终端，其特征在于，所述符号表包括图像哈希符号名称与第二编码；所述将所述图像数据输入感知哈希算法得到指纹数据，并根据所述符号表获取所述指纹数据对应的图像编码包括：将所述图像数据进行预处理，得到多个待处理图像；将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据；将所述多个指纹数据分别转换为字符数据，根据所述字符数据中每一个字符对所述图像哈希符号名称进行检索，确定每一个所述字符数据对应的第二编码，并将所述第二编码以数组格式进行存储，得到图像编码。9.根据权利要求8所述的一种多模态数据处理终端，其特征在于，所述将所述图像数据进行预处理，得到多个待处理图像具体为：将所述图像数据根据预设比例进行缩放，得到预处理图像；将所述预处理图像根据预设大小进行分割，得到多个待处理图像；所述将所述多个待处理图像分别输入感知哈希算法得到多个指纹数据具体为：将所述待处理图像缩小为预设尺寸，并转换为灰度图像，计算灰度阈值以及所述灰度图像中每一个像素对应的灰度值；将所述灰度值与所述灰度阈值比较，若所述灰度值大于或等于所述灰度阈值，则所述灰度值对应的像素的标记号为1；若所述灰度值小于灰度阈值，则所述灰度值对应的像素的标记号为0，得到所述待处理图像的指纹数据。10.根据权利要求8所述的一种多模态数据处理终端，其特征在于，所述计算灰度阈值具体为：a＝0.9a
’×
a’+0.99a’；其中，a为灰度阈值，a’为所述灰度图像的灰度平均值。

技术总结
本发明提供的一种多模态数据处理方法及终端，文本数据通过符号表转换为文本编码，同时将图像数据转换为指纹数据后，将指纹数据通过符号表转换为图像编码，使得图像数据转换为符号形式进行嵌入，从而实现图像数据与文本数据形成统一的符号模态。同时本发明无需对不同的模态数据构建不同的数据处理通道，可实现混合数据的输入，降低数据处理成本，并且采用感知哈希算法可以直接提取图像数据的指纹数据，无需进行额外的卷积训练，实现即插即用，提高预训练效率。预训练效率。预训练效率。


技术研发人员：郑州 钱健 黄建业 林晨翔 刘冰倩 吴飞 熊嘉丽 何德明 林国庆 周晨曦 马腾 郭俊 武欣欣
受保护的技术使用者：国网福建省电力有限公司电力科学研究院
技术研发日：2023.06.07
技术公布日：2023/9/6