图像中文本处理方法及装置、电子设备及可读存储介质与流程

1.本发明涉及图像处理技术领域，特别是涉及图像中文本处理方法及装置、电子设备及可读存储介质。


背景技术：

2.将图像中已有的文本等进行擦除，可以实现该图像的复用等，因此，图像中文本擦除，具有广泛的应用空间。
3.目前，主要是采用photoshop对图像中的文本区域进行抠图，然后采用photoshop方式，直接抓取文本区域周围的像素填充该文本区域，实现文本区域擦除。
4.然而，现有技术的该擦除方式，导致擦除后的图像中，擦除区域和其周围区域，语义连贯性较差。


技术实现要素：

5.本发明实施例的目的在于提供一种图像中文本处理方法及装置、电子设备及可读存储介质，以实现低成本、语义连贯性的擦除图像中的文本区域的技术目的。具体技术方案如下：
6.在本发明实施的第一方面，首先提供了一种图像中文本处理方法，所述方法包括：
7.对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域；
8.根据所述第一图像中的第一文本区域，生成所述第一图像对应的文本掩码图像；
9.基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除。
10.在本发明实施的第二方面，还提供了一种图像中文本处理装置，所述装置包括：
11.分类模块，用于对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域；
12.文本掩码图像生成模块，用于根据所述第一图像中的第一文本区域，生成所述第一图像对应的文本掩码图像；
13.擦除模块，用于基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除。
14.在本发明实施的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的图像中文本处理方法。
15.在本发明实施的第四方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像中文本处理方法。
16.本发明实施例提供的图像中文本处理方法，通过对第一图像中的像素进行文本和非文本的分类，能够准确划分出第一图像中的第一文本区域，基于第一图像对应的文本掩码图像和该第一图像，对第一图像中的第一文本区域进行擦除的过程中，由于该文本掩码
图像能够适当体现第一文本区域内待擦除后的各个像素，与周边区域的背景像素语义上的连贯特征，因此，该擦除方式，可以提升擦除后的第一图像中，擦除后的第一文本区域和其周围区域的语义连贯性，而且该方法适用于所有的图像中的文本的擦除，适用范围广，可以解决对图像中文本擦除成本高、且擦除后的图像中，擦除后的文本区域和其周围区域的语义连贯性较差的技术问题，进而能够提升文本擦除效果，并降低了文本擦除的成本。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
18.图1为本发明实施例中的一种图像中文本处理方法的步骤流程图；
19.图2为本发明实施例中的一种图像中文本处理方法的流程示意图；
20.图3为本发明实施例中的一种图像中文本处理装置的结构示意图；
21.图4为本发明实施例中的一种电子设备的示意图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
23.图1为本发明实施例中的一种图像中文本处理方法的步骤流程图，如图1所示，该方法包括：
24.步骤101、对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域。
25.此处的第一图像可以是图片或视频等，在本发明实施例中，对此不作具体限定。例如，此处的第一图像可以是海报等，海报是常见的一种招贴形式，多用于电影、电视剧、戏剧、比赛、文艺演出、促销等活动。海报中通常包括活动的性质、主办单位、时间、地点等文本内容，多用于影视剧和新品宣传中，利用图片、文字、色彩、空间等要素进行完整的结合。海报中往往图文镶嵌，且海报中元素较多，背景较为复杂，采用photoshop抠图耗费较大的时间成本等，且抠图修复后容易存在瑕疵，主要是擦除后的文本区域和其周围区域的语义连贯性较差。
26.第一图像中的第一文本区域可以包括该第一图像中的所有的文本区域，或者，可以包括该第一图像中的部分文本区域，本发明实施例对此也不作具体限定。例如，第一图像为海报，海报的第一文本区域可以包括其上的所有文本区域。
27.可以采用语义分割等方式，对第一图像中的像素进行文本和非文本的二分类，得到第一图像中的第一文本区域。对于第一图像中的第一文本区域的获取方式也不作具体限定。
28.例如，该步骤可以为：将第一图像进行去噪，对去噪后的第一图像进行二值化，得到包括文字的前景区域，接着针对该前景区域，进行文字区域和非文字区域分割，得到第一图像中的第一文本区域。
29.步骤102、根据所述第一图像中的第一文本区域，生成所述第一图像对应的文本掩码图像。
30.该步骤就是将文本掩码图像中与第一文本区域对应的区域，和非第一文本区域对
应的区域，分别赋予不同像素值，以达到在文本掩码图像中，区分第一文本区域对应的区域，和非第一文本区域对应的区域的目的。
31.步骤103、基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除。
32.该文本区域周围的像素是该第一文本区域的背景像素，该步骤主要是依据第一图像中的第一文本区域周边区域的背景像素，对该第一文本区域进行修复，以达到擦除该第一文本区域的目的。该步骤中可以先依据第一图像中的第一文本区域周边区域的背景像素，以及该第一图像对应的文本掩码图像中的第一文本区域的信息，生成第一图像中的第一文本区域内待擦除后的各个像素，使得其与周边区域的背景像素能够实现语义上的连贯性，然后采用该第一文本区域内待擦除后的各个像素，替换第一图像中的第一文本区域中的各个对应的像素。
33.本发明实施例提供的图像中文本处理方法，通过对第一图像中的像素进行文本和非文本的分类，不管是复杂的图像还是简单的图像，均能够准确划分出第一图像中的第一文本区域，借助于第一图像对应的文本掩码图像和该第一图像，在对第一图像中的第一文本区域擦除的过程中，由于该文本掩码图像能够适当体现第一文本区域内待擦除后的各个像素，与周边区域的背景像素语义上的连贯特征，因此，该擦除方式，可以提升擦除后的第一图像中，擦除后的第一文本区域和其周围区域的语义连贯性，而且该方法适用于所有的图像中的文本的擦除，适用范围广，可以解决对图像中文本擦除成本高、且擦除后的图像中，擦除后的文本区域和其周围区域的语义连贯性较差的技术问题，进而能够提升文本擦除效果，并降低了文本擦除的成本。
34.可选的，前述步骤101可以包括：
35.步骤201、借助于预设的文本分割模型，基于目标检测和语义分割，对第一图像中的像素进行文本和非文本的分类，得到该第一图像中的第一文本区域等。该预设的文本分割模型可以包括：全连接神经网络(fully connected neural network，fcnn)、卷积神经网络(convolutionalneural networks，cnn)、区域选取网络(region proposal networks，rpn)等，对第一图像中的像素进行文本和非文本的分类，获取到第一图像中的第一文本区域。
36.具体的，对第一图像先进行目标检测，然后再进行语义分割。更为具体的，目标检测主要是检测出文字在第一图像中的大概区域，并在文字的大概区域处划出文字边框。语义分割主要是对文字边框进行逐像素的分类，从像素级别标记出文字边框中的文字像素，然后将该文字边框，以及该文字边框中的文字像素，确定为该第一图像的第一文本区域。通过目标检测和语义分割两者相结合能够准确的获取到第一图像中的第一文本区域。
37.更为具体的，该预设的文本分割模型可以是蒙面cnn区域选取网络(mask regions with cnn features，mask r-cnn)，mask r-cnn主要包括：第一图像输入部分、主体网络、rpn网络、roi部分和掩码部分。第一图像输入部分、主体网络、rpn网络和roi部分，四部分配合进行目标检测，掩码部分主要进行语义分割。第一图像输入部分可以是特征金字塔(feature pyramid network，fpn)，主要用于提取第一图像中的文字特征。主体网络和rpn网络主要用于对第一图像中的文字特征进行处理，并生成候选区域，roi部分主要用于判断候选区域是否有文字内容，若有文字内容，则在该候选区域外生成文字边框。掩码部分把对
文字边框进行逐像素的分类，从像素级别标记出文字边框中的文字像素，然后将该文字边框，以及该文字边框中的文字像素，确定为该第一图像的第一文本区域，进而实现了对第一图像中第一文本区域和非第一文本区域的分割。
38.可选的，该步骤201之前，该方法还可以包括：基于样本图像，训练得到该预设的文本分割模型。该样本图像包括：第四文本区域，以及除了该第四文本区域之外的其余区域。该模型的训练方式具体可以为：提供大量的样本图像，各个样本图像中可以包括有第四文本区域，以及除了该第四文本区域之外的其他区域，除了该第四文本区域之外的其他区域为非文本区域。将各个样本图像中的第四文本区域进行人为标注，并将各个样本图像中的非文本区域进行人为标注。将上述大量的样本图像输入原始的文本分割模型，调整该原始的文本分割模型的模型参数等，使得其输出的针对上述各个样本图像中的第四文本区域和非文本区域的分割结果，与人为标注的结果相同或相似度较高，得到该预设的文本分割模型。
39.由于该预设的文本分割模型是基于大量的样本图像训练得到的，进而对于第一图像中文本和非文本的分类结果准确性较高，可以准确获得第一图像中的第一文本区域，使得对于该第一图像中的第一文本区域的擦除较为准确。且训练完成后，该预设的文本分割模型针对所有的第一图像均使用，适用范围广，进而可以适当降低文本擦除的成本。
40.可选的，文本掩码图像包括：与所述第一文本区域对应的第二文本区域；所述第二文本区域在所述文本掩码图像中的位置，与所述第一文本区域在所述第一图像中的位置，对应相同；所述第二文本区域的尺寸，等于所述第一文本区域的尺寸。
41.就是在文本掩码图像中，具有与第一文本区域对应的第二文本区域，该第二文本区域在文本掩码图像中的位置，和第二文本区域的尺寸，与第一文本区域在第一图像中的位置和第一文本区域的尺寸对应相同，第二文本区域的尺寸，等于第一文本区域的尺寸，该文本掩码图像中的第二文本区域，与第一图像中的第一文本区域中的各个像素一一对应。
42.可选的，前述步骤102即生成上述文本掩码图像的方法可以包括：
43.步骤2021、生成尺寸与所述第一图像的尺寸相等的第二图像；所述第二图像包括：与所述第一文本区域对应的第三文本区域；所述第三文本区域在所述第二图像中的位置，与所述第一文本区域在所述第一图像中的位置，对应相同；所述第三文本区域的尺寸，等于所述第一文本区域的尺寸。
44.步骤2022、将所述第二图像中，所述第三文本区域内的所有像素的像素值，均设置为第一预设像素值，将所述第二图像中，除了所述第三文本区域之外的其余区域的所有像素的像素值，均设置为第二预设像素值，得到所述文本掩码图像；所述第一预设像素值与所述第二预设像素值不同。
45.就是说先生成一个和第一图像尺寸相等的第二图像，且在第二图像中，具有与第一文本区域对应的第三文本区域，该第三文本区域在第二图像中的位置，和第三文本区域的尺寸，与第一文本区域在第一图像中的位置和第一文本区域的尺寸对应相同，第三文本区域的尺寸，等于第一文本区域的尺寸。该步骤中，对于第二图像中，第三文本区域和除了第三文本区域之外的其他区域的像素值不作具体限定。
46.前述步骤2022中的第一预设像素值具体是多少不作限定，该第二预设像素值具体是多少也不作限定，只需保证第一预设像素值和第二预设像素值不同即可。然后，将第二图
像中，第三文本区域内的所有像素的像素值，均设置为第一预设像素值，将第二图像中，除了该第三文本区域之外的其余区域的所有像素的像素值，均设置为第二预设像素值，得到文本掩码图像，该方式可以便捷得到第一图像对应的文本掩码图像，并可以简洁明了的区分文本区域和其他区域。
47.例如，可以将第二图像中第三文本区域的所有像素的像素值，均设置为0，将第二图像中除了第三文本区域之外的其他区域的所有像素值设置为255，得到该文本掩码图像，以简洁明了的区分文本区域和其他区域。
48.该步骤103可以包括：步骤203、将所述第一图像和所述文本掩码图像，输入预设的文本擦除模型，对所述第一图像中的所述第一文本区域进行擦除。该预设的文本擦除模型为提前训练好的，输入第一图像和文本掩码图像后，就可以输出文本擦除后的第一图像。文本擦除模型是提前训练好的，训练过程中，明确关注了第一文本区域内待擦除后的各个像素，与周边区域的背景像素语义上的连贯特征，因此基于文本擦除模型可以获得相对较好的文本擦除效果，可以提升擦除后的第一图像中，擦除后的第一文本区域和其周围区域的语义连贯性，且该文本擦除模型训练好之后，能够适用于所有图像中的文本擦除，适用范围广，可以是适当降低文本擦除成本。该预设的文本擦除模型可以包括：全卷积网络等。
49.可选的，该步骤203可以包括：步骤2031、将第一图像和该文本掩码图像，输入该预设的文本擦除模型，该预设的文本擦除模型，将该文本掩码图像中与该第一文本区域对应的第二文本区域，覆盖在该第一图像中的该第一文本区域上，得到覆盖图像。步骤2032、该预设的文本擦除模型对该覆盖图像进行下采样，得到下采样特征图。步骤2033、该预设的文本擦除模型，对下采样特征图进行至少一次快速傅里叶卷积，得到卷积特征图。步骤2034、该预设的文本擦除模型，对该卷积特征图进行上采样，得到上采样特征图。步骤2035、该预设的文本擦除模型，用该上采样特征图中与第一文本区域对应的区域，替换第一图像中的第一文本区域，以对第一图像中的所述第一文本区域进行擦除。
50.具体的，预设的文本擦除模型主要可以包括：下采样层、快速傅里叶卷积ffc残差块和上采样层。将文本掩码图像中与第一文本区域对应的第二区域，覆盖在第一图像中的第一文本区域，就是将第一图像中的第一文本区域，替换为文本掩码图像中与第一文本区域对应的第二区域，该第一图像中的其他区域保持不变，就得到了该覆盖图像。然后先通过下采样层对覆盖图像进行下采样，主要是对覆盖图像中除了与第一文本区域之外的其他区域，进行下采样，以得到下采样特征图，然后经过至少一个快速傅里叶卷积ffc残差块，对下采样特征图进行至少一次快速傅里叶卷积，得到卷积特征图，通过上采样层对卷积特征图进行上采样，以得到上采样特征图，该上采样特征图主要是第一图像中，与第一文本区域对应的区域的修复图。用该上采样特征图替换该第一图像中的第一文本区域，进而得到第一文本区域擦除后的第一图像。其中，使用快速傅里叶卷积，具有图像宽度收域，高感受野感受损失，下采样特征图中包括覆盖图像中，除了与第一文本区域之外的其他区域的全局关键特征，和局部关键特征，全局关键特征保留覆盖图像中除了与第一文本区域之外的其他区域的全局视觉信息，局部关键特征体现覆盖图像中除了与第一文本区域之外的其他区域更细粒度的视觉信息。在每一次快速傅里叶卷积时，将与空间域中的卷积一起处理局部特征，并在频域中使用傅里叶卷积来分析全局特征，从而可以修复出高分辨率、高质量的上采样特征图。
51.例如，该预设的文本擦除模型可以为：lama(large mask inpainting，大型掩码图像修复)模型等。
52.图2为本发明实施例中的一种图像中文本处理方法的流程示意图，如图2所示，就是基于预设的文本分割模型，对第一图像的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域，然后生成文本掩码图像，接着将该第一图像和该文本掩码图像输入lama模型，得到将第一图像中第一文本区域擦除后的擦除图像。
53.图3为本发明实施例中的一种图像中文本处理装置的结构示意图。本发明实施例还提供一种图像中文本处理装置，参照图3所示，该装置可以包括：
54.分类模块301，用于对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域。
55.文本掩码图像生成模块302，用于根据所述第一图像中的第一文本区域，生成所述第一图像对应的文本掩码图像。
56.擦除模块303，用于基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除。
57.可选的，擦除模块303可以包括：擦除子模块，用于将所述第一图像和所述文本掩码图像，输入预设的文本擦除模型，对所述第一图像中的所述第一文本区域进行擦除。
58.可选的，擦除子模块可以包括：覆盖单元，用于将所述第一图像和所述文本掩码图像，输入所述预设的文本擦除模型，所述预设的文本擦除模型，将所述文本掩码图像中与所述第一文本区域对应的第二区域，覆盖在所述第一图像中的所述第一文本区域，得到覆盖图像；下采样单元，用于所述预设的文本擦除模型对所述覆盖图像进行下采样，得到下采样特征图；卷积单元，用于所述预设的文本擦除模型，对所述下采样特征图进行至少一次快速傅里叶卷积，得到卷积特征图；上采样单元，用于所述预设的文本擦除模型，对所述卷积特征图进行上采样，得到上采样特征图；擦除单元，用于所述预设的文本擦除模型，用所述上采样特征图中与所述第一文本区域对应的区域，替换所述第一图像中的第一文本区域，以对所述第一图像中的所述第一文本区域进行擦除。
59.可选的，分类模块301可以包括：分类子模块，用于采用预设的文本分割模型，基于目标检测和语义分割，对所述第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域。
60.可选的，所述文本掩码图像包括：与所述第一文本区域对应的第二文本区域；所述第二文本区域在所述文本掩码图像中的位置，与所述第一文本区域在所述第一图像中的位置，对应相同；所述第二文本区域的尺寸，等于所述第一文本区域的尺寸。
61.可选的，文本掩码图像生成模块302可以包括：第二图像生成子模块，用于生成尺寸与所述第一图像的尺寸相等的第二图像；所述第二图像包括：与所述第一文本区域对应的第三文本区域；所述第三文本区域在所述第二图像中的位置，与所述第一文本区域在所述第一图像中的位置，对应相同；所述第三文本区域的尺寸，等于所述第一文本区域的尺寸；文本掩码图像生成子模块，用于将所述第二图像中，所述第三文本区域内的所有像素的像素值，均设置为第一预设像素值，将所述第二图像中，除了所述第三文本区域之外的其余区域的所有像素的像素值，均设置为第二预设像素值，得到所述文本掩码图像；所述第一预设像素值与所述第二预设像素值不同。
62.可选的，图像中文本处理装置还可以包括：训练模块，用于基于样本图像，训练得到所述预设的文本分割模型；所述样本图像包括：第四文本区域，以及除了所述第四文本区域之外的其余区域。
63.需要说明的是，对于图像中文本处理装置可以参照前述的图像中文本处理方法中的相关记载，且能达到相同或相似的有益效果，为了避免重复，此处不再赘述。
64.本发明实施例还提供了一种电子设备，图4为本发明实施例中的一种电子设备的示意图。如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
65.存储器403，用于存放计算机程序；
66.处理器401，用于执行存储器403上所存放的程序时，实现如下步骤：
67.对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域；
68.根据所述第一图像中的第一文本区域，生成所述第一图像对应的文本掩码图像；
69.基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除。
70.可选的，所述基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除，包括：
71.将所述第一图像和所述文本掩码图像，输入预设的文本擦除模型，对所述第一图像中的所述第一文本区域进行擦除。
72.可选的，所述将所述第一图像和所述文本掩码图像，输入预设的文本擦除模型，对所述第一图像中的所述第一文本区域进行擦除，包括：
73.将所述第一图像和所述文本掩码图像，输入所述预设的文本擦除模型，所述预设的文本擦除模型，将所述文本掩码图像中与所述第一文本区域对应的第二文本区域，覆盖在所述第一图像中的所述第一文本区域上，得到覆盖图像；
74.所述预设的文本擦除模型对所述覆盖图像进行下采样，得到下采样特征图；
75.所述预设的文本擦除模型，对所述下采样特征图进行至少一次快速傅里叶卷积，得到卷积特征图；
76.所述预设的文本擦除模型，对所述卷积特征图进行上采样，得到上采样特征图；
77.所述预设的文本擦除模型，用所述上采样特征图中与所述第一文本区域对应的区域，替换所述第一图像中的第一文本区域，以对所述第一图像中的所述第一文本区域进行擦除。
78.可选的，所述对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域，包括：
79.采用预设的文本分割模型，基于目标检测和语义分割，对所述第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域。
80.可选的，所述文本掩码图像包括：与所述第一文本区域对应的第二文本区域；所述第二文本区域在所述文本掩码图像中的位置，与所述第一文本区域在所述第一图像中的位置，对应相同；所述第二文本区域的尺寸，等于所述第一文本区域的尺寸。
81.可选的，所述根据所述第一图像的第一文本区域，生成尺寸与所述第一图像的尺寸相等的文本掩码图像，包括：
82.生成尺寸与所述第一图像的尺寸相等的第二图像；所述第二图像包括：与所述第一文本区域对应的第三文本区域；所述第三文本区域在所述第二图像中的位置，与所述第一文本区域在所述第一图像中的位置，对应相同；所述第三文本区域的尺寸，等于所述第一文本区域的尺寸；
83.将所述第二图像中，所述第三文本区域内的所有像素的像素值，均设置为第一预设像素值，将所述第二图像中，除了所述第三文本区域之外的其余区域的所有像素的像素值，均设置为第二预设像素值，得到所述文本掩码图像；所述第一预设像素值与所述第二预设像素值不同。
84.可选的，所述采用预设的文本分割模型，基于目标检测和语义分割，对所述第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域之前，所述方法还包括：
85.基于样本图像，训练得到所述预设的文本分割模型；所述样本图像包括：第四文本区域，以及除了所述第四文本区域之外的其余区域。
86.上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
87.通信接口用于上述终端与其他设备之间的通信。
88.存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
89.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
90.在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像中文本处理方法。
91.在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像中文本处理方法。
92.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或
数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
93.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
94.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
95.以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

技术特征：
1.一种图像中文本处理方法，其特征在于，所述方法包括：对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域；根据所述第一图像中的第一文本区域，生成所述第一图像对应的文本掩码图像；基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除。2.根据权利要求1所述的方法，其特征在于，所述基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除，包括：将所述第一图像和所述文本掩码图像，输入预设的文本擦除模型，对所述第一图像中的所述第一文本区域进行擦除。3.根据权利要求2所述的方法，其特征在于，所述将所述第一图像和所述文本掩码图像，输入预设的文本擦除模型，对所述第一图像中的所述第一文本区域进行擦除，包括：将所述第一图像和所述文本掩码图像，输入所述预设的文本擦除模型，所述预设的文本擦除模型，将所述文本掩码图像中与所述第一文本区域对应的第二文本区域，覆盖在所述第一图像中的所述第一文本区域上，得到覆盖图像；所述预设的文本擦除模型对所述覆盖图像进行下采样，得到下采样特征图；所述预设的文本擦除模型，对所述下采样特征图进行至少一次快速傅里叶卷积，得到卷积特征图；所述预设的文本擦除模型，对所述卷积特征图进行上采样，得到上采样特征图；所述预设的文本擦除模型，用所述上采样特征图中与所述第一文本区域对应的区域，替换所述第一图像中的第一文本区域，以对所述第一图像中的所述第一文本区域进行擦除。4.根据权利要求1所述的方法，其特征在于，所述对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域，包括：采用预设的文本分割模型，基于目标检测和语义分割，对所述第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域。5.根据权利要求1至4中任一所述的方法，其特征在于，所述文本掩码图像包括：与所述第一文本区域对应的第二文本区域；所述第二文本区域在所述文本掩码图像中的位置，与所述第一文本区域在所述第一图像中的位置，对应相同；所述第二文本区域的尺寸，等于所述第一文本区域的尺寸。6.根据权利要求1至4中任一所述的方法，其特征在于，所述根据所述第一图像中的第一文本区域，生成所述第一图像对应的文本掩码图像，包括：生成尺寸与所述第一图像的尺寸相等的第二图像；所述第二图像包括：与所述第一文本区域对应的第三文本区域；所述第三文本区域在所述第二图像中的位置，与所述第一文本区域在所述第一图像中的位置，对应相同；所述第三文本区域的尺寸，等于所述第一文本区域的尺寸；将所述第二图像中，所述第三文本区域内的所有像素的像素值，均设置为第一预设像素值，将所述第二图像中，除了所述第三文本区域之外的其余区域的所有像素的像素值，均设置为第二预设像素值，得到所述文本掩码图像；所述第一预设像素值与所述第二预设像素值不同。
7.根据权利要求4所述的方法，其特征在于，所述采用预设的文本分割模型，基于目标检测和语义分割，对所述第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域之前，所述方法还包括：基于样本图像，训练得到所述预设的文本分割模型；所述样本图像包括：第四文本区域，以及除了所述第四文本区域之外的其余区域。8.一种图像中文本处理装置，其特征在于，所述装置包括：分类模块，用于对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域；文本掩码图像生成模块，用于根据所述第一图像中的第一文本区域，生成所述第一图像对应的文本掩码图像；擦除模块，用于基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除。9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-7中任一所述的方法步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

技术总结
本发明实施例提供了一种图像中文本处理方法及装置、电子设备及可读存储介质，涉及图像处理技术领域。方法包括：对第一图像中的像素进行文本和非文本的分类，得到所述第一图像中的第一文本区域；根据所述第一图像中的第一文本区域，生成所述第一图像对应的文本掩码图像；基于所述文本掩码图像，对所述第一图像中的所述第一文本区域进行擦除。本申请能够提升擦除后的第一图像中，擦除后的第一文本区域和其周围区域的语义连贯性，而且该方法适用于所有的图像中的文本的擦除，适用范围广，能够提升文本擦除效果，并降低了文本擦除的成本。并降低了文本擦除的成本。并降低了文本擦除的成本。


技术研发人员：尹天舒
受保护的技术使用者：北京奇艺世纪科技有限公司
技术研发日：2023.05.25
技术公布日：2023/9/12