一种基于人工智能生成技术的图片生成方法和系统与流程
未命名
10-08
阅读:76
评论:0

1.本说明书涉及图像处理领域,特别涉及一种基于人工智能生成技术的图片生成方法和系统。
背景技术:
2.近年来,已有大量程序或平台等可以实现图片的自动生成。然而,对于生成图片的真实性、协调性等质量的判断涉及较少。如何提高生成的图片的质量,是急需解决的问题。cn107220600b公开一种基于深度学习的图片生成方法及生成对抗网络,其利用生成对抗网络生成指定类别的图片,但是未涉及如何提高生成的图片的质量。
3.因此,希望提供一种基于人工智能生成技术的图片生成方法和系统,可以自动生成用户需求的图像,且对图像的质量进行验证,提高图像的质量,提升用户的使用体验。
技术实现要素:
4.本说明书实施例之一提供一种基于人工智能生成技术的图片生成方法,所述方法包括:获取用户的用户输入信息和用户特征;基于所述用户输入信息和所述用户特征,通过服装数据库确定至少一个优选服装组合;基于所述用户特征和所述至少一个优选服装组合,生成至少一张初始图像;对所述至少一张初始图像执行至少一轮迭代,直至满足迭代结束条件,确定目标图像;其中,所述至少一轮包括:基于至少一张第一候选图像及所述至少一张第一候选图像的至少一组第一评估值,生成当前轮的至少一张第二候选图像,所述至少一张第一候选图像包括至少一张初始图像或上一轮迭代生成的至少一张第二候选图像;对所述至少一张第二候选图像的协调性进行评估,确定至少一组第二评估值;基于所述至少一组第二评估值,判断是否满足所述迭代结束条件;响应于否,进入下一轮迭代;响应于是,结束迭代,基于所述至少一张第二候选图像和所述至少一组第二评估值确定所述目标图像。
5.本说明书实施例之一提供一种基于人工智能生成技术的图片生成系统,所述系统包括:获取模块,用于获取用户的用户输入信息和用户特征;第一确定模块,用于基于所述用户输入信息和所述用户特征,通过服装数据库确定至少一个优选服装组合;生成模块,用于基于所述用户特征和所述至少一个优选服装组合,生成至少一张初始图像;第二确定模块,用于对所述至少一张初始图像执行至少一轮迭代,直至满足迭代结束条件,确定目标图像;其中,所述至少一轮包括:基于至少一张第一候选图像及所述至少一张第一候选图像的至少一组第一评估值,生成当前轮的至少一张第二候选图像,所述至少一张第一候选图像包括至少一张初始图像或上一轮迭代生成的至少一张第二候选图像;对所述至少一张第二候选图像的协调性进行评估,确定至少一组第二评估值;基于所述至少一组第二评估值,判断是否满足所述迭代结束条件;响应于否,进入下一轮迭代;响应于是,结束迭代,基于所述至少一张第二候选图像和所述至少一组第二评估值确定所述目标图像。
6.本说明书实施例之一提供一种基于人工智能生成技术的图片生成装置,所述装置包括至少一个处理器以及至少一个存储器;所述至少一个存储器用于存储计算机指令;所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现所述的基于人工智能生成技术的图片生成方法。
7.本说明书实施例之一提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行所述的基于人工智能生成技术的图片生成方法。
附图说明
8.本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
9.图1是根据本说明书一些实施例所示的基于人工智能生成技术的图片生成系统的示例性模块图;
10.图2是根据本说明书一些实施例所示的基于人工智能生成技术的图片生成方法的示例性流程图;
11.图3是根据本说明书一些实施例所示的生成第二候选图像的示例性流程图;
12.图4是根据本说明书一些实施例所示的确定第二评估值的示例性流程图;
13.图5是根据本说明书一些实施例所示的评估第二候选图像中的图像元素之间的协调性的示例性示意图;
14.图6是根据本说明书一些实施例所示的确定目标图像的至少一轮迭代的示例性流程图。
具体实施方式
15.为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
16.应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
17.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
18.随着人工智能的发展,人工智能生成技术(ai-generated content,aigc)开始应用于各种领域,例如建筑设计、图像/视频处理、医疗领域等。cn107220600b公开一种基于深度学习的图片生成方法及生成对抗网络,其利用生成对抗网络生成指定类别的图片,但是
未涉及如何提高生成的图片的质量。
19.有鉴于此,本说明一些实施例提供了一种基于人工智能生成技术的图片生成方法和系统,可以自动生成用户需求的图像,且对图像的质量进行验证,提高图像的质量,提升用户的使用体验。
20.图1是根据本说明书一些实施例所示的基于人工智能生成技术的图片生成系统的示例性模块图。如图1所示,基于人工智能生成技术的图片生成系统100可以包括获取模块110、第一确定模块120、生成模块130和第二确定模块140。
21.在一些实施例中,获取模块110可以用于获取用户的用户输入信息和用户特征。
22.在一些实施例中,第一确定模块120可以用于基于用户输入信息和用户特征,通过服装数据库确定至少一个优选服装组合。
23.在一些实施例中,第一确定模块120还可以用于基于用户输入信息和用户特征,确定用户的服装偏好特征;基于服装偏好特征,通过服装数据库确定至少一个优选服装组合。
24.在一些实施例中,生成模块130可以用于基于用户特征和至少一个优选服装组合,生成至少一张初始图像。
25.在一些实施例中,第二确定模块140可以用于对至少一张初始图像执行至少一轮迭代,直至满足迭代结束条件,确定目标图像。
26.确定目标图像的至少一轮迭代包括:基于至少一张第一候选图像及至少一张第一候选图像的至少一组第一评估值,生成当前轮的至少一张第二候选图像,至少一张第一候选图像包括至少一张初始图像或上一轮迭代生成的至少一张第二候选图像;对至少一张第二候选图像的协调性进行评估,确定至少一组第二评估值;基于至少一组第二评估值,判断是否满足迭代结束条件;响应于否,进入下一轮迭代;响应于是,结束迭代,基于至少一张第二候选图像和至少一组第二评估值确定目标图像。
27.在一些实施例中,第二确定模块140还可以用于基于至少一组第一评估值,确定至少一张第一候选图像的待调整元素和待调整元素的调整参数,调整参数包括调整维度、调整方向、位置调整和调整幅度中的至少一种;基于调整参数,对待调整元素进行调整,生成至少一张第二候选图像。
28.在一些实施例中,第二确定模块140还可以用对于至少一张第二候选图像中的每一张,评估第二候选图像中的图像元素之间的协调性,图像元素包括人像、背景、装饰和虚拟服装中的至少一种;基于协调性,确定第二候选图像的第二评估值。
29.关于上述基于人工智能生成技术的图片生成系统的更多内容,可以参见图2至图6的相关描述。
30.需要注意的是,以上对于基于人工智能生成技术的图片生成系统及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。在一些实施例中,图1中披露的模块可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。诸如此类的变形,均在本说明书的保护范围之内。
31.图2是根据本说明书一些实施例所示的基于人工智能生成技术的图片生成方法的示例性流程图。在一些实施例中,流程200可以由基于人工智能生成技术的图片生成系统
100执行。如图2所示,流程200包括下述步骤:
32.步骤210,获取用户的用户输入信息和用户特征。
33.用户输入信息是指用户通过用户终端输入的需求信息。例如,用户输入信息可以包括用户所需购买的服装种类、用户个人性格、用户喜欢的风格、用户选择的穿搭图片等。
34.用户特征是指可以表征用户的个人信息的相关数据。在一些实例中,用户特征可以包括用户性别、用户年龄、用户形体数据、用户图像(包括用户的三维和/或二维图像)等信息。在一些实施例中,获取模块110可以通过用户在用户终端的输入、通过用户终端的摄像头等获取用户特征。在一些实施例中,获取模块110可以基于用户二维图像生成用户三维图像。
35.在一些实施例中,获取模块110还可以基于人脸识别、账号输入等方式确定用户的身份信息,通过身份信息从用户信息库中获取用户特征。用户信息库是指用于存储用户信息的数据库。用户信息库可以记录用户每次输入的用户输入信息、记录用户每次选择的用户特征,还可以用于存储用户的历史服装购买记录和历史服装评价记录等。
36.步骤220,基于用户输入信息和用户特征,通过服装数据库确定至少一个优选服装组合。
37.服装数据库是指用于存储服装信息的数据库。在一些实施例中,服装数据库可以存储服装的二维和/或三维图像信息、服装的类型、颜色、款式等多种数据。
38.优选服装组合是指选取服装数据库中与用户输入信息和用户特征匹配的服装构成的服装组合。在一些实施例中,优选服装组合可以包括与用户匹配的服装(如外套、裤子、帽子等)的单一种类或其任意组合。
39.在一些实施例中,第一确定模块120可以基于用户输入信息和用户特征在服装数据库中进行检索,基于检索结果确定优选服装组合。例如,用户所需购买的服装种类为裤子,则将检索排名前5的裤子分别作为5个优选服装组合。又例如,用户所需购买的服装为裤子和外套,则将检索排名前3的裤子和外套进行交叉搭配,并将每组搭配结果作为一个优选服装组合。
40.在一些实施例中,第一确定模块120可以基于用户输入信息和用户特征,确定用户的服装偏好特征;基于服装偏好特征,通过服装数据库确定至少一个优选服装组合。
41.服装偏好特征是可以表征用户对于服装的选择倾向的数据。例如,服装偏好特征可以包括用户所需购买的服装种类颜色特征(如,具体颜色、颜色风格等)、服装图案风格特征(如,图案大小、图案复杂程度、图案内容类型等)、服装风格特征(如,宽松、修身等)等。
42.在一些实施例中,第一确定模块120可以基于图像特征提取算法(如,方向梯度直方图(histogram of oriented gradient,hog)特征提取算法、局部二值模式(local binary pattern,lbp)特征提取算法等)对用户输入信息中用户选择的穿搭图片的服装特征进行提取、分析和统计。并基于统计结果和用户个人性格、用户喜欢的风格、用户特征构建偏好向量。第一确定模块120可以基于偏好向量在向量数据库中进行检索,将相似度大于偏好相似度阈值的参考偏好向量的对应的参考服装偏好特征确定为服装偏好特征。向量数据库包括多个参考偏好向量。每个参考偏好向量对应一个参考服装偏好特征。
43.向量数据库是指用于存储多个参考偏好向量及其对应的参考服装偏好特征的数据库。在一些实施例中,第一确定模块120可以基于历史销售记录构建参考偏好向量。例如,
基于历史用户的用户输入信息和用户特征构建参考偏好向量,并根据该历史用户购买服装后的评价和保留情况(是否退货及退货原因等)确定该历史用户的可能服装偏好特征,进而确定参考服装偏好特征。示例性的若该历史用户购买该服装后用户反馈很喜欢,或者没有因为款式原因退货,则可以将该历史用户的可能服装偏好特征作为参考服装偏好特征。
44.在一些实施例中,若多个历史用户对应的参考偏好向量相同或者相近,第一确定模块120还可以将多个参考偏好向量对应的参考服装偏好特征进行合并。
45.在一些实施例中,服装偏好特征可以相关于用户服装变迁特征,用户服装变迁特征基于用户的历史服装购买记录和历史服装评价记录确定。
46.用户服装变迁特征是指某一用户所购买的服装的风格(如,颜色、款式等)随时间变化的情况信息。例如,用户a的服装变迁特征可以表征用户a每次购买的服装的颜色的变化情况。在一些实施例中,可以基于用户的历史服装购买记录和历史服装评价记录确定用户服装变迁特征。例如,用户服装变迁特征可以使用基于用户的历史服装购买记录和历史服装评价记录所构建的向量表示。
47.在一些实施例中,第一确定模块120基于用户的历史服装购买记录确定用户的历史购买服装风格;基于历史服装评价记录判断该历史服装对应的风格是否可以用于构建用户服装变迁特征。如,若历史购买服装风格对应的历史服装评价记录是“满意”,则该历史购买服装风格可以用于构建用户服装变迁特征。
48.在一些实施例中,服装偏好特征相关于用户服装变迁特征。例如,第一确定模块120可以基于用户的服装变迁特征确定用户偏好变化幅度,并根据用户偏好变化幅度调整检索向量数据库时的偏好相似度阈值。示例性的,用户偏好变化幅度越大,说明用户越容易尝试更多风格的服装,相应的可以将偏好相似度阈值调小。
49.本说明书的一些实施例,基于用户的历史服装购买记录和历史服装评价记录确定用户服装变迁特征,并基于用户服装变迁特征调整确定服装偏好特征时的偏好相似度阈值,可以使得确定的服装偏好特征更准确,更加符合用户的个人喜好,提升用户的使用体验。
50.在一些实施例中,第一确定模块120基于服装偏好特征、用户所需购买的服装类型,检索服装数据库中符合服装偏好的服装。例如,用户所需购买的服装种类为裤子,用户的服装偏好特征包括深色、图案简洁等,第一确定模块120可以检索服装库里面满足上述条件的排名前5的裤子分别作为5个优选服装组合。
51.基于服装偏好特征确定优选服装组合,可以在确定优选服装组合时考虑用户的偏好因素,使得确定的优选服装组合与用户的喜好更为匹配,提升用户的使用体验。
52.步骤230,基于用户特征和至少一个优选服装组合,生成至少一张初始图像。
53.初始图像是指基于用户图像和确定的优选服装组合的图像生成的合成图像。在一些实施例中,初始图像可以包括二维图像、三维图像等。
54.在一些实施例中,生成模块130可以通过多种图像合成算法,对用户图像和确定的优选服装组合的图像进行合成处理,生成初始图像。
55.步骤240,对至少一张初始图像执行至少一轮迭代,直至满足迭代结束条件,确定目标图像。
56.迭代结束条件是指用于判断确定目标图像的迭代何时结束的条件。在一些实施例
中,迭代结束条件可以相关于至少一组第二评估值所组成的第二候选图像对应的评估值。例如,可以将至少一组第二评估值进行相加获得第二候选图像的总评估值,当总评估值低于迭代结束条件中的总评估值阈值时,结束迭代。其中,迭代结束条件中的总评估值阈值可以由人为设置。关于第二候选图像、第二评估值的更多内容,可以参见图6及其相关描述。
57.目标图像是指初始图像经过优化后最终确定呈现给用户的图像。在一些实施例中,目标图像可以是经过迭代优化之后的基于用户图像和优选服装组合的图像生成的用户身穿优选服装组合的二维或三维合成图像等。
58.在一些实施例中,可以将迭代结束时当前轮的第二评估值最大的第二候选图像作为目标图像。
59.关于确定目标图像的至少一轮迭代的更多内容,可以参见图6及其相关描述。
60.基于用户输入信息和用户特征确定优选服装组合,可以使得确定的优选服装组合与用户的喜好更为匹配,并且通过迭代的方式对基于用户图像和优选服装组合生成的合成图像进行优化,对图像的质量进行验证,提高图像的质量,可以使得最终展示给用户的目标图像呈现更好的融合效果,提升用户的使用体验。
61.图3是根据本说明书一些实施例所示的生成第二候选图像的示例性流程图。在一些实施例中,流程300可以由第二确定模块140执行。如图3所示,流程300包括下述步骤:
62.步骤310,基于至少一组第一评估值,确定至少一张第一候选图像的待调整元素和待调整元素的调整参数,调整参数包括调整维度、调整方向、位置调整和调整幅度中的至少一种。
63.第一评估值是指第一候选图像中图像元素对应的评估值。在一些实施例中,第一评估值可以是初始图像中每个图像元素在整个图像中的协调性的评价值。在一些实施例中,第一评估值也可以是上一轮迭代生成的第二候选图像中每个图像元素在整个图像中的协调性的评价值。关于第二候选图像的更多内容,可以参见图6及其相关描述。
64.待调整元素是指第一候选图像中需要调整的元素。例如,待调整元素可以包括第一候选图像中的人像、背景、装饰、虚拟服装等。
65.在一些实施例中,待调整元素可以通过多种方式确定。例如,第二确定模块140可以将第一候选图像中第一评估值小于第一预设评估阈值的元素确定为待调整元素,第一预设评估阈值可以基于经验值或人工确定。又例如,可以基于人工选择的方式,在第一候选图像中进行选取(例如,截取等操作),确定待调整元素。
66.在一些实施例中,第二确定模块140可以基于至少一张第一候选图像的图像元素的第一评估值,确定待调整元素。
67.第一候选图像的图像元素是指第一候选图像的组成元素。例如,图像元素可以包括第一候选图像中的人像、背景、装饰、虚拟服装等。
68.第一候选图像的图像元素的第一评估值可以是图像元素在第一候选图像中的协调性的评估值等。关于图像元素以及协调性等的更多内容,可以参见图4及其相关描述。
69.在一些实施例中,第二确定模块140可以基于第一评估值,确定待调整元素。例如,第二确定模块140可以将第一评估值小于第二预设评估阈值的图像元素确定为待调整元素。第二预设评估阈值可以基于经验值或人工确定。
70.本说明书的一些实施例中,基于图像元素的第一评估值确定待调整元素,可以提
高确定的待调整元素的准确性,使确定的待调整元素为更需要调整的元素,从而能够更准确地生成第二候选图像,有利于后续的迭代。
71.待调整元素的调整参数是指待调整元素中可以调整的参数。在一些实施例中,调整参数可以包括待调整元素的调整维度、调整方向、位置调整和调整幅度等。
72.调整维度是指对待调整元素进行调整的维度。例如,调整维度可以包括待调整元素的颜色、亮度、大小、内容更换等。又例如,待调整元素为背景,参考元素为图像,如果背景与图像之间在大小上不协调,则调整维度可以为调整背景的大小。关于参考元素的更多内容,可以参见下述实施例中的相关描述。
73.在一些实施例中,第二确定模块140可以将图像元素与参考元素之间的协调性低于协调性阈值的维度作为调整维度。确定图像元素与参考元素之间的协调性的方法与确定第二候选图像中的图像元素之间的协调性的方法类似,可以参见图4及其相关描述。协调性阈值可以根据实际需求进行设置。
74.调整方向是指对待调整元素的形态进行调整的方向。例如,调整方向可以包括将待调整元素进行调大、调小、旋转、调色等。
75.在一些实施例中,第一次对某个待调整元素的某个调整参数进行调整时,可以随机选择一个方向进行调整(例如,调整维度为调整大小,则调整方向可以随机为调大或者调小)。第二次以及后续,第二确定模块140可以基于待调整元素的协调性的变化,确定调整方向。例如,某次对待调整元素的大小进行调大处理后,协调性提高,则下一次,第二确定模块140可以继续进行调大处理。又例如,某次对待调整元素的大小进行调大处理后,协调性降低,则下一次,第二确定模块140可以进行调小处理。
76.在一些实施例中,无法确定调整方向时,第二确定模块140可以通过更换待调整元素,重复上述方法,重新确定调整方向。例如,背景不符合逻辑,无法确定调整方向,第二确定模块140可以将背景更换为使用频率高的背景,根据待调整元素更换背景后的协调性的变化,重新确定调整方向。示例性的,第一次随机确定调大或者调小,第二次以及后续,第二确定模块140可以基于待调整元素的协调性的变化,确定调整方向。
77.位置调整是指对待调整元素的位置进行调整。例如,位置调整可以包括将待调整元素进行调高、调低、左右移动等。在一些实施例中,第二确定模块140可以基于协调性进行位置调整。例如,若将待调整元素进行调高后,第一候选图像的协调性增大,则第二确定模块140可以执行该位置调整。
78.调整幅度是指对待调整元素进行调整的幅度。在一些实施例中,第二确定模块140可以基于待调整元素对应的调整维度的协调性,确定调整幅度。例如,第二确定模块140可以将待调整元素的协调性小于协调性阈值的幅度(例如待调整元素的协调性小于协调性阈值的10%)作为调整幅度。
79.在一些实施例中,待调整元素的调整参数可以通过多种方式确定。例如,在基于某个参数进行某次调整后,若第一候选图像中待调整元素的第一评估值大于第三预设评估阈值,则第二确定模块140可以将该参数确定为待调整元素的调整参数。第三预设评估阈值可以基于经验值或人工确定。又例如,待调整元素的调整参数可以基于人工设置。
80.在一些实施例中,第二确定模块140可以以参考元素为基准,基于参考元素与待调整元素之间的协调性,确定调整参数,参考元素为非待调整元素。
81.参考元素是指第一候选图像中的非待调整元素。非待调整元素是指第一候选图像中除待调整元素之外的图像元素。例如,若待调整元素为人像,则参考元素可以为背景。在一些实施例中,第二确定模块140可以基于待调整元素,确定参考元素。
82.在一些实施例中,第二确定模块140可以基于参考元素与待调整元素之间的协调性,确定调整参数。例如,在基于某个参数进行某次调整后,若参考元素与待调整元素之间的协调性大于协调性阈值,则第二确定模块140可以将该参数确定为调整参数。关于协调性的更多内容可以参见图4的相关描述。
83.本说明书的一些实施例中,基于参考元素与待调整元素之间的协调性,能够更准确地确定调整参数,使确定的调整参数更为合理,从而能够更准确、更高效地生成第二候选图像,有利于后续的迭代。
84.步骤320,基于调整参数,对待调整元素进行调整,生成至少一张第二候选图像。
85.在一些实施例中,第二确定模块140可以基于每一张第一候选图像的待调整元素的调整参数,对每一张第一候选图像的相应的待调整元素进行调整,生成对应的第二候选图像。
86.本说明书的一些实施例中,基于第一评估值,确定待调整元素和调整参数,基于调整参数对待调整元素进行调整,能够高效、准确地生成第二候选图像,从而有利于后续确定协调性符合要求的目标图像。
87.图4是根据本说明书一些实施例所示的确定第二评估值的示例性流程图。在一些实施例中,流程400可以由第二确定模块140执行。如图4所示,流程400包括下述步骤:
88.步骤410,评估第二候选图像中的图像元素之间的协调性,图像元素包括人像、背景、装饰和虚拟服装中的至少一种。关于第二候选图像的更多内容,可以参见图6中的相关描述。
89.图像元素是指第二候选图像中的相关元素。在一些实施例中,图像元素和/或图像元素的类型可以包括第二候选图像中的人像、背景、装饰和虚拟服装等。装饰可以是第二候选图像中具有装饰性的元素,例如花瓶、挂画等。虚拟服装是指第二候选图像中的虚拟衣物。
90.图像元素之间的协调性可以反映图像元素的多个维度在逻辑上的合理程度。例如,图像元素的协调性可以包括人像、背景装饰、虚拟服装等之间的颜色、大小、明暗程度、搭配关系之间的协调性等。示例性的,人站在冰面上,则协调性较高,若人站在水面上则协调性较低。在一些实施例中,图像元素之间的协调性可以通过向量表示,向量中的每个元素代表一个维度的协调性。
91.在一些实施例中,图像元素之间的协调性可以通过多种方式确定。例如,第二确定模块140可以基于图像识别技术,对第二候选图像进行识别,根据识别结果确定图像元素之间的协调性。又例如,第二确定模块140可以统计图像元素多个维度的信息,基于统计信息与参考信息对比,确定协调性。参考信息可以为图像元素在现实中的信息。参考信息可以包括现实中图像元素之间的多个维度的信息。例如,参考信息可以包括人像与各种背景的大小、颜色等信息。示例性的,第二候选图像中,人像和人像身旁的建筑物高度相同,但参考信息中人像远小于身旁的建筑物,则第二确定模块140可以确定该第二候选图像中人像和该建筑物之间的协调性较差。
92.在一些实施例中,第二确定模块140可以基于第二候选图像,建立协调性分析图,基于协调性分析图,通过评估模型确定第二候选图像中的图像元素之间的协调性。关于确定第二候选图像中的图像元素之间的协调性的更多内容,可以参见图5及其相关描述。
93.步骤420,基于协调性,确定第二候选图像的第二评估值。关于第二评估值的更多内容,可以参见图6及其相关描述。
94.在一些实施例中,第二确定模块140可以基于协调性,确定第二候选图像的第二评估值。例如,第二确定模块140可以基于查预设表的方式确定第二评估值,预设表中存储不同的协调性及相应的第二评估值。又例如,第二确定模块140可以对图像元素之间的协调性求平均值,将该平均值作为第二候选图像的第二评估值。
95.在一些实施例中,第二确定模块140可以获取每个图像元素与其他图像元素之间的多个协调性;对多个协调性进行加权求和,确定每个图像元素的第二评估值。每个图像元素与其他图像元素之间的多个协调性可以基于评估模型获取。关于评估模型的更多内容,可以参见图5及其相关描述。
96.其他图像元素可以指除去当前需要确定第二评估值的图像元素外的其余图像元素。例如,当前需要确定第二评估值的图像元素为人像,对于图像元素人像,对应的其他图像元素为背景、装饰和虚拟服装等。
97.在一些实施例中,每个图像元素与其他图像元素之间的多个协调性的权重可以基于多种方式确定。例如,第二确定模块140可以基于机器学习模型,通过处理相关数据,确定权重。又例如,权重可以基于经验值或人工的方式确定等。
98.在一些实施例中,对多个协调性进行加权求和时,人像的权重最大,虚拟服装的权重次之,其它图像元素的权重相关于上一轮迭代中其它图像元素是否进行调整。例如,上一次迭代中如果调整了其它图像元素a,未调整其它图像元素b,则当前进行加权求和时其它图像元素b的权重可以较高,其它图像元素a的权重可以较低,以降低其它图像元素a再次被调整的概率,有限调整其它图像元素。示例性的,上一次迭代中,人像的和虚拟服装的权重保持不变,其它图像元素a的权重大于其它图像元素b的权重,对其它图像元素a进行了调整,则当前迭代中,对多个协调性进行加权求和时,其它图像元素b的权重可以大于其它图像元素a的权重。
99.其它图像元素可以指去除人像和权重之外的图像元素,例如,背景、装饰等。
100.本说明书的一些实施例中,通过采取人像的权重最大,虚拟服装的权重次之的加权方式,可以突出人像、虚拟服装的重要性,提升用户的使用体验。
101.本说明书的一些实施例中,对多个协调性进行加权求和,能够更准确地确定每个图像元素的评估值,从而更准确地确定第二候选图像的第二评估值。
102.本说明书的一些实施例中,评估第二候选图像中的图像元素之间的协调性,基于协调性能够高效、准确地确定第二候选图像的第二评估值,从而使得后续目标图像的确定更加高效、准确。
103.图5是根据本说明书一些实施例所示的评估第二候选图像中的图像元素之间的协调性的示例性示意图。
104.在一些实施例中,第二确定模块140可以基于第二候选图像510,建立协调性分析图520,基于协调性分析图520,通过评估模型530确定第二候选图像中的图像元素之间的协
调性540。
105.协调性分析图是指基于节点和边建立的图结构。
106.在一些实施例中,协调性分析图的节点可以包括图像元素。如图5所示,节点可以包括图像元素a、图像元素b、图像元素c以及其他图中未示出的图像元素等。节点的节点特征可以包括图像元素的类型、像素特征、实物尺寸和像素位置等中的至少一种。像素特征可以包括图像元素在第二候选图像中的像素通道、像素值和像素数量等中至少一种的分布特征。关于图像元素的类型的更多内容,可以参见图4及其相关描述。
107.像素通道是指组成第二候选图像中的基本颜色通道。例如,像素通道可以包括有红色通道、绿色通道和蓝色通道。在一些实施例中,第二候选图像的像素通道可以基于图像处理软件获取,或由第二确定模块140获取。
108.像素值是指每个像素通道表示对应颜色分量的亮度值。像素值可以基于图像处理软件或由第二确定模块140获取或设置。
109.像素数量是指第二候选图像中图像元素包含的像素总数。像素数量可以基于该图像元素的宽度和高度获取。
110.在一些实施例中,协调性分析图的两个节点可以构成协调性分析图的边,边的边属性可以包括边对应的两个节点的相对位置关系和前后遮挡关系。构成协调性分析图的边的两个节点可以是任意两个节点。
111.相对位置关系是指协调性分析图中两个节点之间的空间位置关系。例如,两个节点的相对位置关系可以包括左右、上下、对角线等。在一些实施例中,边的边属性中可以包含这些相对位置信息,用于表示节点之间的空间结构和关系。
112.前后遮挡关系是指协调性分析图中两个节点之间的前后遮挡情况。例如,前后遮挡关系可以包括一个节点被另一个节点遮挡等。在一些实施例中,边的边属性中可以包含这些前后遮挡关系的信息,用于表示节点之间遮挡关系。
113.在一些实施例中,两个节点的相对位置关系和前后遮挡关系可以通过多种技术获取。例如,第二确定模块140可以通过图像分割、深度估计、视觉算法和机器学习等方法来进行节点之间的相对位置和遮挡关系的自动推断和预测。
114.在一些实施例中,图像元素的类型为人像与虚拟服装的节点之间的边的边属性可以包括服装偏好特征。关于服装偏好特征的更多内容,可以参见图2及其相关描述。
115.本说明书的一些实施例中,将服装偏好特征作为人像与虚拟服装之间的边的边属性,充分考虑了用户的服装偏好特征对协调性的影响,从而能够更准确地评估图像元素之间的协调性。
116.在一些实施例中,评估模型可以是图神经网络模型。评估模型的输入可以是协调性分析图,评估模型的输出可以是第二候选图像中的图像元素之间的协调性。其中,图神经网络模型中的边输出对应图像元素之间的协调性。
117.在一些实施例中,评估模型可以基于训练数据训练获得。训练数据可以包括训练样本以及标签。例如,训练样本可以是基于历史数据确定的历史协调性分析图,历史协调性分析图的节点及其属性、边及其属性与协调性分析图类似,标签可以为历史图像元素之间的协调性。
118.在一些实施例中,多位人工标注者可以根据两个图像元素之间在现实中的位置关
系、遮挡关系、搭配情况、大小关系、颜色对比、明亮对比等多个维度,在逻辑上、美学上(根据公认的美学观点确认是否协调)的协调情况进行标记,得到训练标签。例如,对于每张第二候选图像,多位人工标注者基于逻辑学、美学准则以及自身经验等方式,对图像中的元素多个维度(例如位置关系、遮挡关系、搭配情况、大小关系、颜色对比、明亮对比等)的协调性进行打分,得到第二候选图像中的图像元素之间的协调性。若多位人工标注者的协调性评估较为一致(例如一致认为协调性较好或协调性较差),则该图像可以确定为训练样本。
119.本说明书的一些实施例中,基于协调性分析图以及评估模型,能够高效、准确地确定图像元素之间的协调性,从而提高第二评估值的准确度。
120.图6是根据本说明书一些实施例所示的确定目标图像的至少一轮迭代的示例性流程图。如图6所示,流程600包括下述步骤:
121.步骤610,基于至少一张第一候选图像及至少一张第一候选图像的至少一组第一评估值,生成当前轮的至少一张第二候选图像,至少一张第一候选图像包括至少一张初始图像或上一轮迭代生成的至少一张第二候选图像。
122.第一候选图像是指每次迭代时用于生成当前轮的第二候选图像的图像。在一些实施例中,第一候选图像可以包括初始图像,也可以包括上一轮迭代生成的第二候选图像。在一些实施例中,第一候选图像为上一轮迭代生成的第二候选图像时,生成第一候选图像的方式,可以参见下文第二候选图像的生成方式。关于初始图像的更多内容,可以参见图2及其相关描述。
123.在一些实施例中,可以获取初始图像对应的评估值或者上一轮迭代生成的第二候选图像对应的第二评估值作为第一评估值。关于第一评估值的更多内容,可以参见图3及其相关描述。关于图像元素、图像元素之间的协调性的更多内容,可以参见图4及其相关描述。
124.第二候选图像是指每次迭代时由第一候选图像生成的图像。在一些实施例中,第二候选图像可以包括由初始图像生成的图像,也可以包括由上一轮迭代生成的第二候选图像生成的图像。
125.在一些实施例中,可以使用图像优化算法(例如,自适应直方图均衡化算法、限制对比度自适应直方图均衡化算法等)基于至少一张第一候选图像生成当前轮的至少一张第二候选图像。
126.在一些实施例中,第二确定模块140可以基于至少一组第一评估值,确定至少一张第一候选图像的待调整元素和待调整元素的调整参数,调整参数包括调整维度、调整方向、位置调整和调整幅度中的至少一种;基于调整参数,对待调整元素进行调整,生成至少一张第二候选图像。关于待调整元素、调整参数的更多内容,可以参见图3及其相关描述。
127.步骤620,对至少一张第二候选图像的协调性进行评估,确定至少一组第二评估值。
128.第二候选图像的协调性是指第二候选图像中各图像元素之间的协调性的集合。关于图像元素之间的协调性的更多内容,可以参见图4及其相关描述。
129.第二评估值是指第二候选图像中每个图像元素与其他图像元素之间的协调性的评价值。在一些实施例中,第二候选图像中的每个图像元素对应一组第二评估值,所有图像元素的第二评估值组成第二候选图像对应的评估值。
130.在一些实施例中,第二确定模块140可以获取第二候选图像中每个图像元素与其
他图像元素之间的多个协调性,直接基于该多个协调性确定第二评估值。例如,可以计算每个图像元素与其他图像元素之间的多个协调性的均值直接作为第二评估值。
131.关于其他基于图像元素之间的协调性确定第二评估值的方式的进一步说明,可以参见图4及其相关描述。
132.在一些实施例中,初始图像的评估值的确定方式与第二候选图像对应的第二评估值的确定方式相同。
133.步骤630,基于至少一组第二评估值,判断是否满足迭代结束条件。关于迭代结束条件的更多内容,可以参见图2及其相关描述。
134.响应于否,进入下一轮迭代,重复步骤610至步骤630。
135.响应于是,进行步骤640。
136.步骤640,结束迭代,基于至少一张第二候选图像和至少一组第二评估值确定目标图像。关于目标图像及其确定方式的更多内容,可以参见图2及其相关描述。
137.本说明书一些实施例提供了一种人工智能生成技术的图片生成装置,图片生成装置包括至少一个处理器以及至少一个存储器;至少一个存储器用于存储计算机指令;至少一个处理器用于执行计算机指令中的至少部分指令以实现本说明书实施例中任一项所述的基于人工智能生成技术的图片生成方法。
138.本说明书一些实施例提供了一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行本说明书实施例中任一项所述的基于人工智能生成技术的图片生成方法。
139.上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
140.同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
141.最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
技术特征:
1.一种基于人工智能生成技术的图片生成方法,其特征在于,所述方法包括:获取用户的用户输入信息和用户特征;基于所述用户输入信息和所述用户特征,通过服装数据库确定至少一个优选服装组合;基于所述用户特征和所述至少一个优选服装组合,生成至少一张初始图像;对所述至少一张初始图像执行至少一轮迭代,直至满足迭代结束条件,确定目标图像;其中,所述至少一轮包括:基于至少一张第一候选图像及所述至少一张第一候选图像的至少一组第一评估值,生成当前轮的至少一张第二候选图像,所述至少一张第一候选图像包括至少一张初始图像或上一轮迭代生成的至少一张第二候选图像;对所述至少一张第二候选图像的协调性进行评估,确定至少一组第二评估值;基于所述至少一组第二评估值,判断是否满足所述迭代结束条件;响应于否,进入下一轮迭代;响应于是,结束迭代,基于所述至少一张第二候选图像和所述至少一组第二评估值确定所述目标图像。2.根据权利要求1所述的方法,其特征在于,所述基于所述用户输入信息和所述用户特征,通过服装数据库确定至少一个优选服装组合包括:基于所述用户输入信息和所述用户特征,确定所述用户的服装偏好特征;基于所述服装偏好特征,通过所述服装数据库确定所述至少一个优选服装组合。3.根据权利要求1所述的方法,其特征在于,所述基于至少一张第一候选图像和所述至少一张第一候选图像的至少一组第一评估值,生成当前轮的至少一张第二候选图像包括:基于所述至少一组第一评估值,确定所述至少一张第一候选图像的待调整元素和所述待调整元素的调整参数,所述调整参数包括调整维度、调整方向、位置调整和调整幅度中的至少一种;基于所述调整参数,对所述待调整元素进行调整,生成所述至少一张第二候选图像。4.根据权利要求1所述的方法,其特征在于,所述对所述至少一张第二候选图像的协调性进行评估,确定至少一组第二评估值包括:对于所述至少一张第二候选图像中的每一张,评估所述第二候选图像中的图像元素之间的协调性,所述图像元素包括人像、背景、装饰和虚拟服装中的至少一种;基于所述协调性,确定所述第二候选图像的所述第二评估值。5.一种基于人工智能生成技术的图片生成系统,其特征在于,所述系统包括:获取模块,用于获取用户的用户输入信息和用户特征;第一确定模块,用于基于所述用户输入信息和所述用户特征,通过服装数据库确定至少一个优选服装组合;生成模块,用于基于所述用户特征和所述至少一个优选服装组合,生成至少一张初始图像;第二确定模块,用于对所述至少一张初始图像执行至少一轮迭代,直至满足迭代结束条件,确定目标图像;
其中,所述至少一轮包括:基于至少一张第一候选图像及所述至少一张第一候选图像的至少一组第一评估值,生成当前轮的至少一张第二候选图像,所述至少一张第一候选图像包括至少一张初始图像或上一轮迭代生成的至少一张第二候选图像;对所述至少一张第二候选图像的协调性进行评估,确定至少一组第二评估值;基于所述至少一组第二评估值,判断是否满足所述迭代结束条件;响应于否,进入下一轮迭代;响应于是,结束迭代,基于所述至少一张第二候选图像和所述至少一组第二评估值确定所述目标图像。6.根据权利要求5所述的系统,其特征在于,所述第一确定模块还用于:基于所述用户输入信息和所述用户特征,确定所述用户的服装偏好特征;基于所述服装偏好特征,通过所述服装数据库确定所述至少一个优选服装组合。7.根据权利要求5所述的系统,其特征在于,所述第二确定模块还用于:基于所述至少一组第一评估值,确定所述至少一张第一候选图像的待调整元素和所述待调整元素的调整参数,所述调整参数包括调整维度、调整方向、位置调整和调整幅度中的至少一种;基于所述调整参数,对所述待调整元素进行调整,生成所述至少一张第二候选图像。8.根据权利要求5所述的系统,其特征在于,所述第二确定模块还用于:对于所述至少一张第二候选图像中的每一张,评估所述第二候选图像中的图像元素之间的协调性,所述图像元素包括人像、背景、装饰和虚拟服装中的至少一种;基于所述协调性,确定所述第二候选图像的所述第二评估值。9.一种人工智能生成技术的图片生成装置,其特征在于,所述装置包括至少一个处理器以及至少一个存储器;所述至少一个存储器用于存储计算机指令;所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1至4中任意一项所述的方法。10.一种计算机可读存储介质,其特征在于,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行如权利要求1至4任一项所述的方法。
技术总结
本说明书实施例提供一种基于人工智能生成技术的图片生成方法和系统,该方法包括:获取用户的用户输入信息和用户特征;基于用户输入信息和用户特征,通过服装数据库确定至少一个优选服装组合;基于用户特征和至少一个优选服装组合,生成至少一张初始图像;对至少一张初始图像执行至少一轮迭代,直至满足迭代结束条件,确定目标图像。至少一轮包括:基于至少一张第一候选图像及至少一组第一评估值,生成当前轮的至少一张第二候选图像;对至少一张第二候选图像的协调性进行评估,确定至少一组第二评估值;基于至少一组第二评估值,判断是否满足迭代结束条件;响应于否,进入下一轮迭代;响应于是,结束迭代,确定目标图像。确定目标图像。确定目标图像。
技术研发人员:姜文一 周奎 王振君 严雅敏 赵亮
受保护的技术使用者:杭州光染数字科技有限公司
技术研发日:2023.07.14
技术公布日:2023/10/6
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/