图像合成装置、图像合成方法和程序与流程

1.本发明涉及图像合成装置、图像合成方法和程序。


背景技术：

2.在对多个图像进行合成的情况下，使用image stitching(图像拼接)技术。在该技术领域中，针对以下课题提出了各种方案，该课题是：在几何学上如何重叠由不同位置/姿态的摄像头拍摄到的(即从不同视点拍摄到的)多个图像中的相互相邻的图像彼此、以及如何混合图像彼此重合的区域即重叠区域的图像。
3.例如，专利文献1提出了如下装置：利用多个摄像头拍摄部分地重叠的多个被拍摄区域的图像，将多个拍摄图像转换为俯瞰图像并进行接合(即合成)，由此作为1个连续的俯瞰显示图像(即合成图像)显示于显示装置。该装置判断在与俯瞰显示图像的接缝部分(即边界线)对应的区域是否存在障碍物，当在该区域存在障碍物的情况下，改变成为俯瞰显示图像的接缝部分的位置。
4.此外，非专利文献1说明了如下技术：设定假想的投影面，在该投影面粘贴由摄像头拍摄到的图像，由此生成合成图像。相邻的图像彼此部分地重叠，因此，决定相邻的图像间的边界线，根据该边界线混合相邻的图像间的重叠区域的图像，由此合成相邻的图像。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2007-41791号公报
8.非专利文献
9.非专利文献1：matthew brown和其他1人著,“automatic panoramic image stitching using invariant features”,international journal of computer vision,74(1),pp.59-73,2007年


技术实现要素：

10.发明要解决的课题
11.但是，上述现有的方法没有考虑如下要求：在进行了多个图像的合成后，想要混合希望在合成图像上优先显示的区域(也称作“优先区域”)的图像即优先区域图像。具体而言，现有的方法没有考虑重叠ar(augmented reality：增强现实)的图像、cg(computer graphics：计算机图形学)、加工后的cgi(computer generated imagery：计算机生成图像)等优先区域图像。因此，在对包含优先区域的图像进行合成的情况下，有时无法进行相邻的图像的重叠区域的边界线处的图像的平滑接合。
12.本发明正是为了解决上述课题而完成的，其目的在于，提供能够进行相邻的图像的重叠区域的边界线处的图像的平滑接合的图像合成装置、图像合成方法和程序。
13.用于解决课题的手段
14.本发明的图像合成装置的特征在于，该图像合成装置具有：图像取得部，其取得从
不同视点拍摄到的多个图像，从所述多个图像中选择相互相邻的图像；重叠区域计算部，其计算所述相邻的图像相互重叠的区域即重叠区域；边界线决定部，其在所述重叠区域中决定图像间的边界线；以及混合部，其在所述重叠区域中混合图像，在所述相邻的图像中的至少一方包含优先区域的情况下，所述边界线决定部决定不与所述优先区域周边的混合区域重叠的所述边界线，该混合区域是根据在所述优先区域的图像的混合中使用的混合方法决定的区域，所述混合部根据所述边界线在所述重叠区域中混合图像。
15.本发明的图像合成方法是由图像合成装置执行的方法，其特征在于，所述图像合成方法具有以下步骤：取得从不同视点拍摄到的多个图像，从所述多个图像中选择相互相邻的图像；计算所述相邻的图像相互重叠的区域即重叠区域；在所述重叠区域中决定图像间的边界线；以及在所述重叠区域中混合图像，在所述相邻的图像中的至少一方包含优先区域的情况下，在形成所述边界线的所述步骤中，决定不与所述优先区域周边的混合区域重叠的所述边界线，该混合区域是根据在所述优先区域的图像的混合中使用的混合方法决定的区域，在混合所述图像的所述步骤中，根据所述边界线在所述重叠区域中混合图像。
16.发明效果
17.根据本发明，能够进行相邻的图像的重叠区域的边界线处的图像的平滑接合。
附图说明
18.图1是概略地示出实施方式1的图像合成装置的结构的功能框图。
19.图2是示出向实施方式1的图像合成装置发送图像数据的摄像头和拍摄对象的例子的图。
20.图3是示出由实施方式1的图像合成装置的图像取得部取得的图像的例子的图。
21.图4是示出由实施方式1的图像合成装置的图像取得部选择的图像的例子的图。
22.图5是示出由实施方式1的图像合成装置的重叠区域计算部计算的重叠区域的例子的图。
23.图6是示出根据由实施方式1的图像合成装置的混合部决定的混合方法决定的混合区域的例子的图。
24.图7是示出由实施方式1的图像合成装置的边界线决定部决定的边界线的例子的图。
25.图8是示出实施方式1的图像合成装置的硬件结构的例子的图。
26.图9是示出由实施方式1的图像合成装置执行的处理的流程图。
27.图10是示出图9中的边界线的决定处理的流程图。
28.图11的(a)和(b)是示出由摄像头#1、#2、#3拍摄到的图像的扭曲图像和掩蔽图像的图。
29.图12是示出权重图的生成处理的例子的图。
30.图13是示出由实施方式2的图像合成装置的图像取得部取得的图像的例子的图。
31.图14是示出由实施方式2的图像合成装置的图像取得部选择的图像的例子的图。
32.图15是示出由实施方式2的图像合成装置的重叠区域计算部计算的重叠区域的例子的图。
33.图16是示出基于由实施方式2的图像合成装置的混合部决定的混合方法的混合区
域的例子的图。
34.图17是示出由实施方式2的图像合成装置的边界线决定部决定的边界线的例子的图。
35.图18是示出由实施方式2的图像合成装置统合后的1幅图像的例子的图。
36.图19是示出由实施方式2的图像合成装置执行的处理的流程图。
37.图20是示出由实施方式3的图像合成装置的边界线决定部决定的边界线的例子的图。
38.图21是示出由实施方式4的图像合成装置的图像取得部取得的图像的例子的图。
39.图22是示出由实施方式4的图像合成装置的边界线决定部决定的边界线的例子的图。
40.图23是示出重叠的图像的区域分割的顺序的图。
具体实施方式
41.下面，参照附图对实施方式的图像合成装置、图像合成方法和程序进行说明。以下的实施方式只不过是例子，能够适当组合实施方式，并且适当变更实施方式。
42.《1》实施方式1
43.图1是概略地示出实施方式1的图像合成装置10的结构的功能框图。图像合成装置10是能够执行实施方式1的图像合成方法的装置。如图1所示，图像合成装置10具有图像取得部11、重叠区域计算部12、边界线决定部13、坐标系统合部14和混合部15。
44.图2是示出向实施方式1的图像合成装置10发送图像数据的摄像头和拍摄对象的例子的图。图2示出作为摄像装置的摄像头110、120、130、140对拍摄范围111、121、131、141进行拍摄的状况。摄像头110、120、130、140以相互不同的位置/姿态进行设置。在图2的例子中，摄像头110、120、130、140对包含房屋和树的拍摄对象150进行拍摄，将图像数据发送到图像合成装置10。在图2中示出4台摄像头110、120、130、140，但是，只要是能够发送从不同视点拍摄到的图像的结构即可，摄像头也可以是1台可移动的摄像头。此外，各摄像头110、120、130、140也可以是具有摇动/俯仰/变焦功能的可动式摄像头、或具有摇动/俯仰/变焦功能中的1个以上的功能的可动式摄像头。
45.图3是示出由图像合成装置10的图像取得部11取得的图像的例子的图。图像取得部11取得从不同视点拍摄到的多个图像112、122、132、142。取得的图像可以是静态图像或动态图像中的任意一种。在图3中示出图像122具有优先区域123的例子。狭义地讲，优先区域是希望在合成图像上优先显示的区域，但是，广义地讲，优先区域是希望在合成图像上优先显示的区域和不希望在合成图像上显示的区域(实施方式4中的“去除区域”)。在本技术中，优先区域采用广义的意思。即，优先区域是希望在合成图像上优先显示的图像的区域或不希望显示的图像的区域(也称作“去除区域”)。在实施方式1中，优先区域例如是显示ar的图像、cg、加工后的cgi等的区域。
46.图4是示出由图像合成装置10的图像取得部11选择的图像的例子的图。图像取得部11从取得的多个图像中选择具有部分地重叠的区域且相互相邻的2幅图像。在图4中示出选择了图像112、122的情况。图像取得部11也可以从取得的多个图像中选择具有部分地重叠的区域且相互相邻的3张以上的图像。
47.图5是示出由图像合成装置10的重叠区域计算部12计算的重叠区域的例子的图。重叠区域计算部12计算选择出的图像相互重叠的区域即重叠区域160。在图5中示出优先区域123位于重叠区域160内的情况。优先区域123位于重叠区域160内的情况不仅包含优先区域123的整体存在于重叠区域160内的情况，还包含优先区域123的一部分存在于重叠区域160内的情况。
48.混合部15在重叠区域160中决定图像的混合方法。在图5的例子中，混合部15决定优先区域123的图像的混合方法(例如优先区域123的图像与图像122的混合方法)、以及包含优先区域123的图像的图像122与图像112的混合方法。
49.边界线决定部13在重叠区域160中决定图像间的边界线。具立而言，边界线决定部13决定选择出的图像间的边界线。即，边界线决定部13决定将选择出的图像间的边界线引至重叠区域160内的哪个位置。在由图像取得部11选择出的图像包含优先区域123的情况下，边界线决定部13根据优先区域123周边的混合区域(例如后述的图6中的161)，在重叠区域160中决定不与混合区域重叠的边界线162，该混合区域是根据在优先区域123的图像的混合中使用的混合方法决定的区域。作为用于决定相邻的图像间的边界线的方法，存在各种区域分割算法。作为用于决定边界线的方法，存在为了以在重叠区域160中使一个图像的面积和另一个图像的面积相同的方式划分重叠区域160而使用沃罗诺伊图的方法、使用以避开被摄体的方式划分重叠区域160的图形切割的方法等。例如参照非专利文献2。
50.非专利文献2：vivek kwatra和其他4人著,“graphcut textures:image and video synthesis using graph cuts”,in acm transactions on graphics(tog),vol.22,pp.277-286,acm,2003年
51.坐标系统合部14进行用于使选择出的图像的坐标系成为相同坐标系的处理。在选择出的图像的坐标系相同的情况下或即使视为相同对合成图像造成的影响也小的情况下，不需要进行坐标系统合部14的处理。
52.图6是示出根据由图像合成装置10的混合部15决定的混合方法决定的混合区域的例子的图。在混合部15决定重叠区域160中的优先区域123的图像的混合方法后，如图6所示，决定优先区域123周围的混合区域161的形状。例如，在使用多频带混合作为混合方法的情况下，根据频带数对图像施加高斯滤波器，因此，能够计算混合区域161。但是，使用的混合方法不限于多频带混合。
53.混合区域161是优先区域123的周边区域，是根据混合方法决定的区域。混合区域161也可以是按照预先决定的规则决定的预想区域。例如，混合区域161也可以是使用权重与从优先区域123起的距离成比例地变化的权重图(即基于预先决定的规则的权重图)生成的区域。此时，由权重图决定的权重的变化可以设定为根据从优先区域123起的距离而增加或减小的线性变化(即，一次方程式中的斜率)。此外，由权重图决定的权重的变化也可以不是线性变化，而设定为根据从优先区域123起的距离以指数或对数的方式变化。
54.图7是示出由图像合成装置10的边界线决定部13决定的边界线的例子的图。混合部15根据由边界线决定部13决定的边界线162，在重叠区域160中混合图像。在图7的例子中，混合相互相邻的2幅图像的重叠区域160内的图像部分。
55.在重叠区域160的图像的混合中，能够使用多频带混合。例如参照非专利文献3。多频带混合是如下算法：将图像分成多个频带(band)，生成多个图像金字塔，按照每个频带混
合图像。例如，各图像金字塔具有将图像的分辨率逐次降低一半而得到的多个图像。
56.非专利文献3：peter j burt和其他1人著,“amultiresolution spline with application to image mosaics”,acm transactions on graphics(tog),vol.2,no.4,pp.217-236,1983年
57.但是，在重叠区域160的图像的混合中，也可以使用基于羽化的混合方法、泊松混合等的其他混合方法。
58.图7示出在选择出的图像中存在优先区域123的情况。该情况下，边界线决定部13基于在重叠区域160内根据混合方法决定的区域即混合区域161，决定将相邻的图像间的边界线162引至重叠区域160内的哪个位置。边界线决定部13在重叠区域160内以不与混合区域161重叠的方式决定边界线162。下面示出边界线162的决定方法的一例。
59.边界线决定部13生成表示重叠区域160中的图像的像素值的权重的权重图。一般而言，在决定边界线的情况下，生成与图像相同尺寸的掩蔽图像，掩蔽图像为白色彼此的区域被判定为重叠区域160。边界线决定部13在该重叠区域160中考虑优先区域123和混合区域161生成权重图。
60.在使用非专利文献2所示的图形切割的情况下，根据2个图像的重叠区域中的像素与像素之间的关系定义数据项，根据重叠区域内的像素间的关系定义平滑化项，以表现为数据项与平滑化项之和的能量函数成为最小值的方式决定边界线。此时，重叠的图像是对等的立场，因此，在数据项加入如“0”或比0大的预先决定的数值(例如为“1”，下面也称作“大数值”)那样定义的值。例如，在包含优先区域123的图像122中，将优先区域123和混合区域161的数据项的值设为“大数值”，离优先区域123和混合区域161越远(即距离越增加)，则数据项的值越小，这样在优先区域123的附近决定边界线162。
61.另外，另一个图像112中的数据项的值不依赖于图像122的数据项的值。
62.图8是示出图像合成装置10的硬件结构的例子的图。但是，图像合成装置10的硬件结构不限于图8所示的结构。
63.图像合成装置10例如是计算机。图像合成装置10具有cpu(central processing unit：中央处理单元)21、gpu(graphics processing unit：图形处理单元)22、内存23、存储器24、监视器25、接口26和总线27。总线27是用于供图像合成装置10的硬件交换数据的数据转送路径。接口26例如与摄像头连接。
64.图像合成装置10的各功能通过处理电路实现。处理电路可以是专用的硬件，也可以是执行内存23中存储的软件即程序(例如图像合成程序)的cpu21。cpu21可以是处理装置、运算装置、微处理器、微计算机、处理器和dsp(digital signal processor：数字信号处理器)中的任意一种。
65.在处理电路是专用的硬件的情况下，处理电路例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、asic(application specific integrated circuit：专用集成电路)、fpga(field programmable gate array：现场可编程门阵列)或对它们中的任意部件进行组合而得到的部件。
66.在处理电路包含cpu21的情况下，图像合成装置10的功能通过软件、固件或软件和固件的组合来实现。软件和固件被描述为程序，存储于内存23。处理电路读出并执行内存23中存储的程序，由此实现各部的功能。即，图像合成装置10在通过处理电路执行处理时，执
行实施方式1的图像合成方法。
67.这里，内存23例如能够是ram(random access memory：随机存取存储器)、rom(read only memory：只读存储器)、闪存、eprom(erasable programmable read only memory：可擦除可编程只读存储器)、eeprom(electrically erasable programmable read only memory：电可擦除可编程只读存储器)等非易失性或易失性半导体存储器或磁盘、光盘、高密度盘、dvd(digital versatile disc：数字多功能盘)等中的任意一种。
68.另外，也可以是通过专用的硬件实现图像合成装置10的一部分，通过软件或固件实现一部分。这样，处理电路能够通过硬件、软件、固件或它们的任意组合来实现各功能。另外，图8的结构还能够应用于后述的实施方式2～5的图像合成装置。
69.图9是示出由图像合成装置10执行的处理的流程图。但是，图像合成装置10执行的处理不限于图9所示的处理。
70.在步骤s11中，图像取得部11取得摄像头从不同视点拍摄到的多个图像，在步骤s12中，图像取得部11从多个图像中选择相互相邻的2幅图像。在步骤s13中，重叠区域计算部12计算由图像取得部11选择出的2幅图像的重叠区域160。
71.在步骤s14中，混合部15决定在由图像取得部11选择出的2幅图像(在存在优先区域123的情况下，包含优先区域123内的图像)的合成中使用的混合方法。在步骤s15中，边界线决定部13决定由重叠区域计算部12计算出的重叠区域160中的边界线162。在步骤s16中，在决定了边界线162后，混合部15在重叠区域160中混合图像。另外，在需要的情况下，在混合之前，坐标系统合部14进行坐标系的统合。
72.图10是示出图9中的边界线的决定处理(步骤s15)的流程图。但是，边界线的决定处理不限于图10所示的处理。在步骤s151中，边界线决定部13生成考虑了混合区域的权重图。
73.图11的(a)和(b)是示出由摄像头#1、#2、#3拍摄到的图像的扭曲图像和掩蔽图像的图。例如，一般而言，在决定边界线的情况下，如图11的(a)中作为扭曲图像示出的那样，生成与图像相同尺寸的白色掩蔽图像，如图11的(b)中作为掩蔽图像示出的那样，将白色掩蔽图像彼此的重叠区域判定为掩蔽。当在该重叠区域内存在优先区域和混合区域的情况下，边界线决定部13将它们纳入考虑，生成重叠区域中的权重图。
74.图12是示出权重图的生成处理的例子的图。在图12所示的规则中，摄像头#1、#2、#3各自的拍摄图像具有优先区域(例如图2中的树的区域即去除区域)，关于摄像头#1、#2、#3的拍摄图像，计算优先区域的掩蔽图像与区域分割后的掩蔽图像的积集合。进而，计算作为积集合而得到的摄像头#1、#2、#3的掩蔽图像的和集合。其结果是，得到合成图像(例如由摄像头#1、#2、#3的拍摄图像构成的全景图像)中的优先区域(在图12中为去除区域)的掩蔽图像。另外，用于形成掩蔽图像的规则不限于图12所示的规则。
75.在步骤s152中，混合部15根据权重图决定各像素的像素值，根据边界线162混合重叠区域内的图像。即，混合部15例如根据图12所示的摄像头#1、#2、#3的区域分割后的3幅掩蔽图像和图12所示的合成图像中的优先区域的1幅掩蔽图像，混合重叠区域内的图像。在决定了边界线和混合方法后，混合部15还能够将各图像的像素并列地写入存储合成图像的内存中。
76.如以上说明的那样，根据实施方式1的图像合成装置10，不仅是对没有优先区域的
图像彼此进行合成而生成合成图像的情况，在对包含优先区域的图像进行合成而生成合成图像的情况下，也能够进行图像的重叠区域160的边界线162处的图像的平滑接合。
77.此外，根据实施方式1的图像合成装置10，与分别进行决定选择出的图像的边界线并进行接合的处理即第1次混合、以及在图像的重叠区域中合成优先区域的图像的处理即第2次混合的装置或方法相比，能够高效地进行多个图像的合成处理。换言之，根据实施方式1的图像合成装置10，进行使用根据优先区域和混合区域生成的权重图决定边界线并根据该边界线在重叠区域中混合图像的处理，因此，能够高效地进行图像的合成处理。
78.《2》实施方式2
79.在实施方式2中，说明图像合成装置10的图像取得部11取得具有优先区域的多个图像并进行合成的例子。除了这点以外，实施方式2与实施方式1相同。因此，在说明实施方式2时，还参照图1、图2、图8和图10。
80.图13是示出由图像合成装置10的图像取得部11取得的图像的例子的图。图像取得部11取得从不同视点拍摄到的多个图像112、122、132、142。在图13中示出图像122具有优先区域123且图像132具有优先区域133的例子。
81.图14是示出由图像合成装置10的图像取得部11选择的图像的例子的图。图像取得部11从取得的多个图像中选择具有部分地重叠的区域且相互相邻的2幅图像。在图14中示出选择了图像122、132的情况。
82.图15是示出由图像合成装置10的重叠区域计算部12计算的重叠区域的例子的图。重叠区域计算部12计算选择出的图像相互重叠的区域即重叠区域170。在图5中示出优先区域123、133位于重叠区域170内且优先区域123、133部分地重叠的情况。
83.混合部15决定重叠区域170中的混合方法。此外，混合部15也可以决定优先区域123、133重叠的区域的混合方法。
84.边界线决定部13决定将选择出的图像间的边界线引至重叠区域170内的哪个位置。此外，边界线决定部13决定将选择出的图像的优先区域123、133之间的边界线引至哪个位置。
85.坐标系统合部14进行用于使选择出的图像的坐标系成为相同坐标系的处理。在选择出的图像的坐标系相同的情况下或即使视为相同对合成图像造成的影响也小的情况下，不需要进行坐标系统合部14的处理。
86.图16是示出根据由图像合成装置10的混合部15决定的混合方法决定的混合区域的例子的图。在混合部15决定重叠区域170中的混合方法后，如图16所示，决定优先区域123、133周围的混合区域171的形状。混合方法与实施方式1的混合方法相同。
87.图17是示出由图像合成装置10的边界线决定部13决定的边界线的例子的图。混合部15根据由边界线决定部13决定的边界线172，混合相互相邻的2幅图像的重叠区域170。
88.图18是示出由图像合成装置10统合后的1幅图像的例子的图。在图18的例子中，统合成1幅的图像122a具有统合成1个的优先区域123a。
89.图19是示出由图像合成装置10执行的处理的流程图。图10所示的流程图与图9所示的实施方式1的流程图的不同之处在于，追加了步骤s21～s27。但是，图像合成装置10执行的处理不限于图19所示的处理。
90.在步骤s21中，图像取得部11取得摄像头从不同视点拍摄到的多个图像，在步骤
s22中，从多个图像中选择相互相邻的2幅图像(有优先区域)。在步骤s23中，重叠区域计算部12计算由图像取得部11选择出的2幅图像的重叠区域170。
91.在步骤s24中，混合部15决定在由图像取得部11选择出的2幅图像的合成中使用的混合方法。在步骤s25中，如图17所示，边界线决定部13根据由重叠区域计算部12计算出的重叠区域170，决定重叠区域170中的图像132、122之间的边界线172以及优先区域123、133的图像间的边界线125。在步骤s26中，在决定了边界线162后，混合部15对重叠区域170进行混合，在步骤s27中，形成具有1个优先区域123a的1个图像122a。另外，在混合之前，坐标系统合部14也可以进行坐标系的统合。此外，在步骤s26的处理中，使用图10所示的处理。
92.步骤s11～s16的处理与图9所示的处理相同。
93.如以上说明的那样，根据实施方式2的图像合成装置10，不仅是对没有优先区域的图像彼此进行合成而生成合成图像的情况，在对包含优先区域的图像进行合成而生成合成图像的情况下，也能够进行图像的重叠区域170的边界线172处的图像的平滑接合。
94.此外，在实施方式2中，当在由图像取得部11取得的多个图像中存在具有优先区域123、133的2个以上的图像122、132的情况下，重叠区域计算部12、混合部15和边界线决定部13进行将具有优先区域123、133的图像122、132转换为统合后的图像122a的统合处理(步骤s21～s27)。此外，在优先区域123、133重叠的情况下，重叠区域计算部12、混合部15和边界线决定部13对2个优先区域123、133进行合成，将其转换为1个统合后的优先区域123a。因此，在输入了包含优先区域123、133的多个图像122、132的情况下，也能够进行图像的重叠区域170的边界线172处的图像的平滑接合。
95.此外，根据实施方式2的图像合成装置10，与分别进行决定选择出的图像的边界线并进行接合的处理即第1次混合、以及在图像的重叠区域中合成优先区域的图像的处理即第2次混合的装置或方法相比，能够高效地进行多个图像的合成处理。换言之，根据实施方式2的图像合成装置10，进行使用根据统合后的图像122a和混合区域生成的权重图决定边界线并根据该边界线在重叠区域中混合图像的处理，因此，能够高效地进行图像的合成处理。
96.《3》实施方式3
97.在上述实施方式1、2中，例示了在图像合成装置10中优先区域的图像的像素值为100％且与优先区域重叠的图像的像素值为0％的情况，但是，在实施方式3中，说明优先区域的图像的像素值大于0％且小于100％的例子即优先区域的图像为半透明的例子。实施方式3能够应用于实施方式1、2。除了这点以外，实施方式3与实施方式1或2相同。因此，在说明实施方式3时，还参照图1、图2和图8～图10。
98.图20是示出由实施方式3的图像合成装置10的边界线决定部13决定的边界线的例子的图。在实施方式3中，说明将优先区域123的图像的像素值设为70％且还显示与优先区域123重叠的背景的图像的情况。实施方式3的动作与图9和图10所示的动作相同，但是，设为优先区域123的像素值为70％且进行α混合等的半透明显示，以在优先区域123的四边形的边界线处α值成为70％的方式来决定。此外，该情况下，需要优先区域123的背景，因此，在图9的步骤s15中，还决定背景的图像。α值也可以是比100％小的其他值(即70％以外的值)。
99.如以上说明的那样，根据实施方式3的图像合成装置10，不仅是对没有优先区域的图像彼此进行合成而生成合成图像的情况，在对包含优先区域的图像进行合成而生成合成
图像的情况下，也能够进行图像的重叠区域160的边界线162处的图像的平滑接合。此外，在对包含半透明的优先区域的图像进行合成而生成合成图像的情况下，也能够进行图像的重叠区域的边界线处的图像的平滑接合。
100.此外，根据实施方式3的图像合成装置10，与分别进行决定选择出的图像的边界线并进行接合的处理即第1次混合、以及在图像的重叠区域中合成优先区域的图像的处理即第2次混合的装置或方法相比，能够高效地进行多个图像的合成处理。换言之，根据实施方式3的图像合成装置10，进行使用根据优先区域和混合区域生成的权重图决定边界线并根据该边界线在重叠区域中混合半透明的图像的处理，因此，能够高效地进行图像的合成处理。
101.《4》实施方式4
102.在上述实施方式1～3中，说明了图像合成装置10中的具有优先区域的图像的合成处理。在实施方式4中，说明优先区域是存在隐藏现实(diminished reality：dr)技术中的去除对象的区域(即去除区域)且优先区域图像是被去除对象遮挡的背景即隐藏背景的区域的图像的例子。实施方式4能够应用于实施方式1～3。除了这点以外，实施方式4与实施方式1～3中的任意一方相同。因此，在说明实施方式4时，还参照图1、图2和图8～图10。
103.例如，在作为ar的应用方式之一的dr技术中(参照非专利文献4)，有时使用其他视点的摄像头(隐藏背景观测用摄像头)的图像生成作为去除对象(例如图2中的树)遮蔽的背景(隐藏背景)的房屋，希望以不遮挡隐藏背景的区域的方式合成图像。即，有时希望生成去除了去除对象的图像。
104.非专利文献4：森尚平、一刈良介、柴田史久、木村朝子、田村秀行著、“隠消現実感
の
技術的枠組
と
諸問題～現実世界
に
実在
する
物体
を
視覚的
に
隠蔽
·
消去
·
透視
する
技術
について
～”、日本虚拟现实学会论文志、vol.16、no.2、pp.239-250、2011年6月
105.在通过现有的方法决定了边界线的情况下，以在重叠区域中不包含优先区域(包含去除区域)的方式进行掩蔽处理，由此，边界线不会进入优先区域。但是，在此后的混合中对重叠的图像间的像素值进行混合，但是，在边界线过于接近优先区域的情况下，可能无法平滑地混合。
106.在实施方式4中，说明优先区域是包含去除对象的区域的例子。该情况下，优先区域称作“去除区域”。该情况下，也与实施方式1～3的情况同样，以不与优先区域重叠的方式决定边界线。
107.图21是示出由实施方式4的图像合成装置10的图像取得部11取得的图像的例子的图。图22是示出由实施方式4的图像合成装置10的边界线决定部13决定的边界线的例子的图。
108.图像取得部11取得从不同视点拍摄到的多个图像112、122、132、142。在图21中示出图像122具有去除区域124的例子。
109.实施方式4的动作基本上与图9和图10所示的实施方式1的动作相同，但是，在步骤s151中生成的权重图与实施方式1的权重图不同。在使用非专利文献2所示的图形切割且使用黑色图像作为掩蔽图像的情况下，去除区域124和混合区域181的图像的数据项为0。混合区域181以外的区域的定义与实施方式1的情况相同。例如，在包含去除区域124的图像122中，将去除区域124和混合区域181的数据项的值设为0，离去除区域124和混合区域181越远
(即距离越增加)，则数据项的值越是逐渐增加。该情况下，在去除区域124的附近决定边界线182。在决定了边界线182后，混合部15在重叠区域160中混合图像。另外，在需要的情况下，在混合之前，坐标系统合部14进行坐标系的统合。
110.如以上说明的那样，根据实施方式4的图像合成装置10，在对包含作为一种优先区域的去除区域的图像进行合成而生成合成图像的情况下，也能够进行图像的重叠区域的边界线处的图像的平滑接合。
111.此外，根据实施方式4的图像合成装置10，与分别进行决定选择出的图像的边界线并进行接合的处理即第1次混合、以及在图像的重叠区域中合成去除区域的图像的处理即第2次混合的装置或方法相比，能够高效地进行多个图像的合成处理。换言之，根据实施方式4的图像合成装置10，进行使用根据去除区域和混合区域生成的权重图决定边界线并根据该边界线在重叠区域中混合图像的处理，因此，能够高效地进行图像的合成处理。
112.《5》实施方式5
113.在上述实施方式1～4中，说明了2个图像的合成处理。在实施方式5中，说明3幅图像相互具有重叠区域且根据这些图像生成合成图像的情况。另外，根据4幅以上的图像生成合成图像的方法能够与根据3幅图像生成合成图像的方法同样地进行。实施方式5能够应用于实施方式1～4。除了这点以外，实施方式5与实施方式1～4中的任意一方相同。因此，在说明实施方式4时，还参照图1、图2和图8～图10。
114.图23是示出重叠的图像的区域分割的顺序的图。一般而言，关于全部组合进行选择出的多幅图像中的任意2幅图像的区域分割，由此能够决定多个(3个以上)的图像重叠的区域中的边界线。
115.在实施方式5的图像合成装置10的边界线决定部13中，越是多个图像的层中的希望存在的层，则越靠后实施作为相邻的图像而选择出的3幅图像a0、b0、c0之间的边界线51、52、53的决定的顺序，即通过边界线51、52、53分割重叠区域的处理即区域分割的顺序。例如，为了使在合成图像的生成中未使用的区域的面积变窄，优选越是希望作为比其他图像靠上的层的图像而存在的图像，则在越靠后的处理中进行区域分割。
116.在图23的例子中，首先，计算图像a0和图像b0的重叠区域中的边界线51，生成除了未使用的区域以外的图像a1和图像b1。接着，计算图像a1和图像c0的重叠区域中的边界线52，生成除了未使用的区域以外的图像a2和图像c1。接着，计算图像b1和图像c1的重叠区域中的边界线53，生成除了未使用的区域以外的图像b2和图像c2。在合成图像的生成中未使用的区域是在图23的图像a2、b2、c2中被涂黑的区域。此外，合成图像是由图23的图像a2、b2、c2构成的图像。
117.根据图23能够理解，为了在希望作为比其他图像靠上的层而存在的图像中使未使用的图像区域的面积变窄，优选越是希望作为比其他图像靠上的层而存在的图像，则在越靠后的处理中进行区域分割。
118.如以上说明的那样，根据实施方式5的图像合成装置10，在对优先区域(也可以是去除区域)的图像进行合成而生成合成图像的情况下，也能够进行图像的重叠区域的边界线处的图像的平滑接合。此外，在对重叠的3幅以上的图像进行合成的情况下，在希望作为比其他图像靠上的层而存在的图像中，能够使未使用的区域的面积变窄。
119.此外，根据实施方式5的图像合成装置10，与分别进行决定选择出的图像的边界线
并进行接合的处理即第1次混合、以及在图像的重叠区域中合成优先区域的图像的处理即第2次混合的装置或方法相比，能够高效地进行多个图像的合成处理。
120.标号说明
121.10：图像合成装置；11：图像取得部；12：重叠区域计算部；13：边界线决定部；14：坐标系统合部；15：混合部；110、120、130、140：摄像头；112、122、132、142：图像；123、133：优先区域；122a：统合后的图像；123a：统合后的优先区域；124：去除区域；125：优先区域的边界线；150：拍摄对象；160、170：重叠区域；162、172、182：边界线；161、171、181：混合区域。

技术特征：
1.一种图像合成装置，该图像合成装置具有：图像取得部，其取得从不同视点拍摄到的多个图像，从所述多个图像中选择相互相邻的图像；重叠区域计算部，其计算所述相邻的图像相互重叠的区域即重叠区域；边界线决定部，其在所述重叠区域中决定图像间的边界线；以及混合部，其在所述重叠区域中混合图像，在所述相邻的图像中的至少一方包含优先区域的情况下，所述边界线决定部决定不与所述优先区域周边的混合区域重叠的所述边界线，该混合区域是根据在所述优先区域的图像的混合中使用的混合方法决定的区域，所述混合部根据所述边界线在所述重叠区域中混合图像。2.根据权利要求1所述的图像合成装置，其中，所述混合部根据所述混合区域生成所述重叠区域中的像素值的权重图，所述边界线决定部根据所述权重图决定所述边界线。3.根据权利要求2所述的图像合成装置，其中，所述权重图在所述混合区域中具有预先决定的大数值的权重，离所述混合区域越远，则所述权重越小。4.根据权利要求1或2所述的图像合成装置，其中，在所述优先区域的图像为半透明图像且所述混合部使用α混合的情况下，将所述优先区域的边界处的α值设定为比100％小的值。5.根据权利要求2所述的图像合成装置，其中，所述权重图在所述混合区域中具有0的权重，离所述混合区域越远，则所述权重越大。6.根据权利要求1～5中的任意一项所述的图像合成装置，其中，当在由所述图像取得部取得的所述多个图像中存在具有优先区域的2个以上的图像的情况下，所述重叠区域计算部、所述混合部和所述边界线决定部进行将具有所述优先区域的图像转换为统合后的图像的统合处理，根据所述统合后的图像和由所述图像取得部取得的多个图像中的未被进行统合处理的图像生成合成图像。7.根据权利要求1～5中的任意一项所述的图像合成装置，其中，在具有所述优先区域的2个以上的图像的所述优先区域相互重叠的情况下，所述混合部对2个所述优先区域进行合成而成为1个统合后的优先区域。8.根据权利要求1～7中的任意一项所述的图像合成装置，其中，所述边界线决定部在针对不同的重叠区域依次执行利用所述边界线分割所述多个图像的重叠区域的区域分割处理的情况下，越是与希望作为比其他图像靠上的层的图像而存在的图像有关的区域分割，越是作为靠后的处理来进行。9.一种图像合成方法，该图像合成方法由图像合成装置执行，其中，该图像合成方法具有以下步骤：取得从不同视点拍摄到的多个图像，从所述多个图像中选择相互相邻的图像；计算所述相邻的图像相互重叠的区域即重叠区域；
在所述重叠区域中决定图像间的边界线；以及在所述重叠区域中混合图像，在所述相邻的图像中的至少一方包含优先区域的情况下，在形成所述边界线的所述步骤中，决定不与所述优先区域周边的混合区域重叠的所述边界线，该混合区域是根据在所述优先区域的图像的混合中使用的混合方法决定的区域，在混合所述图像的所述步骤中，根据所述边界线在所述重叠区域中混合图像。10.一种程序，该程序使计算机执行处理，所述处理具有以下步骤：取得从不同视点拍摄到的多个图像，从所述多个图像中选择相互相邻的图像；计算所述相邻的图像相互重叠的区域即重叠区域；在所述重叠区域中决定图像间的边界线；以及在所述重叠区域中混合图像，在所述处理中，在所述相邻的图像中的至少一方包含优先区域的情况下，在形成所述边界线的所述步骤中，决定不与所述优先区域周边的混合区域重叠的所述边界线，该混合区域是根据在所述优先区域的图像的混合中使用的混合方法决定的区域，在混合所述图像的所述步骤中，根据所述边界线在所述重叠区域中混合图像。

技术总结
图像合成装置(10)具有：图像取得部(11)，其取得多个图像，从多个图像中选择相互相邻的图像(112、122)；重叠区域计算部(12)，其计算相邻的图像(112、122)相互重叠的区域即重叠区域(160)；边界线决定部(13)，其在重叠区域(160)中决定图像间的边界线(162)；以及混合部(15)，其在重叠区域(160)中混合图像，在相邻的图像(112、122)中的至少一方包含优先区域(123)的情况下，边界线决定部(13)决定不与优先区域(123)周边的混合区域(161)重叠的边界线(162)，该混合区域(161)是根据在优先区域(123)的图像的混合中使用的混合方法决定的区域，混合部(15)根据边界线(162)在重叠区域(160)中混合图像。(160)中混合图像。(160)中混合图像。


技术研发人员：山崎贤人 深泽司 冈原浩平 柴田史久
受保护的技术使用者：学校法人立命馆
技术研发日：2021.01.25
技术公布日：2023/9/7