一种灯具同步方法、装置、设备及存储介质与流程
未命名
07-27
阅读:101
评论:0

1.本技术实施例涉及灯具控制技术领域,尤其涉及一种灯具同步方法、装置、设备及存储介质。
背景技术:
2.随着科技的发展,在进行影片拍摄或舞台表演等过程当中,往往需要在虚拟场景与现实场景具有相同的灯光氛围,现有技术中,通常通过一些专门的工作人员手动操作来调整真实灯光,以使的拍摄效果或者舞台效果等得以完美呈现。
3.但是灯具与其他普通的物体不同,灯光有自发光的特点,且灯光的种类繁多,从产生光效的形状上来看可以分为平行光、点光、激光、面板光等等。灯光有多重属性,有亮度、色度、色温等,点光源还开角角度等。
4.在现有的技术中,大多数灯光匹配工作,通常是将灯光常见的亮度色度色温参数进行了匹配,但在实际应用中发现,灯具位置、姿态的不同对灯光打到物体上产生的光影效果影响非常大,可以理解的是,光源越汇聚,灯具的位姿对于光影效果呈现和对镜头的影响越大。但是,由于灯具由人工手动安装、手动测量不准确不高效,费事费力且容易出差错,并且在进行影片拍摄或舞台表演等过程当中,往往会有十几盏、几十盏灯在同一空间中工作,很难通过人工实时观察打光后的氛围,再快速改变灯光效果,从而导致虚拟灯光与真实灯光同步动态灯光效果的难度增高。
技术实现要素:
5.本技术实施例提供了一种灯具同步方法、装置、设备及存储介质,用于能够在正式使用目标场景中的灯具打光之前,通过获取每个灯具检测标识在目标场景中的真实位姿信息,即第一位姿信息,把真实位姿信息转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,来对虚拟灯具进行校准,即将虚拟灯具调整到与目标场景中的灯具的位姿状态一致,能够基于灯具校准位姿,在正式使用目标场景中的灯具打光时,实现目标场景中的灯具与虚拟灯具的同步调整,从而提高虚拟灯具与真实灯具的同步效果。
6.本技术实施例一方面提供了一种灯具同步方法,包括:
7.为目标场景中的每个灯具分配唯一对应的灯具检测标识,其中,每个灯具检测标识对应一个灯具型号和灯具信息;
8.采集每个灯具检测标识对应的标识检测图像;
9.基于每个标识检测图像,获取每个灯具检测标识在目标场景中的第一位姿信息;
10.将第一位姿信息,转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息;
11.基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,与虚拟场景中的虚拟灯具进行校准,得到校准后的灯具校准位姿;
12.基于灯具校准位姿,对目标场景中的灯具进行同步调整。
13.本技术另一方面提供了一种灯具同步方法装置,包括:
14.处理单元,用于为目标场景中的每个灯具分配唯一对应的灯具检测标识,其中,每个灯具检测标识对应一个灯具型号和灯具信息;
15.获取单元,用于采集每个灯具检测标识对应的标识码检测图像;
16.获取单元,还用于基于每个标识检测图像,获取每个灯具检测标识在目标场景中的第一位姿信息;
17.处理单元,还用于将第一位姿信息,转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息;
18.处理单元,还用于基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,与虚拟场景中的虚拟灯具进行校准,得到校准后的灯具校准位姿;
19.控制单元,用于基于灯具校准位姿,对目标场景中的灯具进行同步调整。
20.在一种可能的设计中,本技术实施例另一方面的一种实现方式中,处理单元具体可以用于:
21.根据灯具型号和灯具信息,获取虚拟灯具对应的初始位姿信息;
22.基于第二位姿信息,对虚拟灯具对应的初始位姿信息进行校准,得到灯具校准位姿。
23.在一种可能的设计中,本技术实施例另一方面的一种实现方式中,处理单元具体可以用于:
24.将第二位姿信息与虚拟灯具对应的初始位姿信息进行比对,得到比对结果;
25.若比对结果为信息一致,则将虚拟灯具对应的初始位姿信息,作为虚拟灯具对应的灯具校准位姿;
26.若比对结果为信息不一致,则将虚拟灯具对应的初始位姿信息替换为第二位姿信息,得到虚拟灯具对应的灯具校准位姿。
27.在一种可能的设计中,本技术实施例另一方面的一种实现方式中,处理单元具体可以用于:
28.获取目标场景中的灯具总数,并从二维码字典中获取灯具总数对应的二维码集合;
29.基于二维码集合,为每个灯具分配唯一对应的二维码以及每个二维码对应的二维码标识;
30.获取单元具体可以用于:采集每个所述二维码对应的二维码检测图像;
31.获取单元具体可以用于:基于每个所述二维码检测图像,获取每个所述二维码在所述目标场景中的第一位姿信息;
32.处理单元具体可以用于:将所述第一位姿信息,转换为三维虚拟空间坐标系下的每个所述二维码对应的第二位姿信息。
33.在一种可能的设计中,本技术实施例另一方面的一种实现方式中,处理单元具体可以用于:
34.基于灯具型号和灯具信息进行灯具分类,得到p个灯具类别以及每个灯具类别对应的灯具集合,其中,p为大于等于1的整数;
35.基于p个灯具类别以及每个灯具类别对应的灯具集合,将二维码集合划分为p个二
维码子集;
36.将p个二维码子集中的每个二维码以及每个二维码对应的二维码标识,一一分配给p个灯具集合中的灯具。
37.在一种可能的设计中,本技术实施例另一方面的一种实现方式中,获取单元具体可以用于:
38.将每个灯具对应的二维码安装至目标场景中相应的灯具处,得到每个灯具对应的二维码检测点;
39.在采集时刻,拍摄目标场景中每个二维码检测点的二维码,得到每个二维码对应的二维码检测图像。
40.在一种可能的设计中,本技术实施例另一方面的一种实现方式中,获取单元具体可以用于:
41.获取每个二维码检测图像中的二维码对应的第一坐标位置;
42.基于每个二维码检测点安装的二维码的尺寸,计算每个二维码对应的第一姿态。
43.在一种可能的设计中,本技术实施例另一方面的一种实现方式中,处理单元具体可以用于:
44.获取目标场景中的拍摄原点坐标位置,以及三维虚拟空间坐标系中的虚拟原点坐标位置;
45.基于三维虚拟空间坐标系、虚拟原点坐标位置以及拍摄原点坐标位置,将第一坐标位置以及第一姿态转换为第二坐标位置以及第二姿态。
46.在一种可能的设计中,本技术实施例另一方面的一种实现方式中,控制单元具体可以用于:
47.若接收到虚拟灯具的调整指令,则基于调整指令以及灯具校准位姿,对虚拟场景中的虚拟灯具进行调整,并生成相应的灯具调整信号;
48.基于灯具调整信号,控制虚拟灯具对应的目标场景中灯具进行同步调整。
49.本技术另一方面提供了一种计算机设备,包括:存储器、处理器以及总线系统;
50.其中,存储器用于存储程序;
51.处理器用于执行存储器中的程序时实现如上述各方面的方法;
52.总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
53.本技术的另一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
54.从以上技术方案可以看出,本技术实施例具有以下有益效果:
55.通过为目标场景中的每个灯具分配唯一对应的灯具检测标识,再采集每个灯具检测标识对应的标识检测图像,进而,基于每个标识检测图像,获取每个灯具检测标识在目标场景中的第一位姿信息,并将第一位姿信息,转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,然后,可以基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,与虚拟场景中的虚拟灯具进行校准,以获取到校准后的灯具校准位姿,并基于灯具校准位姿,对目标场景中的灯具进行同步调整。通过上述方式,能够在正式使用目标场景中的灯具打光之前,可以通过为目标场景中的每个灯具分配唯一对应的灯具检测标识,再基于采集到的标识检测图像,获取每个灯具检测标识在目标场景中的真实位姿信息,
即第一位姿信息,然后,可以通过把真实位姿信息转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,来对虚拟灯具进行校准,即将虚拟灯具调整到与目标场景中的灯具的位姿状态一致,能够基于灯具校准位姿,在正式使用目标场景中的灯具打光时,实现目标场景中的灯具与虚拟灯具的同步调整,从而提高虚拟灯具与真实灯具的同步效果。
附图说明
56.图1是本技术实施例中灯具控制系统的一个架构示意图;
57.图2是本技术实施例中灯具同步方法的一个实施例流程图;
58.图3是本技术实施例中灯具同步方法的另一个实施例流程图;
59.图4是本技术实施例中灯具同步方法的另一个实施例流程图;
60.图5是本技术实施例中灯具同步方法的另一个实施例流程图;
61.图6是本技术实施例中灯具同步方法的另一个实施例流程图;
62.图7是本技术实施例中灯具同步方法的另一个实施例流程图;
63.图8是本技术实施例中灯具同步方法的另一个实施例流程图;
64.图9是本技术实施例中灯具同步方法的另一个实施例流程图;
65.图10是本技术实施例中灯具同步方法的另一个实施例流程图;
66.图11是本技术实施例中灯具同步方法的一个原理流程示意图;
67.图12是本技术实施例中灯具同步方法的另一原理流程的示意图;
68.图13是本技术实施例中灯具同步方法的灯具灯位的效果示意图;
69.图14是本技术实施例中灯具同步方法装置的一个实施例示意图;
70.图15是本技术实施例中计算机设备的一个实施例示意图。
具体实施方式
71.本技术实施例提供了一种灯具同步方法、装置、设备及存储介质,用于能够在正式使用目标场景中的灯具打光之前,通过获取每个灯具检测标识在目标场景中的真实位姿信息,即第一位姿信息,把真实位姿信息转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,来对虚拟灯具进行校准,即将虚拟灯具调整到与目标场景中的灯具的位姿状态一致,能够基于灯具校准位姿,在正式使用目标场景中的灯具打光时,实现目标场景中的灯具与虚拟灯具的同步调整,从而提高虚拟灯具与真实灯具的同步效果。
72.本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
73.为了便于理解,先对本技术实施例涉及到的一些术语或概念进行解释。
74.1、虚拟影棚:虚拟影棚是指融合绿幕或led背景墙与虚拟摄像系统、空间定位系
统、实时渲染系统协同工作,达到后期前置化的效果现代化数字摄影棚。
75.2、摄影机数据:影视制作现场拍摄主摄影机拍摄到的画面,主要以视频形式呈现。
76.3、虚拟场景数据:根据艺术家需求或者真实场景在数字内容生成工具中制作的数字场景,包括二维、三维及全景内容。
77.4、摄像机同步数据:摄影机在真实世界空间中的位置及姿态数据,通常由六自由度(degree of freedom,6dof)表示,在影视制作过程中由实时或离线等手段计算得出并且能够在三维虚拟空间中进行还原。
78.5、art-net、sacn:一种数据分配协议,允许dmx512和rdm照明数据在以太网上传输。它使用一个简单的基于udp的数据包结构,旨在提供高效和低开销的数据流。
79.6、数字多路复用(digital multiplex,dmx):dmx512是数字通信网络的一个标准,通常用于控制灯光和效果。
80.可以理解的是,在本技术的具体实施方式中,涉及到二维码检测图像和第一位姿信息等相关的数据,当本技术以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
81.应理解的是,本技术提供的灯具同步方法方法可应用于各种场景,包括但不限于人工智能、云技术、地图、智慧交通等,用于通过获取每个真实灯具对应的二维码的真是位姿位姿信息,把真实位姿信息转换为三维虚拟空间坐标系下的每个二维码对应的第二位姿信息,来对虚拟灯具进行校准,以完成虚拟灯具对真实灯具的同步控制,以应用于如虚拟制片场景、舞台演出场景、电影拍摄场景、电视剧或广告拍摄场景、现场发布会等场景。
82.为了解决上述问题,本技术提出了一种灯具同步方法,该方法应用于图1所示的灯具控制系统,请参阅图1,图1为本技术实施例中灯具控制系统的一个架构示意图,如图1所示,通过服务器为目标场景中的每个灯具分配唯一对应的灯具检测标识,再通过获取终端设备采集到的每个灯具检测标识对应的标识检测图像,进而,基于每个标识检测图像,获取每个灯具检测标识在目标场景中的第一位姿信息,并将第一位姿信息,转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,然后,可以基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,与虚拟场景中的虚拟灯具进行校准,以获取到校准后的灯具校准位姿,并基于灯具校准位姿,对目标场景中的灯具进行同步调整。通过上述方式,能够在正式使用目标场景中的灯具打光之前,可以通过为目标场景中的每个灯具分配唯一对应的灯具检测标识,再基于采集到的标识检测图像,获取每个灯具检测标识在目标场景中的真实位姿信息,即第一位姿信息,然后,可以通过把真实位姿信息转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,来对虚拟灯具进行校准,即将虚拟灯具调整到与目标场景中的灯具的位姿状态一致,能够基于灯具校准位姿,在正式使用目标场景中的灯具打光时,实现目标场景中的灯具与虚拟灯具的同步调整,从而提高虚拟灯具与真实灯具的同步效果。
83.可以理解的是,图1中仅示出了一种终端设备,在实际场景中可以由更多种类的终端设备参与到数据处理的过程中,终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等,具体数量和种类因实际场景而定,具体此处不做限定。另外,图1中示出了一个服务器,但在实际场景中,也可以有多个服务器的参与,特别是在多模型训练交
互的场景中,服务器的数量因实际场景而定,具体此处不做限定。
84.需要注意的是,本实施例中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,终端设备以及服务器可以连接组成区块链网络,本技术在此不做限制。
85.结合上述介绍,下面将对本技术中灯具同步方法进行介绍,请参阅图2,本技术实施例中灯具同步方法一个实施例包括:
86.在步骤s101中,为目标场景中的每个灯具分配唯一对应的灯具检测标识,其中,每个灯具检测标识对应一个灯具型号和灯具信息;
87.在本技术实施例中,当有需要灯具打光的目标场景时,为了能够更好地获取到目标场景中的每个真实灯具的真实位姿信息,以使后续能够基于获取到的每个真实灯具的真实位姿信息,能够更好地对虚拟场景中的虚拟灯具进行校准,从而提高校准虚拟灯具的准确率,以及提高虚拟灯具与真实灯具的同步效果,本实施例通过为目标场景中的每个灯具分配唯一对应的灯具检测标识,来通过灯具检测标识来准确获取每个真实灯具的真实位姿信息。
88.其中,目标场景指的是真实现实世界中可以使用各种真实灯具进行打光的场景,例如,影视(电影、电视剧或短视频等)拍摄、舞台演讲或表演等场景。
89.其中,目标场景中的每个灯具都有唯一的灯具型号和灯具信息,故在为目标场景中的每个灯具分配唯一对应的灯具检测标识(如二维码、条形码以及特殊标号等)后,可知,每个灯具检测标识对应一个灯具型号和灯具信息。灯具信息包括灯具名称(例如,聚光灯、柔光灯或者光柱灯等等)、灯具描述以及灯具功率等信息,灯具型号用于指示灯具的具体产品型号,例如,par46筒灯、par46筒灯或者s型灯具等等。
90.具体地,如图11所示,先通过获取目标场景中需要安装的灯具总数,则可以从预先构建好的标识字典(如二维码字典、条形码字典以及特殊标号字典等)中获取与灯具总数对应的标识集合(如二维码集合、条形码集合以及特殊标号集合等),然后,可以将与灯具总数对应的标识集合(如二维码集合、条形码集合以及特殊标号集合等),来为目标场景中每个灯具分配唯一对应的灯具检测标识。例如,假设一个目标场景是一个场演出,该目标场景需要使用某厂商的s型灯具20盏,则可以从标识字典中,获取20个不同的灯具检测标识,以获取到相应的标识集合,可以对20个不同的灯具检测标识进行编码,如编s号为s_0-s_19,将id为0-19的灯具检测标识分配给该20盏灯具。
91.在步骤s102中,采集每个灯具检测标识对应的标识检测图像;
92.在本技术实施例中,在为目标场景中的每个灯具分配唯一对应的灯具检测标识之后,可以将分配好的灯具检测标识安装至相应的目标场景中的灯具处,然后,对目标场景中的灯具对应的灯具检测标识进行拍摄,以采集到每个灯具检测标识对应的标识检测图像,以使后续可以基于每个标识检测图像,准确获取到每个灯具检测标识在目标场景中的真实位姿信息。
93.具体地,如图11所示,在正式使用目标场景中的灯具打光之前,可以先将分配好的
灯具检测标识(如二维码、条形码以及特殊标号等)安装至相应的目标场景中的灯具处,然后,使用拍摄设备(如相机)拍摄目标场景中的灯具处上安装好的灯具检测标识(如二维码、条形码以及特殊标号等),例如,使用拍摄设备(如相机)拍摄图11所示意的a类灯具001对应的标记点id001对应的灯具检测标识,以采集到该灯具检测标识对应的标识检测图像,再通过采集卡(如图11所示意的采集卡,例如,hdmi采集卡等),来将采集到的标识检测图像转换为数字信号传递至服务器的软件(如图像处理软件)上,以使后续可以通过软件(如图像处理软件)将数字信号导出为每个灯具检测标识的位置文件,来准确获取每个灯具检测标识在目标场景中的真实位姿信息。
94.在步骤s103中,基于每个标识检测图像,获取每个灯具检测标识在目标场景中的第一位姿信息;
95.在本技术实施例中,在获取到每个灯具检测标识对应的标识检测图像之后,可以基于每个标识检测图像,来获取每个灯具检测标识在目标场景中的第一位姿信息,以使后续可以通过把第一位姿信息转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,从而能够基于真实位姿信息来对虚拟灯具进行校准,从而可以在一定程度上提高校准虚拟灯具的准确率。
96.具体地,在获取到每个灯具检测标识对应的标识检测图像之后,可以通过基于深度学习的模型得到灯具检测标识的关键点坐标,如灯具检测标识(如二维码、条形码以及特殊标号等)左上角的三维坐标,或者,通过物理分割算法,或者边缘检测算法等等,还可以是通过其他算法,此处不作具体限制,来获取到每个标识检测图像中的灯具检测标识在目标场景中的真实坐标位置(如灯具的位置坐标position(x,y,z)表示灯具在世界坐标系下的位置),即灯具检测标识对应的第一坐标位置,然后,可以基于每个真实灯具处安装好的灯具检测标识的尺寸,按照视觉算法以及深度学习模型,或者其他位姿算法,此处不作具体限制,来计算每个灯具检测标识对应的真实姿态(如旋转量orientation(x,y,z,w)表示灯具在世界坐标系下的旋转姿态),即灯具检测标识对应的第一姿态,从而可以基于灯具检测标识对应的第一坐标位置以及第一姿态,得到每个灯具检测标识在目标场景中的第一位姿信息。
97.在步骤s104中,将第一位姿信息,转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息;
98.在本技术实施例中,在获取到第一位姿信息之后,可以将第一位姿信息,转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,以使后续可以通过相同坐标系下的第二位姿信息来对虚拟场景中的虚拟灯具的初始位姿信息进行校准,从而可以在一定程度上提高校准虚拟灯具的准确率。
99.具体地,先获取目标场景(如表演舞台)中的拍摄设备(如相机)的拍摄原点坐标位置,以及获取基于目标场景构建好的虚拟场景中的三维虚拟空间坐标系中的虚拟拍摄设备(如虚拟相机)的虚拟原点坐标位置。
100.进一步地,在获取到虚拟原点坐标位置以及拍摄原点坐标位置之后,可以基于三维虚拟空间坐标系、虚拟原点坐标位置以及拍摄原点坐标位置,按照坐标转换算法,来将第一位姿信息(如灯具在世界坐标系下的位置,以及灯具在世界坐标系下的旋转姿态)转换为三维虚拟空间坐标系下第二位姿信息。
101.在步骤s105中,基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,与虚拟场景中的虚拟灯具进行校准,得到校准后的灯具校准位姿;
102.在本技术实施例中,在获取到每个灯具检测标识对应的第二位姿信息之后,可以基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,对虚拟场景中的虚拟灯具的初始位姿信息进行校准,以获取到校准后的灯具校准位姿,以使后续能够基于校准后的灯具校准位姿,实现目标场景中的灯具与虚拟灯具的同步调整,从而可以在一定程度上提高校准虚拟灯具的准确率,以及提高虚拟灯具与真实灯具的同步效果。
103.其中,虚拟场景是在数字内容生成工具中制作的数字场景,将虚拟世界和真实世界(即目标场景)1:1还原的数字场景,目标场景中的灯具与虚拟场景中的虚拟灯具是一一对应的,拍摄设备也是一一对应的,其中,目标场景对应于真实世界坐标系,虚拟场景对应于三维虚拟空间坐标系。虚拟场景具体可以表现为虚拟制片场景,三维舞台动画场景等等,还可以表现为其他场景,此处不做具体限制。其中,虚拟制片指的是各种利用计算机辅助制作和电影可视化制作的数字化工作流程及方法,在实时渲染技术的推动下,其应用可以包括前期虚拟预演、虚拟角色实时动作捕捉、绿幕虚拟制作和led虚拟制作等。
104.可以理解的是,由于在实际应用中(如目标场景中),如图13所示,灯具位置、姿态的不同对灯光打到物体上产生的光影效果影响非常大,可以理解的是,例如光源越汇聚,灯具的位姿对于光影效果呈现和对镜头的影响越大,或者,灯具的灯位姿变化对光影塑造效果也不同,如图13所示意的左上角的图示,可以集中突出表演对象的腿部肢体的光影效果,或者,如图13所示意的左下角的图示,可以集中突出表演对象的腰部以上肢体的光影效果等等。
105.由此,为了避免灯具由人工手动安装、手动测量不准确不高效,并且往往有十几盏、几十盏灯在同一空间中工作的场景,导致虚拟场景与真实场景的灯具位姿信息存在误差,无法通过虚拟场景同步或准确控制真实场景中的灯具位姿的变化,因此,如图12所示,在获取到每个灯具检测标识在三维虚拟空间坐标系下的第二位姿信息之后,可以进行虚拟灯光真实灯光位置匹配(即将虚拟灯具的初始位姿信息与真实灯具的第二位姿信息进行匹配),具体可以是根据灯具型号和灯具信息,获取相应的虚拟灯具在三维虚拟空间坐标系下的初始位姿信息,进而,基于每个灯具检测标识对应的第二位姿信息,对虚拟灯具对应的初始位姿信息进行校准,具体可以是通过在相同的三维虚拟空间坐标系下,将虚拟灯具的初始位姿信息与真实灯具的第二位姿信息进行比对,以获取到相应的比对结果,然后,可以基于相应的比对结果,将虚拟灯具与真实灯具的位姿信息调整为一致,以实现目标场景中的灯具与虚拟灯具的同步调整。
106.例如,假设在一个目标场景为节日晚会舞台表演,构建了1:1还原的一个虚拟制片场景中,能够在正式使用目标场景中的灯具打光之前,可以通过为目标场景中的每个灯具分配唯一对应的灯具检测标识,来基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,提前对虚拟制片场景中的虚拟灯具进行校准,即将虚拟灯具调整到与目标场景中的灯具的位姿状态一致,使得后续能够基于灯具校准位姿,在正式使用目标场景中的灯具打光时,能够通过对虚拟灯具进行实时动作捕捉,并进行相应的灯具位姿调整,来同步控制和调整的目标场景中的真实灯具的位姿,从而塑造出目标场景需要的光影效果。
107.在步骤s106中,基于灯具校准位姿,对目标场景中的灯具进行同步调整。
108.在本技术实施例中,在将虚拟场景中的虚拟灯具的位姿都调整为灯具校准位姿后,可以将虚拟灯具与真实灯具的位姿信息调整为一致,从而可以基于对虚拟灯具的调整,来实现虚拟灯具同步控制目标场景的真实灯具的打光,以提高虚拟灯具与真实灯具进行打光时候的同步效果。
109.具体地,在将虚拟场景中的虚拟灯具的位姿都调整为灯具校准位姿(如图11所示意的虚拟灯光位姿初始化校准)后,可以将虚拟灯具与真实灯具的位姿信息调整为一致,即维护虚拟灯具与真实灯具的一致性和同步性,然后,例如,假设灯光管理人员,基于目标场景的打光需求,可以通过虚拟场景的显示界面输入相应的灯光操作,使得终端设备可以响应灯光管理人员的灯光操作指令,生成相应的调整指令并发送至服务器,使得服务器可以接收到关于虚拟灯具的调整指令,然后,服务器可以基于调整指令以及灯具校准位姿,对虚拟场景中的虚拟灯具进行调整或控制,并生成相应的灯具调整信号,进而,可以通过灯光控制引擎将灯具调整信号传递至相应的真实灯具,以控制或调整虚拟灯具对应的目标场景中灯具进行相应的灯光或方向调整。
110.在本技术实施例中,提供了一种灯具同步方法,通过上述方式,能够在正式使用目标场景中的灯具打光之前,可以通过为目标场景中的每个灯具分配唯一对应的灯具检测标识,再基于采集到的标识检测图像,获取每个灯具检测标识在目标场景中的真实位姿信息,即第一位姿信息,然后,可以通过把真实位姿信息转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,来对虚拟灯具进行校准,即将虚拟灯具调整到与目标场景中的灯具的位姿状态一致,能够基于灯具校准位姿,在正式使用目标场景中的灯具打光时,实现目标场景中的灯具与虚拟灯具的同步调整,从而提高虚拟灯具与真实灯具的同步效果。
111.可选地,在上述图2对应的实施例的基础上,本技术实施例提供的灯具同步方法另一个可选实施例中,如图3所示,步骤s105基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,与虚拟场景中的虚拟灯具进行校准,得到校准后的灯具校准位姿,包括:
112.在步骤s301中,根据灯具型号和灯具信息,获取虚拟灯具对应的初始位姿信息;
113.在步骤s302中,基于第二位姿信息,对虚拟灯具对应的初始位姿信息进行校准,得到灯具校准位姿。
114.在本技术实施例中,在获取到每个灯具检测标识对应的第二位姿信息之后,可以先根据灯具型号和灯具信息,获取虚拟灯具对应的初始位姿信息,然后,可以基于第二位姿信息,对虚拟灯具对应的初始位姿信息进行校准,以获取到灯具校准位姿,以使后续能够基于校准后的灯具校准位姿,实现目标场景中的灯具与虚拟灯具的同步调整,从而可以在一定程度上提高校准虚拟灯具的准确率,以及提高虚拟灯具与真实灯具的同步效果。
115.具体地,如图12所示,在获取到每个灯具检测标识在三维虚拟空间坐标系下的第二位姿信息之后,可以进行虚拟灯光真实灯光位置匹配(即将虚拟灯具的初始位姿信息与真实灯具的第二位姿信息进行匹配),具体可以是根据灯具型号和灯具信息,例如,a类灯具001,b类灯具001等,基于真实灯具与虚拟灯具之间一一对应的关系,可以准确获取到每个真实灯具在虚拟场景中对应的虚拟灯具,以及构建虚拟场景时初始化每个虚拟灯具的位置与姿态,以获取到每个虚拟灯具对应的初始位姿信息。
116.进一步地,在获取到与每个真实灯具相对应的虚拟灯具,在三维虚拟空间坐标系下的初始位姿信息之后,可以将第二位姿信息与虚拟灯具对应的初始位姿信息进行比对,以获取到相应的比对结果,如果比对结果为信息一致,可以理解为该虚拟灯具相对于目标场景中的真实灯具的位置和姿态未发生偏移,即无需进行校准,则可以将虚拟灯具对应的初始位姿信息,作为虚拟灯具对应的灯具校准位姿,如果比对结果为信息不一致,可以理解为该虚拟灯具相对于目标场景中的真实灯具的位置和姿态发生了偏移,即需要进行校准,则可以将虚拟灯具对应的初始位姿信息替换为第二位姿信息,并将第二位姿信息作为虚拟灯具对应的灯具校准位姿,然后,能够基于虚拟灯具对应的灯具校准位姿,将虚拟灯具与真实灯具的位姿信息调整为一致,以实现目标场景中的灯具与虚拟灯具的同步调整。
117.可选地,在上述图3对应的实施例的基础上,本技术实施例提供的灯具同步方法另一个可选实施例中,如图4所示,步骤s302基于第二位姿信息,对虚拟灯具对应的初始位姿信息进行校准,得到灯具校准位姿,包括:
118.在步骤s401中,将第二位姿信息与虚拟灯具对应的初始位姿信息进行比对,得到比对结果;
119.在步骤s402中,若比对结果为信息一致,则将虚拟灯具对应的初始位姿信息,作为虚拟灯具对应的灯具校准位姿;
120.在步骤s403中,若比对结果为信息不一致,则将虚拟灯具对应的初始位姿信息替换为第二位姿信息,得到虚拟灯具对应的灯具校准位姿。
121.在本技术实施例中,在获取到每个灯具检测标识对应的第二位姿信息之后,可以先根据灯具型号和灯具信息,获取虚拟灯具对应的初始位姿信息,然后,可以将第二位姿信息与虚拟灯具对应的初始位姿信息进行比对,以获取到比对结果,如果比对结果为信息一致,则将虚拟灯具对应的初始位姿信息,作为虚拟灯具对应的灯具校准位姿,如果比对结果为信息不一致,则可以将虚拟灯具对应的初始位姿信息替换为第二位姿信息,以获取到虚拟灯具对应的灯具校准位姿,以使后续能够基于校准后的灯具校准位姿,实现目标场景中的灯具与虚拟灯具的同步调整,从而可以在一定程度上提高校准虚拟灯具的准确率,以及提高虚拟灯具与真实灯具的同步效果。
122.具体地,如图12所示,在获取到每个灯具检测标识在三维虚拟空间坐标系下的第二位姿信息之后,可以进行虚拟灯光真实灯光位置匹配(即将虚拟灯具的初始位姿信息与真实灯具的第二位姿信息进行匹配),具体可以是根据灯具型号和灯具信息,例如,a类灯具001,b类灯具001等,基于真实灯具与虚拟灯具之间一一对应的关系,可以准确获取到每个真实灯具在虚拟场景中对应的虚拟灯具(虚拟a类灯具001),以及构建虚拟场景时初始化每个虚拟灯具的位置与姿态,以获取到每个虚拟灯具对应的初始位姿信息。
123.进一步地,在获取到与每个真实灯具相对应的虚拟灯具,在三维虚拟空间坐标系下的初始位姿信息之后,可以将第二位姿信息与虚拟灯具对应的初始位姿信息进行比对,以获取到相应的比对结果。
124.进一步地,(如图12所示意的将源文件效果还原),例如,如果比对结果为信息一致,可以理解为该虚拟灯具相对于目标场景中的真实灯具的位置(如虚拟灯具在三维虚拟空间坐标系下的位置)和姿态(如虚拟灯具在三维虚拟空间坐标系下的旋转姿态)未发生偏移,即无需进行校准,则可以将虚拟灯具对应的初始位姿信息,作为虚拟灯具对应的灯具校
准位姿。
125.反之,如果比对结果为信息不一致,可以理解为该虚拟灯具相对于目标场景中的真实灯具的位置(如虚拟灯具在三维虚拟空间坐标系下的位置)和姿态(如虚拟灯具在三维虚拟空间坐标系下的旋转姿态)发生了偏移,即需要进行校准,则可以将虚拟灯具对应的初始位姿信息替换或重新赋值为第二位姿信息,以将第二位姿信息作为虚拟灯具对应的灯具校准位姿。
126.进一步地,在虚拟场景中的所有虚拟灯具的初始位姿信息都校准为灯具校准位姿之后,即已经将虚拟灯具与真实灯具的位姿信息调整为一致,则使得后续可以基于虚拟灯具的灯具校准位姿,以实现目标场景中的灯具与虚拟灯具的同步调整。
127.可选地,在上述图2对应的实施例的基础上,本技术实施例提供的灯具同步方法另一个可选实施例中,如图5所示,灯具检测标识包括二维码;步骤s101为目标场景中的每个灯具分配唯一对应的灯具检测标识,包括:步骤s501至步骤s502;以及步骤s102包括步骤s503;步骤s103包括步骤s504;步骤s104包括步骤s505;
128.在步骤s501中,获取目标场景中的灯具总数,并从二维码字典中获取灯具总数对应的二维码集合;
129.在步骤s502中,基于二维码集合,为每个灯具分配唯一对应的二维码以及每个二维码对应的二维码标识;
130.在本技术实施例中,当有需要灯具打光的目标场景时,为了能够更好地获取到目标场景中的每个真实灯具的真实位姿信息,以使后续能够基于获取到的每个真实灯具的真实位姿信息,能够更好地对虚拟场景中的虚拟灯具进行校准,从而提高校准虚拟灯具的准确率,以及提高虚拟灯具与真实灯具的同步效果,本实施例可以先获取目标场景中的灯具总数,并从二维码字典中获取灯具总数对应的二维码集合,然后,可以基于基于二维码集合,为每个灯具分配唯一对应的二维码以及每个二维码对应的二维码标识,以通过二维码来准确获取每个真实灯具的真实位姿信息。
131.具体地,如图11所示,在为目标场景中的每个灯具分配唯一对应的二维码之前,本实施例预先构建有一个二维码字典(如图11所示意的二维码字典,如包含有1000个不同的二维码)。
132.进一步地,例如,假设目标场景为一场演出,共使用200盏灯具,即目标场景中的灯具总数,则可以从二维码字典中随机获取数量级别为200个的二维码,以获取到与灯具总数对应的二维码集合,对应的二维码标识可以表现为如id编号为0至199。
133.进一步地,在获取到二维码集合之后,可以为每个灯具分配唯一对应的二维码以及每个二维码对应的二维码标识。例如,假设一个目标场景是一个场演出,共使用200盏灯具,其中,需要使用某厂商的s型灯具20盏,则可以从二维码集合中,获取二维码标识如id编号为0至19的20个不同的二维码,分配给20盏s型灯具,如编s号为s_0-s_19。
134.在步骤s503中,采集每个二维码对应的二维码检测图像;
135.在本技术实施例中,在为目标场景中的每个灯具分配唯一对应的二维码之后,可以将分配好的二维码安装至相应的目标场景中的灯具处,然后,对目标场景中的灯具对应的二维码进行拍摄,以采集到每个二维码对应的二维码检测图像,以使后续可以基于每个二维码检测图像,准确获取到每个二维码在目标场景中的真实位姿信息。
136.具体地,如图11所示,在正式使用目标场景中的灯具打光之前,可以先将分配好的二维码安装至相应的目标场景中的灯具处,然后,使用拍摄设备(如相机)拍摄目标场景中的灯具处上安装好的二维码,例如,使用拍摄设备(如相机)拍摄图11所示意的a类灯具001对应的标记点id001对应的二维码,以采集到该二维码对应的二维码检测图像,再通过采集卡(如图11所示意的采集卡,例如,hdmi采集卡等),来将采集到的二维码检测图像转换为数字信号传递至服务器的软件(如图像处理软件)上,以使后续可以通过软件(如图像处理软件)将数字信号导出为每个二维码的位置文件,来准确获取每个二维码在目标场景中的真实位姿信息。
137.在步骤s504中,基于每个二维码检测图像,获取每个二维码在目标场景中的第一位姿信息;
138.在本技术实施例中,在获取到每个二维码对应的二维码检测图像之后,可以基于每个二维码检测图像,来获取每个二维码在目标场景中的第一位姿信息,以使后续可以通过把第一位姿信息转换为三维虚拟空间坐标系下的每个二维码对应的第二位姿信息,从而能够基于真实位姿信息来对虚拟灯具进行校准,从而可以在一定程度上提高校准虚拟灯具的准确率。
139.具体地,在获取到每个二维码对应的二维码检测图像之后,可以通过基于深度学习的模型得到二维码关键点坐标,如二维码左上角的三维坐标,或者,通过物理分割算法,或者边缘检测算法等等,还可以是通过其他算法,此处不作具体限制,来获取到每个二维码检测图像中的二维码在目标场景中的真实坐标位置(如灯具的位置坐标position(x,y,z)表示灯具在世界坐标系下的位置),即二维码对应的第一坐标位置,然后,可以基于每个真实灯具处安装好的二维码的尺寸,按照视觉算法以及深度学习模型,或者其他位姿算法,此处不作具体限制,来计算每个二维码对应的真实姿态(如旋转量orientation(x,y,z,w)表示灯具在世界坐标系下的旋转姿态),即二维码对应的第一姿态,从而可以基于二维码对应的第一坐标位置以及第一姿态,得到每个二维码在目标场景中的第一位姿信息。
140.在步骤s505中,将第一位姿信息,转换为三维虚拟空间坐标系下的每个二维码对应的第二位姿信息;
141.在本技术实施例中,在获取到第一位姿信息之后,可以将第一位姿信息,转换为三维虚拟空间坐标系下的每个二维码对应的第二位姿信息,以使后续可以通过相同坐标系下的第二位姿信息来对虚拟场景中的虚拟灯具的初始位姿信息进行校准,从而可以在一定程度上提高校准虚拟灯具的准确率。
142.具体地,先获取目标场景(如表演舞台)中的拍摄设备(如相机)的拍摄原点坐标位置,以及获取基于目标场景构建好的虚拟场景中的三维虚拟空间坐标系中的虚拟拍摄设备(如虚拟相机)的虚拟原点坐标位置。
143.进一步地,在获取到虚拟原点坐标位置以及拍摄原点坐标位置之后,可以基于三维虚拟空间坐标系、虚拟原点坐标位置以及拍摄原点坐标位置,按照坐标转换算法,来将第一位姿信息(如灯具在世界坐标系下的位置,以及灯具在世界坐标系下的旋转姿态)转换为三维虚拟空间坐标系下第二位姿信息。
144.可选地,在上述图5对应的实施例的基础上,本技术实施例提供的灯具同步方法另一个可选实施例中,如图6所示,步骤s502基于二维码集合,为每个灯具分配唯一对应的二
维码以及每个二维码对应的二维码标识,包括:
145.在步骤s601中,基于灯具型号和灯具信息进行灯具分类,得到p个灯具类别以及每个灯具类别对应的灯具集合,其中,p为大于等于1的整数;
146.在步骤s602中,基于p个灯具类别以及每个灯具类别对应的灯具集合,将二维码集合划分为p个二维码子集;
147.在步骤s603中,将p个二维码子集中的每个二维码以及每个二维码对应的二维码标识,一一分配给p个灯具集合中的灯具。
148.在本技术实施例中,当有需要灯具打光的目标场景时,为了能够更好地获取到目标场景中的每个真实灯具的真实位姿信息,以使后续能够基于获取到的每个真实灯具的真实位姿信息,能够更好地对虚拟场景中的虚拟灯具进行校准,从而提高校准虚拟灯具的准确率,以及提高虚拟灯具与真实灯具的同步效果,本实施例可以先获取目标场景中的灯具总数,并从二维码字典中获取灯具总数对应的二维码集合,进而,可以基于灯具型号和灯具信息进行灯具分类,以获取到p个灯具类别以及每个灯具类别对应的灯具集合,然后,基于p个灯具类别以及每个灯具类别对应的灯具集合,将二维码集合划分为p个二维码子集,并将p个二维码子集中的每个二维码以及每个二维码对应的二维码标识,一一分配给p个灯具集合中的灯具,以通过二维码来准确获取每个真实灯具的真实位姿信息。
149.如图11所示,在为目标场景中的每个灯具分配唯一对应的二维码之前,本实施例预先构建有一个二维码字典(如图11所示意的二维码字典,如包含有1000个不同的二维码)。
150.进一步地,例如,假设目标场景为一场演出,共使用200盏灯具,即目标场景中的灯具总数,则可以从二维码字典中随机获取数量级别为200个的二维码,以获取到与灯具总数对应的二维码集合,对应的二维码标识可以表现为如id编号为0至199。
151.进一步地,可以基于灯具型号和灯具信息进行灯具分类,例如,将目标场景为一场演出,共使用200盏灯具,按照灯具生产的厂家以及灯具的型号进行分类,假设可以得到p(如10个)个灯具类别(如a至j类灯具)以及每个灯具类别对应的灯具集合,其中,每个灯具集合至少有一个灯具。
152.进一步地,在获取到二维码集合之后,基于p个灯具类别以及每个灯具类别对应的灯具集合,将二维码集合划分为p个二维码子集,例如,将二维码集合划分为a至j类的10个二维码子集,例如,假设a类灯具类别的灯具集合中有10个灯具,则对应的二维码子集中也有二维码标识如id编号为20至29的10个不同的二维码,然后,可以将二维码标识如id编号为20至29的10个不同的二维码,分配给10盏a类灯具,如编a号为a_20-a_29,以此类推,可以将p个二维码子集中的每个二维码以及每个二维码对应的二维码标识,一一分配给p个灯具集合中的灯具。
153.可选地,在上述图5对应的实施例的基础上,本技术实施例提供的灯具同步方法另一个可选实施例中,如图7所示,在步骤s503采集每个二维码对应的二维码检测图像,包括:
154.在步骤s701中,将每个灯具对应的二维码安装至目标场景中相应的灯具处,得到每个灯具对应的二维码检测点;
155.在步骤s702中,在采集时刻,拍摄目标场景中每个二维码检测点的二维码,得到每个二维码对应的二维码检测图像。
156.在本技术实施例中,在为目标场景中的每个灯具分配唯一对应的二维码之后,可以将每个灯具对应的二维码安装至目标场景中相应的灯具处,以获取到每个灯具对应的二维码检测点,然后,在采集时刻,拍摄目标场景中每个二维码检测点的二维码,以获取到每个二维码对应的二维码检测图像,以使后续可以基于每个二维码检测图像,准确获取到每个二维码在目标场景中的真实位姿信息。
157.具体地,如图11所示,在正式使用目标场景中的灯具打光之前,可以先将分配好的二维码安装至相应的目标场景中的灯具处,具体可以是先通过使用亚克力板等轻便且不易变形的材料定制每个二维码对应的二维码板,其中,二维码板的大小可以根据当前使用场景进行设置,将对应编号的二维码板固定在灯光基座上,再完成灯具的安装,以获取到每个灯具对应的二维码检测点。
158.进一步地,在采集时刻(即早于正式使用目标场景中的灯具打光的时刻),可以使用拍摄设备(如相机)拍摄目标场景中的每个二维码检测点的二维码,例如,使用拍摄设备(如相机)拍摄图11所示意的a类灯具001对应的标记点id001对应的二维码,以采集到该二维码对应的二维码检测图像,再通过采集卡(如图11所示意的采集卡,例如,hdmi采集卡等),来将采集到的二维码检测图像转换为数字信号传递至服务器的软件(如图像处理软件)上,以使后续可以通过软件(如图像处理软件)将数字信号导出为每个二维码的位置文件,来准确获取每个二维码在目标场景中的真实位姿信息,即以摄影机为中心的图像坐标系下二维码的第一坐标位置及第一姿态。
159.可选地,在上述图7对应的实施例的基础上,本技术实施例提供的灯具同步方法另一个可选实施例中,如图8所示,第一位姿信息包括第一坐标位置以及第一姿态;步骤s504基于每个二维码检测图像,获取每个二维码在目标场景中的第一位姿信息,包括:
160.在步骤s801中,获取每个二维码检测图像中的二维码对应的第一坐标位置;
161.在步骤s802中,基于每个二维码检测点安装的二维码的尺寸,计算每个二维码对应的第一姿态。
162.在本技术实施例中,在获取到每个二维码对应的二维码检测图像之后,可以先获取每个二维码检测图像中的二维码对应的第一坐标位置,再基于每个二维码检测点安装的二维码的尺寸,计算每个二维码对应的第一姿态,以获取到每个二维码对应的第一位姿信息,以使后续可以通过把第一位姿信息转换为三维虚拟空间坐标系下的每个二维码对应的第二位姿信息,从而能够基于真实位姿信息来对虚拟灯具进行校准,从而可以在一定程度上提高校准虚拟灯具的准确率。
163.具体地,在获取到每个二维码对应的二维码检测图像之后,可以通过基于深度学习的模型得到二维码关键点坐标,如二维码左上角的三维坐标,或者,通过物理分割算法,或者边缘检测算法等等,还可以是通过其他算法,此处不作具体限制,来获取到每个二维码检测图像中的二维码在目标场景中的真实坐标位置(如灯具的位置坐标position(x,y,z)表示灯具在世界坐标系下的位置,即以摄影机为中心的图像坐标系下二维码的位置),即二维码对应的第一坐标位置。
164.进一步地,可以基于目标场景中的每个二维码检测点的二维码的尺寸(如使用亚克力板等轻便且不易变形的材料定制每个二维码对应的二维码板的大小),按照视觉算法以及深度学习模型,或者其他位姿算法,此处不作具体限制,来计算每个二维码对应的真实
姿态(如旋转量orientation(x,y,z,w)表示灯具在世界坐标系下的旋转姿态,即以摄影机为中心的图像坐标系下二维码的姿态),即二维码对应的第一姿态,从而可以基于二维码对应的第一坐标位置以及第一姿态,以获取到每个二维码在目标场景中的第一位姿信息。
165.可选地,在上述图8对应的实施例的基础上,本技术实施例提供的灯具同步方法另一个可选实施例中,如图9所示,第二位姿信息包括第二坐标位置以及第二姿态;步骤s505将第一位姿信息,转换为三维虚拟空间坐标系下的每个二维码对应的第二位姿信息,包括:
166.在步骤s901中,获取目标场景中的拍摄原点坐标位置,以及三维虚拟空间坐标系中的虚拟原点坐标位置;
167.在步骤s902中,基于三维虚拟空间坐标系、虚拟原点坐标位置以及拍摄原点坐标位置,将第一坐标位置以及第一姿态转换为第二坐标位置以及第二姿态。
168.在本技术实施例中,在获取到第一坐标位置以及第一姿态之后,可以先获取目标场景中的拍摄原点坐标位置,以及三维虚拟空间坐标系中的虚拟原点坐标位置,然后,基于三维虚拟空间坐标系、虚拟原点坐标位置以及拍摄原点坐标位置,将第一坐标位置以及第一姿态转换为第二坐标位置以及第二姿态,以使后续可以通过相同坐标系下的第二位姿信息来对虚拟场景中的虚拟灯具的初始位姿信息进行校准,从而可以在一定程度上提高校准虚拟灯具的准确率。
169.具体地,先获取目标场景(如表演舞台)中的拍摄设备(如相机)的拍摄原点坐标位置(即以摄影机为中心的图像坐标系下的位置),以及获取基于目标场景构建好的虚拟场景中的三维虚拟空间坐标系中的虚拟拍摄设备(如虚拟相机)的虚拟原点坐标位置(即以虚拟构建的摄影机为中心的三维虚拟空间坐标系下的位置)。
170.进一步地,在获取到虚拟原点坐标位置以及拍摄原点坐标位置之后,可以基于三维虚拟空间坐标系、虚拟原点坐标位置以及拍摄原点坐标位置,按照坐标转换算法(如平移、旋转以及矩阵相乘等算法),来将第一位姿信息(如灯具在世界坐标系下的位置,以及灯具在世界坐标系下的旋转姿态)转换为三维虚拟空间坐标系下第二位姿信息。
171.可选地,在上述图2对应的实施例的基础上,本技术实施例提供的灯具同步方法另一个可选实施例中,如图10所示,步骤s106基于灯具校准位姿,对目标场景中的灯具进行同步调整,包括:
172.在步骤s1001中,若接收到虚拟灯具的调整指令,则基于调整指令以及灯具校准位姿,对虚拟场景中的虚拟灯具进行调整,并生成相应的灯具调整信号;
173.在步骤s1002中,基于灯具调整信号,控制虚拟灯具对应的目标场景中灯具进行同步调整。
174.在本技术实施例中,在将虚拟场景中的虚拟灯具的位姿都调整为灯具校准位姿后,可以将虚拟灯具与真实灯具的位姿信息调整为一致,如果接收到虚拟灯具的调整指令,则可以基于调整指令以及灯具校准位姿,对虚拟场景中的虚拟灯具进行调整,并生成相应的灯具调整信号,使得可以基于灯具调整信号,控制虚拟灯具对应的目标场景中灯具进行同步调整,来实现虚拟灯具同步控制目标场景的真实灯具的打光,以提高虚拟灯具与真实灯具进行打光时候的同步效果。
175.具体地,如图11所示,在将虚拟场景中的虚拟灯具的位姿都调整为灯具校准位姿(如图11所示意的虚拟灯光位姿初始化校准)后,即已经将虚拟灯具与真实灯具的坐标位置
以及姿态都调整为一致,从而可以维护虚拟灯具与真实灯具的一致性和同步性。
176.进一步地,在虚拟场景中的每个虚拟灯具的位姿信息与目标场景中相对应的真实灯具的位姿信息都匹配,即一致之后,例如,假设当灯光管理人员,基于目标场景的打光需求需要对目标场景中的一个或多个灯具进行灯光调整或转动时,可以先通过终端设备中的虚拟场景的显示界面上输入相应的灯光操作(例如,调整a类灯具001的灯光亮度,如调高),使得终端设备可以响应灯光管理人员的灯光操作,生成的调整指令(调高虚拟a类灯具001的灯光亮度)并发送至服务器。
177.进一步地,当服务器可以接收到关于虚拟灯具的调整指令(调高虚拟a类灯具001的灯光亮度)时,服务器可以基于调整指令,先确定好虚拟场景中已经校准好的灯具校准位姿所对应的虚拟灯具(如虚拟a类灯具001),然后,可以基于调整指令(调高虚拟a类灯具001的灯光亮度)对校准好的灯具校准位姿所对应的虚拟灯具进行调整或控制,又基于虚拟灯具与真实灯具的一致性和同步性,可以生成关于真实灯具相应的灯具调整信号(如引擎发送信号或dmx信号等,例如,调高a类灯具001的灯光亮度),进而,可以通过实时引擎控制控台将灯具调整信号(如引擎发送信号或dmx信号等,例如,调高a类灯具001的灯光亮度)传递至目标场景中相应的真实灯具,以控制或调整目标场景中相应的真实灯具与虚拟场景中的虚拟灯具的打光效果同步(如将a类灯具001的灯光亮度)。
178.下面对本技术中的灯具同步方法装置进行详细描述,请参阅图14,图14为本技术实施例中灯具同步方法装置的一个实施例示意图,灯具同步方法装置20包括:
179.处理单元201,用于为目标场景中的每个灯具分配唯一对应的灯具检测标识,其中,每个灯具检测标识对应一个灯具型号和灯具信息;
180.获取单元202,用于采集每个灯具检测标识对应的标识检测图像;
181.获取单元202,还用于基于每个标识检测图像,获取每个灯具检测标识在目标场景中的第一位姿信息;
182.处理单元201,还用于将第一位姿信息,转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息;
183.处理单元201,还用于基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,与虚拟场景中的虚拟灯具进行校准,得到校准后的灯具校准位姿;
184.控制单元203,用于基于灯具校准位姿,对目标场景中的灯具进行同步调整。
185.可选地,在上述图14对应的实施例的基础上,本技术实施例提供的灯具同步装置的另一实施例中,处理单元201具体可以用于:
186.根据灯具型号和灯具信息,获取虚拟灯具对应的初始位姿信息;
187.基于第二位姿信息,对虚拟灯具对应的初始位姿信息进行校准,得到灯具校准位姿。
188.可选地,在上述图14对应的实施例的基础上,本技术实施例提供的灯具同步装置的另一实施例中,处理单元201具体可以用于:
189.将第二位姿信息与虚拟灯具对应的初始位姿信息进行比对,得到比对结果;
190.若比对结果为信息一致,则将虚拟灯具对应的初始位姿信息,作为虚拟灯具对应的灯具校准位姿;
191.若比对结果为信息不一致,则将虚拟灯具对应的初始位姿信息替换为第二位姿信
息,得到虚拟灯具对应的灯具校准位姿。
192.可选地,在上述图14对应的实施例的基础上,本技术实施例提供的灯具同步装置的另一实施例中,处理单元201具体可以用于:
193.获取目标场景中的灯具总数,并从二维码字典中获取灯具总数对应的二维码集合;
194.基于二维码集合,为每个灯具分配唯一对应的二维码以及每个二维码对应的二维码标识;
195.获取单元202具体可以用于:采集每个所述二维码对应的二维码检测图像;
196.获取单元202具体可以用于:基于每个所述二维码检测图像,获取每个所述二维码在所述目标场景中的第一位姿信息;
197.处理单元201具体可以用于:将所述第一位姿信息,转换为三维虚拟空间坐标系下的每个所述二维码对应的第二位姿信息。
198.可选地,在上述图14对应的实施例的基础上,本技术实施例提供的灯具同步装置的另一实施例中,处理单元201具体可以用于:
199.基于灯具型号和灯具信息进行灯具分类,得到p个灯具类别以及每个灯具类别对应的灯具集合,其中,p为大于等于1的整数;
200.基于p个灯具类别以及每个灯具类别对应的灯具集合,将二维码集合划分为p个二维码子集;
201.将p个二维码子集中的每个二维码以及每个二维码对应的二维码标识,一一分配给p个灯具集合中的灯具。
202.可选地,在上述图14对应的实施例的基础上,本技术实施例提供的灯具同步装置的另一实施例中,获取单元202具体可以用于:
203.将每个灯具对应的二维码安装至目标场景中相应的灯具处,得到每个灯具对应的二维码检测点;
204.在采集时刻,拍摄目标场景中每个二维码检测点的二维码,得到每个二维码对应的二维码检测图像。
205.可选地,在上述图14对应的实施例的基础上,本技术实施例提供的灯具同步装置的另一实施例中,获取单元202具体可以用于:
206.获取每个二维码检测图像中的二维码对应的第一坐标位置;
207.基于每个二维码检测点安装的二维码的尺寸,计算每个二维码对应的第一姿态。
208.可选地,在上述图14对应的实施例的基础上,本技术实施例提供的灯具同步装置的另一实施例中,处理单元201具体可以用于:
209.获取目标场景中的拍摄原点坐标位置,以及三维虚拟空间坐标系中的虚拟原点坐标位置;
210.基于三维虚拟空间坐标系、虚拟原点坐标位置以及拍摄原点坐标位置,将第一坐标位置以及第一姿态转换为第二坐标位置以及第二姿态。
211.可选地,在上述图14对应的实施例的基础上,本技术实施例提供的灯具同步装置的另一实施例中,控制单元203具体可以用于:
212.若接收到虚拟灯具的调整指令,则基于调整指令以及灯具校准位姿,对虚拟场景
中的虚拟灯具进行调整,并生成相应的灯具调整信号;
213.基于灯具调整信号,控制虚拟灯具对应的目标场景中灯具进行同步调整。
214.本技术另一方面提供了另一种计算机设备示意图,如图15所示,图15是本技术实施例提供的一种计算机设备结构示意图,该计算机设备300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,cpu)310(例如,一个或一个以上处理器)和存储器320,一个或一个以上存储应用程序331或数据332的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器320和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对计算机设备300中的一系列指令操作。更进一步地,中央处理器310可以设置为与存储介质330通信,在计算机设备300上执行存储介质330中的一系列指令操作。
215.计算机设备300还可以包括一个或一个以上电源340,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口360,和/或,一个或一个以上操作系统333,例如windows server
tm
,mac os x
tm
,unix
tm
,linux
tm
,freebsd
tm
等等。
216.上述计算机设备300还用于执行如图2至图10对应的实施例中的步骤。
217.本技术的另一方面提供了一种计算机可读存储介质,其上存储有计算机程序,当计算机程序被处理器执行时实现如图2至图10所示实施例描述的方法中的步骤。
218.本技术的另一方面提供了一种包含计算机程序的计算机程序产品,当计算机程序被处理器执行时实现如图2至图10所示实施例描述的方法中的步骤。
219.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
220.在本技术所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
221.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
222.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
223.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全
部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
技术特征:
1.一种灯具同步方法,其特征在于,包括:为目标场景中的每个灯具分配唯一对应的灯具检测标识,其中,每个所述灯具检测标识对应一个灯具型号和灯具信息;采集每个所述灯具检测标识对应的标识检测图像;基于每个所述标识检测图像,获取每个所述灯具检测标识在所述目标场景中的第一位姿信息;将所述第一位姿信息,转换为三维虚拟空间坐标系下的每个所述灯具检测标识对应的第二位姿信息;基于每个所述灯具检测标识对应的所述第二位姿信息、所述灯具型号和所述灯具信息,与虚拟场景中的虚拟灯具进行校准,得到校准后的灯具校准位姿;基于所述灯具校准位姿,对所述目标场景中的灯具进行同步调整。2.根据权利要求1所述的方法,其特征在于,所述基于每个所述灯具检测标识对应的所述第二位姿信息、所述灯具型号和所述灯具信息,与虚拟场景中的虚拟灯具进行校准,得到校准后的灯具校准位姿,包括:根据所述灯具型号和所述灯具信息,获取所述虚拟灯具对应的初始位姿信息;基于所述第二位姿信息,对所述虚拟灯具对应的所述初始位姿信息进行校准,得到所述灯具校准位姿。3.根据权利要求2所述的方法,其特征在于,所述基于所述第二位姿信息,对所述虚拟灯具对应的所述初始位姿信息进行校准,得到所述灯具校准位姿,包括:将所述第二位姿信息与所述虚拟灯具对应的所述初始位姿信息进行比对,得到比对结果;若所述比对结果为信息一致,则将所述虚拟灯具对应的所述初始位姿信息,作为所述虚拟灯具对应的所述灯具校准位姿;若所述比对结果为信息不一致,则将所述虚拟灯具对应的所述初始位姿信息替换为所述第二位姿信息,得到所述虚拟灯具对应的所述灯具校准位姿。4.根据权利要求1所述的方法,其特征在于,所述灯具检测标识包括二维码以及每个所述二维码对应的二维码标识;所述为目标场景中的每个灯具分配唯一对应的灯具检测标识,包括:获取所述目标场景中的灯具总数,并从二维码字典中获取所述灯具总数对应的二维码集合;基于所述二维码集合,为每个所述灯具分配唯一对应的所述二维码以及每个所述二维码对应的二维码标识;所述采集每个所述灯具检测标识对应的标识检测图像,包括:采集每个所述二维码对应的二维码检测图像;所述基于每个所述标识检测图像,获取每个所述灯具检测标识在所述目标场景中的第一位姿信息,包括:基于每个所述二维码检测图像,获取每个所述二维码在所述目标场景中的第一位姿信息;所述将所述第一位姿信息,转换为三维虚拟空间坐标系下的每个所述灯具检测标识对
应的第二位姿信息,包括:将所述第一位姿信息,转换为三维虚拟空间坐标系下的每个所述二维码对应的第二位姿信息。5.根据权利要求4所述的方法,其特征在于,所述基于所述二维码集合,为每个所述灯具分配唯一对应的二维码以及每个所述二维码对应的二维码标识,包括:基于所述灯具型号和所述灯具信息进行灯具分类,得到p个灯具类别以及每个所述灯具类别对应的灯具集合,其中,所述p为大于等于1的整数;基于p个所述灯具类别以及每个所述灯具类别对应的灯具集合,将所述二维码集合划分为p个二维码子集;将p个所述二维码子集中的每个二维码以及每个所述二维码对应的二维码标识,一一分配给p个所述灯具集合中的灯具。6.根据权利要求4所述的方法,其特征在于,所述采集每个所述二维码对应的二维码检测图像,包括:将每个所述灯具对应的二维码安装至所述目标场景中相应的灯具处,得到每个所述灯具对应的二维码检测点;在采集时刻,拍摄所述目标场景中每个所述二维码检测点的二维码,得到每个所述二维码对应的二维码检测图像。7.根据权利要求6所述的方法,其特征在于,所述第一位姿信息包括第一坐标位置以及第一姿态;所述基于每个所述二维码检测图像,获取每个所述二维码在所述目标场景中的第一位姿信息,包括:获取每个所述二维码检测图像中的二维码对应的所述第一坐标位置;基于每个所述二维码检测点安装的二维码的尺寸,计算每个所述二维码对应的所述第一姿态。8.根据权利要求7所述的方法,其特征在于,所述第二位姿信息包括第二坐标位置以及第二姿态;所述将所述第一位姿信息,转换为三维虚拟空间坐标系下的每个所述二维码对应的第二位姿信息,包括:获取所述目标场景中的拍摄原点坐标位置,以及所述三维虚拟空间坐标系中的虚拟原点坐标位置;基于所述三维虚拟空间坐标系、所述虚拟原点坐标位置以及所述拍摄原点坐标位置,将所述第一坐标位置以所述及第一姿态转换为所述第二坐标位置以及所述第二姿态。9.根据权利要求1所述的方法,其特征在于,所述基于所述灯具校准位姿,对所述目标场景中的灯具进行同步调整,包括:若接收到虚拟灯具的调整指令,则基于所述调整指令以及所述灯具校准位姿,对所述虚拟场景中的虚拟灯具进行调整,并生成相应的灯具调整信号;基于所述灯具调整信号,控制所述虚拟灯具对应的所述目标场景中灯具进行同步调整。10.一种灯具同步方法装置,其特征在于,包括:处理单元,用于为目标场景中的每个灯具分配唯一对应的灯具检测标识,其中,每个所述灯具检测标识对应一个灯具型号和灯具信息;
获取单元,用于采集每个所述灯具检测标识对应的标识检测图像;所述获取单元,还用于基于每个所述标识检测图像,获取每个所述灯具检测标识在所述目标场景中的第一位姿信息;所述处理单元,还用于将所述第一位姿信息,转换为三维虚拟空间坐标系下的每个所述灯具检测标识对应的第二位姿信息;所述处理单元,还用于基于每个所述灯具检测标识对应的所述第二位姿信息、所述灯具型号和所述灯具信息,与虚拟场景中的虚拟灯具进行校准,得到校准后的灯具校准位姿;控制单元,用于基于所述灯具校准位姿,对所述目标场景中的灯具进行同步调整。11.一种计算机设备,包括存储器、处理器以及总线系统,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤;所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。13.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
技术总结
本申请实施例公开了一种灯具同步方法、装置、设备及存储介质,用于提高校准虚拟灯具的准确率以及提高虚拟灯具与真实灯具的同步效果。本申请实施例的方法包括:为目标场景中的每个灯具分配唯一对应的灯具检测标识,每个灯具检测标识对应一个灯具型号和灯具信息,采集每个灯具检测标识对应的标识检测图像,基于每个标识检测图像,获取每个灯具检测标识在目标场景中的第一位姿信息,将第一位姿信息,转换为三维虚拟空间坐标系下的每个灯具检测标识对应的第二位姿信息,基于每个灯具检测标识对应的第二位姿信息、灯具型号和灯具信息,与虚拟场景中的虚拟灯具进行校准,得到校准后的灯具校准位姿,基于灯具校准位姿,对目标场景中的灯具进行同步调整。的灯具进行同步调整。的灯具进行同步调整。
技术研发人员:吴卓莹
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2023.01.03
技术公布日:2023/7/26
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/