沉浸式光场智能感算系统、方法与装置

1.本发明涉及沉浸式光场重建技术领域，特别涉及沉浸式光场智能感算系统、方法与装置。


背景技术：

2.光场是三维空间中光线集合的表示，采集并显示光场能在视觉上重建真实世界。沉浸式光场重建目标就是实现真实场景的六自由度大范围沉浸式观看体验，为此需要支持高质量的场景重建和任意观测视角的逼真渲染，且能够移动位置实现漫游时观看体验。
3.全景相机，使用多个镜头组成相机主体，采用传统拍摄方式利用各方向的镜头取景，并将所有角度图片拼接成全景图像。光场相机，使用主镜头和微透镜阵列对空间光场进行直接采集，单次拍摄可获得不同景深和角度的图像。
4.全景相机采集合成的全景图像允许观看者从相机位置观察上下前后左右三自由度的景象，但是由于镜头间基线长度受限，观看视点相对固定，无法提供包含移动的六自由度观看感受。光场相机通过密集的微透镜阵列可以快速采集密集多视角图像，但是受限于成像像素总数=微透镜数目*单视角像素数的限制，单视角的有效像素数代表的空间分辨率低，同时多目视觉中的视差和相机之间的距离即基线长度息息相关，由于微透镜阵列尺寸限制，微透镜的基线长度无法超过成像芯片尺寸，因此在物体离相机较远时，深度分辨率较受影响。


技术实现要素：

5.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本发明提出一种沉浸式光场智能感算系统、方法与装置，通过组合多台便携相机组成半球形相机阵列，使用采集软件与相应同步设备，最终完成可移动式沉浸式光场智能感算系统。本发明能为沉浸式光场通讯提供采集端支持，可降低光场采集操作难度，提高采集精度。
7.为达到上述目的，本发明一方面实施例提出了一种沉浸式光场智能感算系统，包括移动平台、支架、采集阵列、控制系统和计算系统，其中，所述控制系统和所述采集阵列固定于半球形的所述支架上；所述支架通过所述移动平台进行位姿变化；所述采集阵列包括多视角的采集相机，通过连接件均匀分散固定在所述支架上，所述采集相机的镜头从球心指向外部，用于采集多种俯仰角度下的视频图像；与所述采集阵列相连的控制系统，用于将所述视频图像传输至控制设备中进行数据存储，所述计算系统用于获取所述控制设备中的视频图像并基于所述视频图像生成沉浸式光场视频。
8.根据本发明实施例的沉浸式光场智能感算系统还可以具有以下附加技术特征：进一步地，所述支架为半球型的球壳，用于固定在所述移动平台上的电控升降柱
上；所述采集阵列的每个采集相机通过一组连接件固定在所述球壳上。
9.进一步地，所述位姿，包括支架的位置、角度和高度。
10.进一步地，所述控制系统通过数据线与所述采集阵列相连，用于同步或指定控制采集阵列中相机参数，并向所述采集阵列下发同步开启和停止指令。
11.为达到上述目的，本发明另一方面实施例提出了一种沉浸式光场智能感算方法，包括：对多相机进行连接建立并初始化各相机参数以得到相机的连接结果；根据相机的连接结果和状态查询结果，得到相机的拍摄参数和拍摄模式；基于所述拍摄参数和拍摄模式响应同步采集指令进行视频采集，并在采集过程中监控第一相机工作状态；基于所述第一相机工作状态响应同步停止指令得到第二相机工作状态，以响应传输指令传输采集的视频数据并利用所述视频数据生成光场视频数据。
12.为达到上述目的，本发明又一方面提出了一种沉浸式光场智能感算装置，其特征在于，包括：初始化模块，用于对多相机进行连接建立并初始化各相机参数以得到相机的连接结果；参数设置模块，用于根据相机的连接结果和状态查询结果，得到相机的拍摄参数和拍摄模式；状态查询模块，用于基于所述拍摄参数和拍摄模式响应同步采集指令进行视频采集，并在采集过程中监控第一相机工作状态；数据生成模块，用于基于所述第一相机工作状态响应同步停止指令得到第二相机工作状态，以响应传输指令传输采集的视频数据并利用所述视频数据生成光场视频数据。
13.根据本发明实施例的沉浸式光场智能感算系统、方法与装置，能为沉浸式光场通讯提供采集端支持，可降低光场采集操作难度，提高采集精度。
14.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
15.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本发明实施例的沉浸式光场智能感算系统的结构图；图2为根据本发明实施例的相机与连接件外件的连接示意图；图3为根据本发明实施例的采集阵列的运动相机连接示意图；图4为根据本发明实施例的沉浸式光场智能感算方法流程图；图5为根据本发明实施例的控制软件界面示意图；图6为根据本发明实施例的沉浸式光场智能感算装置的结构图。
具体实施方式
16.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终
相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
17.下面参照附图描述根据本发明实施例提出的沉浸式光场智能感算系统、方法与装置。
18.首先将参照附图描述根据本发明实施例提出的沉浸式光场智能感算系统。
19.图1为根据本发明一个实施例的沉浸式光场智能感算系统结构图。
20.如图1所示，该沉浸式光场智能感算系统1包括：移动平台2、支架3、采集阵列4、控制系统5和计算系统6，其中，控制系统5和采集阵列4固定于半球形的支架3上；支架3通过移动平台2进行位姿变化；采集阵列4包括多视角的采集相机，通过连接件均匀分散固定在支架3上，采集相机的镜头从球心指向外部，用于采集多种俯仰角度下的视频图像；与采集阵列4相连的控制系统5，用于将视频图像传输至控制设备中进行数据存储，计算系统6用于获取控制设备中的视频图像并基于视频图像生成沉浸式光场视频。
21.可以理解的是，控制系统5可以通过数据线与采集阵列4相连，可同步或指定设置采集阵列中各相机功能和参数，其次可以同步开启和停止采集阵列4拍摄流程，最终通过数据线将采集的图像与视频传输至控制设备中存储，计算系统通过网线获取控制设备中的图像与视频并智能生成沉浸式光场视频，提供漫游式观看和沉浸式交互体验。
22.在一个发明实例中，支架可随移动平台变化位置、角度和高度，支架是一个半球型的透明亚克力球壳，半径为0.5米，底部延伸出一圈宽为2cm的边缘，可通过长条形金属支架稳固固定在移动平台上竖直安装的电控升降柱上。移动平台底部安装有4个万向轮，支持在室内外移动。
23.在一个发明实例中，采集阵列中的每个相机通过一组连接件固定在支架球壳上，如图2所示其中相机与连接件外件通过螺丝连接，分别为相机与连接件外件，相机与连接件内件，组合放置在球壳外，连接件的内件放置在球壳内部，内外件通过螺丝穿透球壳固定，保证相机稳固安装在球壳上。
24.在一个发明实例中，采集阵列由46台运动相机组成，如同3所示的相机在球壳上的定位，均匀分布在球壳上，相邻相机距离约20cm，最远基线长度约1米，整体以竖直形态安装在移动平台上。每台相机可采集5.5k60fps彩色视频或4k120fps彩色视频，可以支持大范围空间重建、新视角生成、光场重建等任务。
25.根据本发明实施例提出的沉浸式光场智能感算系统，能提供大范围的沉浸式六自由度体验，同时可升降的移动平台也能为大范围室内外场景重建、新视角生成等技术提供丰富的多视角图像与光场重建目标，自动采集软件可降低光场采集操作难度，提高采集精度。
26.其次参照附图描述根据本发明实施例提出的沉浸式光场智能感算方法。
27.图4为根据本发明一个实施例的沉浸式光场智能感算方法流程图。
28.如图4所示，该方法，包括：s1，对多相机进行连接建立并初始化各相机参数以得到相机的连接结果；s2，根据相机的连接结果和状态查询结果，得到相机的拍摄参数和拍摄模式；
s3，基于拍摄参数和拍摄模式响应同步采集指令进行视频采集，并在采集过程中监控第一相机工作状态；s4，基于第一相机工作状态响应同步停止指令得到第二相机工作状态，以响应传输指令传输采集的视频数据并利用视频数据生成光场视频数据。
29.具体地，控制系统使用笔记本式计算机作为控制硬件，通过usb多口扩展器与采集阵列各相机相连，操作者可使用图5所示控制软件操作采集阵列，按照以下实施流程进行光场采集。
30.1）尝试连接，并初始化各相机；2）查询各相机状态，对相机拍摄参数与拍摄模式进行设置；3）发出同步采集指令；4）在采集过程中监控工作状态；5）发出同步停止指令；6）传输汇总采集视频；7）智能生成光场视频。
31.作为一个实施例，尝试连接，并初始化各相机。可以从预先存储的列表中获取各相机的序列号和相应ip；根据序列号和相应ip和预设的连接方式向相机发送初始化指令，通过在预设时间内得到正确返回值，以得到相机连接成功的连接结果。
32.具体地，从预先存储的列表中找到各相机的序列号和相应ip，通过curl或其他连接方式向gopro相机发送初始化指令，在指定时间内成功得到正确返回值，则表示相机连接成功，可进行下一步操作。
33.作为一个实施例，查询各相机状态，对相机拍摄参数与拍摄模式进行设置。基于相机连接成功的连接结果获取第一状态查询指令，响应第一状态查询指令得到相机响应结果；对相机响应结果进行相关数据分析得到状态查询结果；其中，状态查询结果，包括usb控制状态、视频录制状态和空闲状态；基于状态查询结果确定状态正常的相机的拍摄数据，以基于拍摄数据得到最优的相机的拍摄参数和拍摄模式。
34.具体地，对成功连接的相机，发送状态查询指令，在得到返回消息后，分析其中相关信息，得到usb控制状态、视频录制状态、空闲状态并进行记录。状态正常的相机可进行下一步参数与模式设置，将拍摄分辨率、帧率、视场角、防抖功能等参数与模式通过指令形式发送给gopro后，等待返回消息。在规定时间内成功得到正确返回值，表示相机参数设置正常，可进行下一步操作，否则需重复进行设置直到正常。
35.作为一个实施例，发出同步采集指令，在采集过程中监控工作状态。基于最优的相机的拍摄参数和拍摄模式，通过多线程形式向状态正常的相机发送采集指令；响应采集指令进行数据采集，在采集过程中对所有相机发送第二状态查询指令，响应第二状态查询指令得到第一相机工作状态以对状态非正常的相机的数据进行修正。
36.具体地，对上一步成功设置的相机，通过多线程形式发送采集指令，并对返回消息进行记录，对于没有正常开始采集的相机需单独发送采集指令，直至开始采集，并记录成功采集时间戳，用于后期通过时间戳还原采集时间。
37.进一步地，在采集过程中，对所有相机定时发送状态查询指令，对正在采集的相机不进行操作，如有因相机掉线、存储空间不足等意外情况造成部分相机停止采集，需记录此
相机状态，并在监控界面中给予指示，直至意外得到修正。
38.作为一个实施例，发出同步停止指令，传输汇总采集视频，智能生成光场视频。利用控制设备生成传输指令，响应传输指令将采集的视频数据进行汇总传输得到视频汇总结果；根据采集时间戳将视频汇总结果按照实际采集时间进行同步得到所有角度的同时间图像，使用基于隐式表征的神经辐射场的方法对同时间图像进行计算以生成大范围沉浸式光场视频。
39.具体地，在采集目标完成后，通过多线程形式发送停止指令，并对返回消息进行记录，对于没有正常停止采集的相机需单独发送停止指令，直至正常停止，并记录成功停止采集时间戳，用于后期通过时间戳还原采集时间。
40.进一步地，控制设备通过指定文件名、起始时间戳、按完成时间排序等形式生成传输指令，分别从各相机将采集得到的视频和图像汇总传输至控制终端，完成采集。
41.进一步地，计算系统根据采集时间戳将所有视频和图片按实际采集时间同步，根据所有角度的同时间图像智能生成大范围沉浸式光场视频，计算方式可使用基于隐式表征的神经辐射场技术。
42.根据本发明实施例提出的沉浸式光场智能感算方法，能提供大范围的沉浸式六自由度体验，同时可升降的移动平台也能为大范围室内外场景重建、新视角生成等技术提供丰富的多视角图像与光场重建目标，自动采集软件可降低光场采集操作难度，提高采集精度。
43.为了实现上述实施例，如图6所示，本实施例中还提供了沉浸式光场智能感算装置10，包括：初始化模块100、参数设置模块200、状态查询模块300和数据生成模块400。
44.初始化模块100，用于对多相机进行连接建立并初始化各相机参数以得到相机的连接结果；参数设置模块200，用于根据相机的连接结果和状态查询结果，得到相机的拍摄参数和拍摄模式；状态查询模块300，用于基于拍摄参数和拍摄模式响应同步采集指令进行视频采集，并在采集过程中监控第一相机工作状态；数据生成模块400，用于基于第一相机工作状态响应同步停止指令得到第二相机工作状态，以响应传输指令传输采集的视频数据并利用视频数据生成光场视频数据。
45.根据本发明实施例提出的沉浸式光场智能感算装置，能提供大范围的沉浸式六自由度体验，同时可升降的移动平台也能为大范围室内外场景重建、新视角生成等技术提供丰富的多视角图像与光场重建目标，自动采集软件可降低光场采集操作难度，提高采集精度。
46.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
47.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
48.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种沉浸式光场智能感算系统，其特征在于，所述系统，包括移动平台、支架、采集阵列、控制系统和计算系统，其中，所述控制系统和所述采集阵列固定于半球形的所述支架上；所述支架通过所述移动平台进行位姿变化；所述采集阵列包括多视角的采集相机，通过连接件均匀分散固定在所述支架上，所述采集相机的镜头从球心指向外部，用于采集多种俯仰角度下的视频图像；与所述采集阵列相连的控制系统，用于将所述视频图像传输至控制设备中进行数据存储，所述计算系统用于获取所述控制设备中的视频图像并基于所述视频图像生成沉浸式光场视频。2.根据权利要求1所述的系统，其特征在于，所述支架为半球型的球壳，用于固定在所述移动平台上的电控升降柱上；所述采集阵列的每个采集相机通过一组连接件固定在所述球壳上。3.根据权利要求1所述的系统，其特征在于，所述位姿，包括支架的位置、角度和高度。4.根据权利要求1所述的系统，其特征在于，所述控制系统通过数据线与所述采集阵列相连，用于同步或指定控制采集阵列中相机参数，并向所述采集阵列下发同步开启和停止指令。5.一种应用于权利要求1-4中任一一项所述的沉浸式光场智能感算系统的方法，其特征在于，包括以下步骤：对多相机进行连接建立并初始化各相机参数以得到相机的连接结果；根据相机的连接结果和状态查询结果，得到相机的拍摄参数和拍摄模式；基于所述拍摄参数和拍摄模式响应同步采集指令进行视频采集，并在采集过程中监控第一相机工作状态；基于所述第一相机工作状态响应同步停止指令得到第二相机工作状态，以响应传输指令传输采集的视频数据并利用所述视频数据生成光场视频数据。6.根据权利要求5所述的方法，其特征在于，所述对多相机进行连接建立并初始化各相机参数以得到相机的连接结果，包括：从预先存储的列表中获取各相机的序列号和相应ip；根据所述序列号和相应ip和预设的连接方式向相机发送初始化指令，通过在预设时间内得到正确返回值，以得到相机连接成功的连接结果。7.根据权利要求6所述的方法，所述根据相机的连接结果和状态查询结果，得到相机的拍摄参数和拍摄模式，包括：基于所述相机连接成功的连接结果获取第一状态查询指令，响应所述第一状态查询指令得到相机响应结果；对所述相机响应结果进行相关数据分析得到状态查询结果；其中，所述状态查询结果，包括usb控制状态、视频录制状态和空闲状态；基于所述状态查询结果确定状态正常的相机的拍摄数据，以基于所述拍摄数据得到最优的相机的拍摄参数和拍摄模式。8.根据权利要求7所述的方法，所述基于拍摄参数和拍摄模式响应同步采集指令进行视频采集，并在采集过程中监控第一相机工作状态，包括：
基于所述最优的相机的拍摄参数和拍摄模式，通过多线程形式向所述状态正常的相机发送采集指令；响应所述采集指令进行数据采集，在采集过程中对所有相机发送第二状态查询指令，响应所述第二状态查询指令得到第一相机工作状态以对状态非正常的相机的数据进行修正。9.根据权利要求8所述的方法，其特征在于，在响应同步采集指令和同步停止指令时，分别记录采集时间戳；所述响应传输指令传输采集的视频数据并利于所述视频数据生成光场视频数据，包括：利用控制设备生成所述传输指令，响应所述传输指令将采集的视频数据进行汇总传输得到视频汇总结果；根据所述采集时间戳将所述视频汇总结果按照实际采集时间进行同步得到所有角度的同时间图像，使用基于隐式表征的神经辐射场的方法对所述同时间图像进行计算以生成大范围沉浸式光场视频。10.一种沉浸式光场智能感算装置，其特征在于，包括：初始化模块，用于对多相机进行连接建立并初始化各相机参数以得到相机的连接结果；参数设置模块，用于根据相机的连接结果和状态查询结果，得到相机的拍摄参数和拍摄模式；状态查询模块，用于基于所述拍摄参数和拍摄模式响应同步采集指令进行视频采集，并在采集过程中监控第一相机工作状态；数据生成模块，用于基于所述第一相机工作状态响应同步停止指令得到第二相机工作状态，以响应传输指令传输采集的视频数据并利用所述视频数据生成光场视频数据。

技术总结
本发明公开了沉浸式光场智能感算系统、方法与装置，该系统，包括移动平台、支架、采集阵列、控制系统和计算系统，其中，控制系统和采集阵列固定于半球形的支架上；支架通过移动平台进行位姿变化；采集阵列包括多视角的采集相机，通过连接件均匀分散固定在支架上，采集相机的镜头从球心指向外部，用于采集多种俯仰角度下的视频图像；与采集阵列相连的控制系统，用于将视频图像传输至控制设备中进行数据存储，计算系统用于获取控制设备中的视频图像并基于视频图像生成沉浸式光场视频。本发明能为沉浸式光场通讯提供采集端支持，可降低光场采集操作难度，提高采集精度。提高采集精度。提高采集精度。


技术研发人员：方璐 于涛
受保护的技术使用者：清华大学
技术研发日：2023.06.19
技术公布日：2023/7/22