视频数据生成方法、装置、计算机设备和存储介质与流程

1.本技术涉及数字孪生技术领域，特别是涉及一种视频数据生成方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.银行网点、金库等金融机构的线下场所常有视频分析的技术需求。目前，关于金融机构线下场所的视频数据的数据量较少，甚至许多特殊场景缺乏视频数据，例如代客操作、轨迹跟踪等涉及客户隐私的特殊场景。
3.数据驱动模型在数据量少、数据质量不高的视频数据集上，难以得到很好的训练，导致数据驱动模型对金融机构进行视频分析的准确率不高。目前，相关人员主要通过在金融机构的线下场所增设摄像头的方式，来增加关于金融机构的视频数据的数据量。然而，这种在线下场所增设摄像头的方式获取数据集的效率依然不高。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高对金融机构视频数据的获取效率的视频数据生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种视频数据生成方法。所述方法包括：
6.获取金融机构的线下场所的实景数据；
7.根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体；
8.根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体；
9.根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据。
10.在其中一个实施例中，在根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据之前，还包括：
11.构建所述不同身份类别的人物模型，分别设置所述不同身份类别的人物模型的基础运动参数；所述不同身份类别的人物模型包括柜员身份的人物模型和客户身份的人物模型；
12.根据目标仿真任务的动作约束信息，设置所述柜员身份的人物模型执行所述目标仿真任务时的手部动作参数和面部动作参数，使所述柜员身份的人物模型的手部触控所述目标孪生体中的虚拟金融机具，且所述柜员身份的人物模型的面部朝向所述虚拟金融机具的显示屏；
13.根据所述目标仿真任务的位置约束信息，设置所述柜员身份的人物模型与所述客户身份的人物模型执行所述目标仿真任务时的位置参数，使所述柜员身份的人物模型与所述客户身份的人物模型之间的位置距离满足目标距离范围；
14.根据所述目标仿真任务的时间约束信息，设置所述柜员身份的人物模型与所述客
户身份的人物模型执行所述目标仿真任务时在所述位置参数的停留时间。
15.在其中一个实施例中，根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体，包括：
16.根据所述预设仿真信息中的仿真时间段，得到所述孪生体的基础光照参数；
17.根据所述预设仿真信息中的场所光照参数，对所述基础光照参数进行处理，得到所述孪生体的目标光照参数；
18.根据所述目标光照参数设置所述孪生体，得到所述孪生体对应的处理后孪生体；
19.根据所述摄像头信息中的角度参数和高度参数，在所述处理后孪生体中设置虚拟摄像头，并根据所述摄像头信息中的分辨率参数，设置所述虚拟摄像头拍摄的虚拟视频数据的分辨率，得到所述目标孪生体。
20.在其中一个实施例中，根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据，包括：
21.按照目标仿真任务，在所述目标孪生体中，加载所述不同身份类别的人物模型；
22.通过所述目标孪生体中的虚拟摄像头，得到所述线下场所的虚拟视频数据。
23.在其中一个实施例中，所述方法还包括：
24.对所述目标孪生体的目标光照参数进行更新，得到所述目标孪生体对应的更新后孪生体；
25.通过所述更新后孪生体中的虚拟摄像头，得到所述线下场所的虚拟视频数据。
26.在其中一个实施例中，根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体，包括：
27.确定所述实景数据中的实景扫描数据对应的点云数据；
28.根据所述点云数据，对所述线下场所进行三维重建，得到所述线下场所的点云三维模型；
29.对所述点云三维模型进行网格化处理，得到所述线下场所的网格三维模型；
30.根据所述实景数据中的场所实景图像，对所述网格三维模型进行纹理处理，得到所述线下场所的孪生体。
31.在其中一个实施例中，获取金融机构的线下场所的实景数据，包括：
32.通过扫描设备，对所述线下场所进行扫描，得到所述线下场所的实景扫描数据；
33.通过拍摄设备，对所述线下场所进行拍摄，得到所述线下场所的场所实景图像；
34.将所述实景扫描数据和所述场所实景图像，作为所述线下场所的实景数据。
35.第二方面，本技术还提供了一种视频数据生成装置。所述装置包括：
36.数据获取模块，用于获取金融机构的线下场所的实景数据；
37.三维重建模块，用于根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体；
38.仿真设置模块，用于根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体；
39.仿真执行模块，用于根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据。
40.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理
器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
41.获取金融机构的线下场所的实景数据；
42.根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体；
43.根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体；
44.根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据。
45.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
46.获取金融机构的线下场所的实景数据；
47.根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体；
48.根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体；
49.根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据。
50.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
51.获取金融机构的线下场所的实景数据；
52.根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体；
53.根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体；
54.根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据。
55.上述视频数据生成方法、装置、计算机设备、存储介质和计算机程序产品，获取金融机构的线下场所的实景数据；根据实景数据，对线下场所进行三维重建，得到线下场所的孪生体；根据孪生体的预设仿真信息和线下场所的摄像头信息，对孪生体的仿真参数进行设置，得到目标孪生体；根据不同身份类别的人物模型，对目标孪生体进行虚拟仿真处理，得到线下场所的虚拟视频数据。采用本方法，通过数字孪生技术构建得到金融机构线下场所的目标孪生体，并结合不同身份类别的人物模型在目标孪生体中进行仿真，不仅提高了对金融机构的虚拟视频数据的获取效率，还可以通过调整摄像头信息，来提高获取到的虚拟视频数据的质量。
附图说明
56.图1为一个实施例中视频数据生成方法的应用环境图；
57.图2为一个实施例中视频数据生成方法的流程示意图；
58.图3为一个实施例中构建不同身份类别的人物模型步骤的流程示意图；
59.图4为另一个实施例中视频数据生成方法的流程示意图；
60.图5为一个实施例中视频数据生成装置的结构框图；
61.图6为一个实施例中计算机设备的内部结构图。
具体实施方式
62.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
63.需要说明的是，本技术提供的视频数据生成方法、装置可用于金融科技领域，以提高对金融机构视频数据的获取效率，也可以用于除金融科技领域之外的任意领域在视频数据生成方面的应用，例如数字孪生领域，本技术对视频数据生成方法、装置的应用领域不做限定。
64.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
65.本技术实施例提供的视频数据生成方法，可以应用于如图1所示的应用环境中。其中，数据采集设备101通过网络与服务器102进行通信。数据存储系统可以存储服务器102需要处理的数据。数据存储系统可以集成在服务器102上，也可以放在云上或其他网络服务器上。数据采集设备101采集金融机构的线下场所的实景数据，并将实景数据发送至服务器102。服务器102获取金融机构的线下场所的实景数据；根据实景数据，对线下场所进行三维重建，得到线下场所的孪生体；根据孪生体的预设仿真信息和线下场所的摄像头信息，对孪生体的仿真参数进行设置，得到目标孪生体；根据不同身份类别的人物模型，对目标孪生体进行虚拟仿真处理，得到线下场所的虚拟视频数据。其中，数据采集设备101可以但不限于是各种具备采集实景数据能力的设备。例如数据采集设备101可以是扫描设备(如激光雷达扫描设备)、拍摄设备(如光学相机)等。服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
66.在一个实施例中，如图2所示，提供了一种视频数据生成方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
67.步骤s201，获取金融机构的线下场所的实景数据。
68.其中，金融机构是指从事金融业务的机构；例如金融机构可以是银行，金融机构的线下场所可以是银行网点、金库等。实景数据是指描述线下场所的真实场景的数据；例如实景数据可以包括通过扫描设备扫描得到的实景扫描数据，以及通过相机拍摄得到的场所实景图像。
69.具体地，通过数据采集设备采集得到金融机构的线下场所的实景数据，并将实景数据发送至服务器。服务器接收数据采集设备发送的金融机构的线下场所的实景数据；服务器还可以获取针对线下场所的目标仿真任务。
70.步骤s202，根据实景数据，对线下场所进行三维重建，得到线下场所的孪生体。
71.其中，孪生体是指将金融机构的线下场所通过数据的形式映射到数字空间中，而得到的线下场所的虚拟模型。
72.具体地，服务器根据接收到的实景数据，对线下场所进行三维重建，可以是通过数字孪生构建线下场所的1:1数字空间镜像，则服务器得到数字空间的线下场所，即服务器得到线下场所的孪生体。
73.步骤s203，根据孪生体的预设仿真信息和线下场所的摄像头信息，对孪生体的仿真参数进行设置，得到目标孪生体。
74.其中，预设仿真信息是指针对孪生体预先设置的场景仿真参数。例如，场景仿真参数可以包括仿真时间段、仿真时刻、光照参数、场所灯光和场所明亮程度等。摄像头信息是指描述线下场所中的真实摄像头的信息。例如，摄像头信息可以包括真实摄像头的角度参数、高度参数、机位位置参数和分辨率参数等。
75.具体地，服务器根据预设仿真参数，确定孪生体的目标光照参数和目标光源参数；根据目标光照参数和目标光源参数，设置孪生体的仿真环境，得到处理后孪生体；进而根据摄像头信息，在处理后孪生体中设置虚拟摄像头，则服务器得到金融机构的线下场所的目标孪生体。
76.步骤s204，根据不同身份类别的人物模型，对目标孪生体进行虚拟仿真处理，得到线下场所的虚拟视频数据。
77.其中，人物模型是指针对金融机构的线下场所中出现的人物构建的虚拟模型。人物模型的身份类别包括金融机构的柜员、来金融机构的线下场所办理业务的客户等。虚拟视频数据是指通过目标孪生体和人物模型仿真得到的视频数据。
78.具体地，服务器获取目标仿真任务，并确定目标仿真任务关联的至少两种身份类别；服务器构建得到至少两种身份类别对应的人物模型；可以理解的是，由于金融机构的行业特性，必须经由金融机构的工作人员办理客户的线下业务，因而目标仿真任务关联的身份类别至少为两个，如客户和柜员，有些任务还会涉及更多个身份类别，如客户、柜员和大堂经理。服务器将至少两种身份类别的人物模型加载至目标孪生体中，以执行目标仿真任务的虚拟仿真处理，则服务器得到线下场所的目标仿真任务对应的虚拟视频数据。
79.进一步地，在得到虚拟视频数据之后，还可以利用虚拟视频数据去训练目标检测模型、代客操作检测模型等基于数据驱动的视频处理模型，比如通过生成的数据量充足且质量较高的金融机构场景的视频数据集，对目标检测模型、代客操作检测模型进行训练，大大提高了训练完成的目标检测模型、代客操作检测模型对金融机构线下场景的视频数据的检测准确性。
80.上述视频数据生成方法中，获取金融机构的线下场所的实景数据；根据实景数据，对线下场所进行三维重建，得到线下场所的孪生体；根据孪生体的预设仿真信息和线下场所的摄像头信息，对孪生体的仿真参数进行设置，得到目标孪生体；根据不同身份类别的人物模型，对目标孪生体进行虚拟仿真处理，得到线下场所的虚拟视频数据。采用本方法，通过数字孪生技术构建得到金融机构线下场所的目标孪生体，并结合不同身份类别的人物模型在目标孪生体中进行仿真，不仅提高了对金融机构的虚拟视频数据的获取效率，还可以通过调整摄像头信息，来提高获取到的虚拟视频数据的质量。
81.在一个实施例中，如图3所示，在上述步骤s204，根据不同身份类别的人物模型，对目标孪生体进行虚拟仿真处理，得到线下场所的虚拟视频数据之前，还包括：
82.步骤s301，构建不同身份类别的人物模型，分别设置不同身份类别的人物模型的基础运动参数；不同身份类别的人物模型包括柜员身份的人物模型和客户身份的人物模型。
83.其中，基础运动参数是指描述人物模型的常规运动的参数信息。例如，基础运动参
数可以包括人物模型的行走速度。
84.具体地，服务器在确定目标仿真任务关联的至少两种身份类别之后，还可以获取每种身份类别所需的人物数量；其中，每种身份类别所需的人物数量可以是一个或多个。服务器根据每种身份类别所需的人物数量，构建得到相应人物数量的人物模型，并为每个人物模型设置对应的身份类别，则服务器得到设置完成的人物模型；其中，设置完成的人物模型可以包括柜员身份的人物模型和客户身份的人物模型。服务器可以根据每个人物模型对应的身份类别，分别为每个人物模型设置其身份类别对应的基础运动参数；此外，服务器还可以为所有的人物模型统一设置相同的基础运动参数，以简化基础运动参数的设置过程。
85.进一步地，为提高虚拟仿真的真实程度，还可以获取每种身份类别的人物模型的人物属性参数；其中，人物属性参数包括男女比例、身材参数、外貌参数和服装参数；进而服务器根据人物属性参数，分别对每种身份类别的人物模型进行模型优化，得到每种身份类别的优化后人物模型，则服务器可以基于每种身份类别的优化后人物模型，来执行步骤s204。可以理解的是，人物属性参数也与身份类别有关，例如，同性别的柜员身份的人物模型的服装参数应相同，即柜员身份的人物模型统一着装(工作制服)，而客户身份的人物模型之间的服装参数可以不同，但客户身份的人物模型的服装参数应不同于柜员身份的人物模型的服装参数，即客户身份的人物模型可以服装多样化，但不能穿不属于其身份类别的工作制服。
86.步骤s302，根据目标仿真任务的动作约束信息，设置柜员身份的人物模型执行目标仿真任务时的手部动作参数和面部动作参数，使柜员身份的人物模型的手部触控目标孪生体中的虚拟金融机具，且柜员身份的人物模型的面部朝向虚拟金融机具的显示屏。
87.其中，目标仿真任务是指需要在线下场所的孪生体中仿真的金融业务；例如目标仿真任务可以是柜员代替客户操作业务。动作约束信息是指人物模型在执行目标仿真任务时，针对人物模型的身体部位的动作而设置的约束信息。人物模型的身体部位包括手部、面部和上半身躯干等部位。手部动作参数用于控制人物模型的手部的动作和动作方向，例如触碰虚拟金融机具。面部动作参数用于控制人物模型的面部朝向和面部五官的动作，例如眨眼和嘴唇开启、闭合动作。
88.其中，虚拟金融机具是指针对线下场所的金融机具，设置在目标孪生体中的虚拟设备。金融机具是指银行等金融机构日常用到的机具产品，比如防伪点钞机、验钞机、复点机、pos机、和硬币清分机等。
89.服务器根据目标仿真任务的任务类型，确定至少两种身份类别的人物模型的目标身体部位；其中，目标身体部位是指人物模型中与执行目标仿真任务密切关联的身体部位。服务器根据动作约束信息，设置至少两种身份类别的人物模型中目标身体部位的动作参数，以便于后续步骤中至少两种身份类别的人物模型的目标身体部位能够按照动作参数来执行目标仿真任务。具体地，服务器可以设置柜员身份的人物模型执行目标仿真任务时的手部动作参数，以使得柜员身份的人物模型的手部触控目标孪生体中的虚拟金融机具，以及设置柜员身份的人物模型和客户身份的人物模型执行目标仿真任务时的面部动作参数，以使得柜员身份的人物模型和客户身份的人物模型的面部均朝向虚拟金融机具的显示屏，且柜员身份的人物模型和客户身份的人物模型的面部嘴唇产生动作变化，以模拟对话沟通。
90.步骤s303，根据目标仿真任务的位置约束信息，设置柜员身份的人物模型与客户身份的人物模型执行目标仿真任务时的位置参数，使柜员身份的人物模型与客户身份的人物模型之间的位置距离满足目标距离范围。
91.其中，位置约束信息是指人物模型在执行目标仿真任务时，针对不同身份类别的人物模型所处的位置而设置的约束信息。
92.服务器根据目标仿真任务的任务类型，确定至少两种身份类别的人物模型的位置约束信息。服务器根据位置约束信息，分别设置不同身份类别的人物模型执行目标仿真任务时的目标位置范围和目标距离范围；根据目标距离范围和目标距离范围，分别确定不同身份类别的人物模型的位置参数，以便于后续步骤中不同身份类别的人物模型位于目标位置范围内执行目标仿真任务，且每个人物模型之间的距离处于目标距离范围内。具体地，服务器可以根据目标距离范围和目标距离范围，分别确定柜员身份的人物模型的位置坐标和客户身份的人物模型的位置参数，以使得柜员身份的人物模型与客户身份的人物模型在执行目标仿真任务时两者之间的距离位于目标距离范围，同时，柜员身份的人物模型的位置参数位于柜员身份对应的目标位置范围内，以及客户身份的人物模型的位置参数位于客户身份对应的目标位置范围内。
93.步骤s304，根据目标仿真任务的时间约束信息，设置柜员身份的人物模型与客户身份的人物模型执行目标仿真任务时在位置参数的停留时间。
94.其中，时间约束信息是指人物模型执行目标仿真任务时，针对人物模型在位置参数的停留时间而设置的约束信息。
95.具体地，服务器根据目标仿真任务的任务类型，确定不同身份类别的人物模型的时间约束信息；根据时间约束信息，分别设置不同身份类别的人物模型在位置参数的停留时间，以便不同身份类别的人物模型按照目标速度完成目标仿真任务；其中，目标速度根据位置参数的停留时间计算得到。
96.举例说明，当目标仿真任务为时柜员代替客户操作业务，柜员身份的人物模型与客户身份的人物模型的位置参数需要在虚拟金融机具的1米内，并且两者需要在该位置参停留1分钟，两者之间的距离可以为60厘米；在停留的1分钟内，柜员身份的人物模型与客户身份的人物模型的面部均朝向虚拟金融机具的显示屏，通过嘴部的动作来体现两者在进行对话沟通，此外，柜员身份的人物模型还需用手指点击虚拟金融机具的显示屏。
97.本实施例中，通过构建不同身份类别的人物模型，分别设置不同身份类别的人物模型的基础运动参数、以及不同身份类别的人物模型执行目标仿真任务时的手部动作参数、面部动作参数、位置参数和停留时间，实现了对不同身份类别的人物模型的数字孪生模型构建和仿真参数设置，以便后续步骤依据构建得到的虚拟的人物模型来执行目标仿真任务。
98.在一个实施例中，上述步骤s203，根据孪生体的预设仿真信息和线下场所的摄像头信息，对孪生体的仿真参数进行设置，得到目标孪生体，具体包括如下内容：根据预设仿真信息中的仿真时间段，得到孪生体的基础光照参数；根据预设仿真信息中的场所光照参数，对基础光照参数进行处理，得到孪生体的目标光照参数；根据目标光照参数设置孪生体，得到孪生体对应的处理后孪生体；根据摄像头信息中的角度参数和高度参数，在处理后孪生体中设置虚拟摄像头，并根据摄像头信息中的分辨率参数，设置虚拟摄像头拍摄的虚
拟视频数据的分辨率，得到目标孪生体。
99.其中，仿真时间段是指需要在目标孪生体中仿真的时间段，而非现实场景中执行虚拟仿真时的真实时间段。场所光照参数是指线下场所中的人工光源(如电灯)提供的光照的相关参数。基础光照参数是指除人工光源以外自然光源(如太阳)提供的光照的相关参数。
100.具体地，服务器根据预设仿真信息中的仿真时间段对应的环境日照参数，得到孪生体的基础光照参数；将预设仿真信息中的场所光照信息和得到的基础光照参数进行融合处理，得到孪生体的目标光照参数；根据目标光照参数设置孪生体，得到孪生体对应的处理后孪生体。服务器根据摄像头信息中的角度参数、高度参数和摄像头位置参数，在处理后孪生体中设置虚拟摄像头；还可以根据摄像头信息中的分辨率参数，来设置虚拟摄像头拍摄得到的虚拟视频数据的分辨率，则服务器得到目标孪生体。
101.在本实施例中，首先根据预设仿真信息中的仿真时间段，得到孪生体的基础光照参数；然后根据预设仿真信息中的场所光照参数，对基础光照参数进行处理，得到孪生体的目标光照参数；根据目标光照参数设置孪生体，得到孪生体对应的处理后孪生体；最后根据摄像头信息中的角度参数和高度参数，在处理后孪生体中设置虚拟摄像头，并根据摄像头信息中的分辨率参数，设置虚拟摄像头拍摄的虚拟视频数据的分辨率，得到目标孪生体，通过设置目标孪生体的相关仿真参数，实现了虚拟仿真的视频环境设置，以便后续能够通过目标孪生体中的虚拟摄像头来得到虚拟视频数据。
102.在一个实施例中，上述步骤s204，根据不同身份类别的人物模型，对目标孪生体进行虚拟仿真处理，得到线下场所的虚拟视频数据，具体包括如下内容：按照目标仿真任务，在目标孪生体中，加载不同身份类别的人物模型；通过目标孪生体中的虚拟摄像头，得到线下场所的虚拟视频数据。
103.具体地，服务器在得到目标孪生体和不同身份类别的人物模型之后，可以在目标孪生体中，加载目标仿真任务关联的至少两种身份类别的人物模型；使至少两种身份类别的人物模型按照手部动作参数、面部动作参数、位置参数和停留时间等参数来执行目标仿真任务；服务器通过目标孪生体中的虚拟摄像头采集得到虚拟视频数据。
104.在本实施例中，按照目标仿真任务，在目标孪生体中，加载不同身份类别的人物模型；通过目标孪生体中的虚拟摄像头，得到线下场所的虚拟视频数据，实现了金融机构的线下场所的虚拟视频数据的高效获取，还可以通过调整虚拟摄像头的分辨率参数，来提高采集的虚拟视频数据的质量；因而在提高了获取虚拟视频数据的效率的同时，还提高了获取到的虚拟视频数据的质量。
105.在一个实施例中，上述视频数据生成方法还包括：对目标孪生体的目标光照参数进行更新，得到目标孪生体对应的更新后孪生体；通过更新后孪生体中的虚拟摄像头，得到线下场所的虚拟视频数据。
106.其中，更新后孪生体是指目标孪生体更新目标光照参数或者摄像头信息之后得到的孪生体。
107.具体地，服务器可以通过调整预设仿真信息中的场所光照信息和/或环境日照参数，来实现对目标孪生体的目标光照参数进行更新；此外，还可以通过调整摄像头信息中的角度参数、高度参数、摄像头位置参数和分辨率参数，来实现对目标孪生体中虚拟摄像头的
更新；最终服务器得到目标孪生体对应的更新后孪生体。
108.在本实施例中，通过更新目标孪生体中的目标光照参数和摄像头信息，以便利用更新后孪生体中的虚拟摄像头采集得到更丰富的虚拟视频数据，有助于提高视频分析算法对虚拟视频数据的分析准确性。
109.在一个实施例中，上述步骤s202，根据实景数据，对线下场所进行三维重建，得到线下场所的孪生体，具体包括如下内容：确定实景数据中的实景扫描数据对应的点云数据；根据点云数据，对线下场所进行三维重建，得到线下场所的点云三维模型；对点云三维模型进行网格化处理，得到线下场所的网格三维模型；根据实景数据中的场所实景图像，对网格三维模型进行纹理处理，得到线下场所的孪生体。
110.其中，实景扫描数据是指通过扫描设备对线下场所扫描得到的数据。场所实景图像是指通过拍摄设备对线下场所拍摄得到的图像。
111.具体地，服务器将实景数据中的实景扫描数据转换为对应的点云数据；对点云数据进行数据预处理，得到处理后的点云数据；进而依据处理后的点云数据来进行线下场所的三维重建，则服务器得到线下场所的点云三维模型；通过对点云三维模型进行网格化处理，得到点云三维模型对应的网格三维模型；根据实景数据中的场所实景图像对网格三维模型进行纹理处理，可以是从场所实景图像中提取出纹理特征，再根据纹理特征对网格三维模型的表面纹理进行重建；还可以是通过纹理贴图将场所实景图像贴图纸网格三维模型的表面；则服务器得到线下场所的孪生体。
112.在本实施例中，通过实景扫描数据对应的点云数据，对线下场所进行三维重建，得到线下场所的点云三维模型；通过对点云三维模型进行网格化处理，来得到线下场所的网格三维模型；进而根据实景数据中的场所实景图像，对网格三维模型进行纹理处理，得到线下场所的孪生体，实现了线下场所的数字孪生模型的精细化构建，进而能够通过数字化手段采集更多线下场所的视频数据，提高了对金融机构的虚拟视频数据的获取效率。
113.在一个实施例中，上述步骤s201，获取金融机构的线下场所的实景数据，具体包括如下内容：通过扫描设备，对线下场所进行扫描，得到线下场所的实景扫描数据；通过拍摄设备，对线下场所进行拍摄，得到线下场所的场所实景图像；将实景扫描数据和场所实景图像，作为线下场所的实景数据。
114.具体地，服务器可以通过激光雷达扫描设备扫描金融机构的线下场所，从而得到线下场所的实景扫描数据。服务器还可以通过光学相机拍摄金融机构的线下场所，从而得到线下场所的场所实景图像；进而服务器将实景扫描数据和场所实景图像，作为线下场所的实景数据。
115.在本实施例中，通过扫描设备来扫描得到具备三维信息的实景扫描数据，以及通过拍摄设备来拍摄得到线下场所真实的场所实景图像，进而后序步骤中能够利用多维度的实景数据来构建得到线下场所的孪生体，有利于提高构建得到的孪生体的精确性。
116.在一个实施例中，如图4所示，提供了另一种视频数据生成方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
117.步骤s401，通过扫描设备，对线下场所进行扫描，得到线下场所的实景扫描数据；通过拍摄设备，对线下场所进行拍摄，得到线下场所的场所实景图像；将实景扫描数据和场所实景图像，作为线下场所的实景数据。
118.步骤s402，确定实景数据中的实景扫描数据对应的点云数据；根据点云数据，对线下场所进行三维重建，得到线下场所的点云三维模型；对点云三维模型进行网格化处理，得到线下场所的网格三维模型。
119.步骤s403，根据实景数据中的场所实景图像，对网格三维模型进行纹理处理，得到线下场所的孪生体。
120.步骤s404，根据预设仿真信息中的仿真时间段，得到孪生体的基础光照参数。
121.步骤s405，根据预设仿真信息中的场所光照参数，对基础光照参数进行处理，得到孪生体的目标光照参数；根据目标光照参数设置孪生体，得到孪生体对应的处理后孪生体。
122.步骤s406，根据摄像头信息中的角度参数和高度参数，在处理后孪生体中设置虚拟摄像头，并根据摄像头信息中的分辨率参数，设置虚拟摄像头拍摄的虚拟视频数据的分辨率，得到目标孪生体。
123.步骤s407，构建不同身份类别的人物模型，分别设置不同身份类别的人物模型的基础运动参数；不同身份类别的人物模型包括柜员身份的人物模型和客户身份的人物模型。
124.步骤s408，根据目标仿真任务的动作约束信息，设置柜员身份的人物模型执行目标仿真任务时的手部动作参数和面部动作参数，使柜员身份的人物模型的手部触控目标孪生体中的虚拟金融机具，且柜员身份的人物模型的面部朝向虚拟金融机具的显示屏。
125.步骤s409，根据目标仿真任务的位置约束信息，设置柜员身份的人物模型与客户身份的人物模型执行目标仿真任务时的位置参数，使柜员身份的人物模型与客户身份的人物模型之间的位置距离满足目标距离范围。
126.步骤s410，根据目标仿真任务的时间约束信息，设置柜员身份的人物模型与客户身份的人物模型执行目标仿真任务时在位置参数的停留时间。
127.步骤s411，按照目标仿真任务，在目标孪生体中，加载不同身份类别的人物模型；通过目标孪生体中的虚拟摄像头，得到线下场所的虚拟视频数据。
128.上述视频数据生成方法，能够实现以下有益效果：通过数字孪生技术构建得到金融机构线下场所的目标孪生体，并结合不同身份类别的人物模型在目标孪生体中进行仿真，不仅提高了对金融机构的虚拟视频数据的获取效率，还可以通过调整摄像头信息，来提高获取到的虚拟视频数据的质量。
129.为了更清晰阐明本公开实施例提供的视频数据生成方法，以下以一个具体的实施例对上述视频数据生成方法进行具体说明。提供了又一种视频数据生成方法，可以应用于图1中的服务器，具体包括如下内容：
130.利用激光雷达扫描仪和光学相机对银行网点进行实景扫描，得到银行网点的实景数据。通过数字孪生技术，将银行网点进行1:1镜像，得到数字空间的虚拟银行网点，即得到银行网点的孪生体。根据视频智能分析算法，调节孪生体的目标光照参数并设置虚拟摄像头，得到目标孪生体；构建目标仿真任务关联的不同身份类别的人物模型。将目标孪生体和不同身份类别的人物模型加载至引擎中，通过数字仿真从目标孪生体中的虚拟摄像头获取相关的虚拟视频数据。还可以对不同时间段、不同光照等情况进行多次仿真，以得到更多的虚拟视频数据。
131.在本实施例中，通过虚拟的目标孪生体和人物模型来仿真线下场所的业务交互，
不仅提高了对金融机构的虚拟视频数据的获取效率，还有助于提高视频分析算法对虚拟视频数据的分析准确性。
132.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
133.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的视频数据生成方法的视频数据生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视频数据生成装置实施例中的具体限定可以参见上文中对于视频数据生成方法的限定，在此不再赘述。
134.在一个实施例中，如图5所示，提供了一种视频数据生成装置500，包括：数据获取模块501、三维重建模块502、仿真设置模块503和仿真执行模块504，其中：
135.数据获取模块501，用于获取金融机构的线下场所的实景数据。
136.三维重建模块502，用于根据实景数据，对线下场所进行三维重建，得到线下场所的孪生体。
137.仿真设置模块503，用于根据孪生体的预设仿真信息和线下场所的摄像头信息，对孪生体的仿真参数进行设置，得到目标孪生体。
138.仿真执行模块504，用于根据不同身份类别的人物模型，对目标孪生体进行虚拟仿真处理，得到线下场所的虚拟视频数据。
139.在一个实施例中，视频数据生成装置500还包括人物构建模块，用于构建不同身份类别的人物模型，分别设置不同身份类别的人物模型的基础运动参数；不同身份类别的人物模型包括柜员身份的人物模型和客户身份的人物模型；根据目标仿真任务的动作约束信息，设置柜员身份的人物模型执行目标仿真任务时的手部动作参数和面部动作参数，使柜员身份的人物模型的手部触控目标孪生体中的虚拟金融机具，且柜员身份的人物模型的面部朝向虚拟金融机具的显示屏；根据目标仿真任务的位置约束信息，设置柜员身份的人物模型与客户身份的人物模型执行目标仿真任务时的位置参数，使柜员身份的人物模型与客户身份的人物模型之间的位置距离满足目标距离范围；根据目标仿真任务的时间约束信息，设置柜员身份的人物模型与客户身份的人物模型执行目标仿真任务时在位置参数的停留时间。
140.在一个实施例中，仿真设置模块503，还用于根据预设仿真信息中的仿真时间段，得到孪生体的基础光照参数；根据预设仿真信息中的场所光照参数，对基础光照参数进行处理，得到孪生体的目标光照参数；根据目标光照参数设置孪生体，得到孪生体对应的处理后孪生体；根据摄像头信息中的角度参数和高度参数，在处理后孪生体中设置虚拟摄像头，并根据摄像头信息中的分辨率参数，设置虚拟摄像头拍摄的虚拟视频数据的分辨率，得到目标孪生体。
141.在一个实施例中，仿真执行模块504，还用于按照目标仿真任务，在目标孪生体中，
memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
152.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
153.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种视频数据生成方法，其特征在于，所述方法包括：获取金融机构的线下场所的实景数据；根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体；根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体；根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据。2.根据权利要求1所述的方法，其特征在于，在根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据之前，还包括：构建所述不同身份类别的人物模型，分别设置所述不同身份类别的人物模型的基础运动参数；所述不同身份类别的人物模型包括柜员身份的人物模型和客户身份的人物模型；根据目标仿真任务的动作约束信息，设置所述柜员身份的人物模型执行所述目标仿真任务时的手部动作参数和面部动作参数，使所述柜员身份的人物模型的手部触控所述目标孪生体中的虚拟金融机具，且所述柜员身份的人物模型的面部朝向所述虚拟金融机具的显示屏；根据所述目标仿真任务的位置约束信息，设置所述柜员身份的人物模型与所述客户身份的人物模型执行所述目标仿真任务时的位置参数，使所述柜员身份的人物模型与所述客户身份的人物模型之间的位置距离满足目标距离范围；根据所述目标仿真任务的时间约束信息，设置所述柜员身份的人物模型与所述客户身份的人物模型执行所述目标仿真任务时在所述位置参数的停留时间。3.根据权利要求1所述的方法，其特征在于，所述根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体，包括：根据所述预设仿真信息中的仿真时间段，得到所述孪生体的基础光照参数；根据所述预设仿真信息中的场所光照参数，对所述基础光照参数进行处理，得到所述孪生体的目标光照参数；根据所述目标光照参数设置所述孪生体，得到所述孪生体对应的处理后孪生体；根据所述摄像头信息中的角度参数和高度参数，在所述处理后孪生体中设置虚拟摄像头，并根据所述摄像头信息中的分辨率参数，设置所述虚拟摄像头拍摄的虚拟视频数据的分辨率，得到所述目标孪生体。4.根据权利要求3所述的方法，其特征在于，所述根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据，包括：按照目标仿真任务，在所述目标孪生体中，加载所述不同身份类别的人物模型；通过所述目标孪生体中的虚拟摄像头，得到所述线下场所的虚拟视频数据。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：对所述目标孪生体的目标光照参数进行更新，得到所述目标孪生体对应的更新后孪生体；通过所述更新后孪生体中的虚拟摄像头，得到所述线下场所的虚拟视频数据。6.根据权利要求1所述的方法，其特征在于，所述根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体，包括：
确定所述实景数据中的实景扫描数据对应的点云数据；根据所述点云数据，对所述线下场所进行三维重建，得到所述线下场所的点云三维模型；对所述点云三维模型进行网格化处理，得到所述线下场所的网格三维模型；根据所述实景数据中的场所实景图像，对所述网格三维模型进行纹理处理，得到所述线下场所的孪生体。7.根据权利要求6所述的方法，其特征在于，所述获取金融机构的线下场所的实景数据，包括：通过扫描设备，对所述线下场所进行扫描，得到所述线下场所的实景扫描数据；通过拍摄设备，对所述线下场所进行拍摄，得到所述线下场所的场所实景图像；将所述实景扫描数据和所述场所实景图像，作为所述线下场所的实景数据。8.一种视频数据生成装置，其特征在于，所述装置包括：数据获取模块，用于获取金融机构的线下场所的实景数据；三维重建模块，用于根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体；仿真设置模块，用于根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体；仿真执行模块，用于根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种视频数据生成方法、装置、计算机设备、存储介质和计算机程序产品，应用于金融科技领域或者数字孪生领域，以提高对金融机构视频数据的获取效率。所述方法包括：获取金融机构的线下场所的实景数据；根据所述实景数据，对所述线下场所进行三维重建，得到所述线下场所的孪生体；根据所述孪生体的预设仿真信息和所述线下场所的摄像头信息，对所述孪生体的仿真参数进行设置，得到目标孪生体；根据不同身份类别的人物模型，对所述目标孪生体进行虚拟仿真处理，得到所述线下场所的虚拟视频数据。频数据。频数据。


技术研发人员：高伟 张磊 蔡为彬 江文乐
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2023.05.05
技术公布日：2023/9/7