一种基于增强现实的音乐互动方法和系统与流程

1.本发明涉及互联网技术领域，特别是指一种基于增强现实的音乐互动方法和系统。


背景技术：

2.]随着电子科技的不断的开发和完善，用户对各种娱乐需求也越来越多和多样化，现有的音乐娱乐应用程序呈现爆发增长，各种类型的音乐应用程序越来越多，不同的音乐应用程序的生产商为了提高用户对自家音乐应用程序中的音乐的互动率，一般会在音乐应用程序中增加很多用户原创的音乐内容，例如，音乐听后感、听音乐的心情、上传的与音乐相关的图片等。然而，这些用户原创的音乐内容只是单向向用户传达对音乐应用程序中的音乐的感受；现有技术中没有涉及和考虑提升用户对音乐娱乐的场景需求。


技术实现要素：

3.本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于增强现实的音乐互动方法，能够与真实场景虚实结合的音乐互动方法，提升用户对对音乐娱乐的场景需求，满足用户多样化个性化娱乐需求。
4.本发明采用如下技术方案：
5.一种基于增强现实的音乐互动方法，包括：
6.响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象；
7.摄像头识别用户人体动作，并将动作映射到3d虚拟形象上；
8.游客通过手机终端点击设定的应用程序，触发手机终端摄像头，定位并识别游客所在的空间方位，并与已生成的点云地图和3d地图进行校准，校准通过后，获取手机终端摄像头中的实际场景；
9.将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演。
10.具体地，响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象，具体包括：
11.设定空间内设置有人体感应器，当感应到用户进入该设定空间，则控制房门上锁。
12.具体地，摄像头识别用户人体动作，并将动作映射到3d虚拟形象上，具体包括：
13.扫描后生成3d虚拟形象，同时通过预先训练好的数据模型分析出3d虚拟形象的关键节点，所述关键节点包括但不限于面部、骨骼、关节点；
14.摄像头或穿戴动捕设备实时捕捉用户的面部表情及全身的运动轨迹和姿态，驱动3d虚拟形象与用户保持表情和动作上的同步。
15.具体地，将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演，具体包括：
16.将虚拟形象放置在3d地图的指定位置上，云服务器使手机终端屏幕显示虚拟形象
在3d地图标定位置的虚实融合场景。
17.本发明实施例另一发面提供一种基于增强现实的音乐互动系统，包括：
18.3d虚拟形象建立单元：响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象；
19.动作映射单元：摄像头识别用户人体动作，并将动作映射到3d虚拟形象上；
20.检测单元：游客通过手机终端点击设定的应用程序，触发手机终端摄像头，定位并识别游客所在的空间方位，并与已生成的点云地图和3d地图进行校准，校准通过后，获取手机终端摄像头中的实际场景；
21.虚实融合单元：将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演。
22.具体地，所述3d虚拟形象建立单元中，响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象，具体包括：
23.设定空间内设置有人体感应器，当感应到用户进入该设定空间，则控制房门上锁。
24.具体地，所述动作映射单元中，摄像头识别用户人体动作，并将动作映射到3d虚拟形象上，具体包括：
25.扫描后生成3d虚拟形象，同时通过预先训练好的数据模型分析出3d虚拟形象的关键节点，所述关键节点包括但不限于面部、骨骼、关节点；
26.摄像头或穿戴动捕设备实时捕捉用户的面部表情及全身的运动轨迹和姿态，驱动3d虚拟形象与用户保持表情和动作上的同步。
27.具体地，所述虚实融合单元中，将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演，具体包括：
28.将虚拟形象放置在3d地图的指定位置上，云服务器使手机终端屏幕显示虚拟形象在3d地图标定位置的虚实融合场景。
29.本发明实施例再一方面提供一种电子设备，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述一种基于增强现实的音乐互动方法步骤。
30.本发明实施例又一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于增强现实的音乐互动方法步骤。
31.由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
32.本发明提供一种基于增强现实的音乐互动方法，包括：响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象；摄像头识别用户人体动作，并将动作映射到3d虚拟形象上；游客通过手机终端点击设定的应用程序，触发手机终端摄像头，定位并识别游客所在的空间方位，并与已生成的点云地图和3d地图进行校准，校准通过后，获取手机终端摄像头中的实际场景；将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演；本发明提供的方法，是能够与真实场景虚实结合的音乐互动方法，提升用户对对音乐娱乐的场景需求，满足用户多样化个性化娱乐需求。
附图说明
33.图1为本发明实施例提供的一种基于增强现实的音乐互动方法流程图；
34.图2为本发明实施例提供的一种基于增强现实的音乐互动系统架构图；
35.图3为本发明实施例提供的一种电子设备示意图；
36.图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
37.以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
38.本发明提供一种基于增强现实的音乐互动方法，是能够与真实场景虚实结合的音乐互动方法，提升用户对对音乐娱乐的场景需求，满足用户多样化个性化娱乐需求。
39.如图1为本发明实施例提供的一种基于增强现实的音乐互动方法流程图，具体包括：
40.一种基于增强现实的音乐互动方法，包括：
41.s101：响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象；
42.任何想唱歌表演的用户都可以进入到设定空间进行表演，具体实施例中设定空间为一个房子，设定空间内设置有人体感应器，当感应到用户进入该设定空间，则控制房门上锁，以确保不会有其他人进入。
43.房间里有3d扫描设备，设备对人进行3d扫描并建立一个3d虚拟形象，此形象与用户本人外观一致或者，通过ai生成一个独一无二的虚拟形象。当形象建好后在边上的电脑上录入个人信息，比如姓名或昵称。此时后台系统正在对这个3d形象进行骨骼和人体关键点分析。
44.s102：摄像头识别用户人体动作，并将动作映射到3d虚拟形象上，并生成虚拟形象的二维码；
45.3d扫描后生成虚拟形象，同时通过预先训练好的数据模型分析出虚拟形象的关键节点，如面部、骨骼、关节点等节点；摄像头或者穿戴动捕设备实时捕捉真人的面部表情及全身的运动轨迹和姿态(动捕技术)，然后驱动虚拟形象与真人保持表情和动作上的同步；
46.s103：游客通过手机终端点击设定的应用程序，触发手机终端摄像头，定位并识别游客所在的空间方位，并与已生成的点云地图和3d地图进行校准，校准通过后，获取手机终端摄像头中的实际场景；
47.事先需要先选取识别区域进行空间数据采集，再将采集的数据生成点云地图和3d地图。
48.s104：将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演。
49.具体地，将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演，具体包括：
50.将虚拟形象放置在3d地图的指定位置上，云服务器使手机终端屏幕显示虚拟形象在3d地图标定位置的虚实融合场景。
51.具体实施中，游客用手机点击应用程序后将手机对着海平面(或者是天空，或草坪)，透过手机屏幕会看到海平面上出现一个虚拟演唱会舞台，然后可以看到歌唱者上台演
唱和表演。
52.如图2，本发明实施例另一发面提供一种基于增强现实的音乐互动系统，包括：
53.3d虚拟形象建立单元201：响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象；
54.任何想唱歌表演的用户都可以进入到设定空间进行表演，具体实施例中设定空间为一个房子，设定空间内设置有人体感应器，当感应到用户进入该设定空间，则控制房门上锁，以确保不会有其他人进入。
55.房间里有3d扫描设备，设备对人进行3d扫描并建立一个3d虚拟形象，此形象与用户本人外观一致或者，通过ai生成一个独一无二的虚拟形象。当形象建好后在边上的电脑上录入个人信息，比如姓名或昵称。此时后台系统正在对这个3d形象进行骨骼和人体关键点分析。
56.动作映射单元202：摄像头识别用户人体动作，并将动作映射到3d虚拟形象上，并生成虚拟形象的二维码；
57.3d扫描后生成虚拟形象，同时通过预先训练好的数据模型分析出虚拟形象的关键节点，如面部、骨骼、关节点等节点；摄像头或者穿戴动捕设备实时捕捉真人的面部表情及全身的运动轨迹和姿态(动捕技术)，然后驱动虚拟形象与真人保持表情和动作上的同步；
58.检测单元203：游客通过手机终端点击设定的应用程序，触发手机终端摄像头，定位并识别游客所在的空间方位，并与已生成的点云地图和3d地图进行校准，校准通过后，获取手机终端摄像头中的实际场景；
59.事先需要先选取识别区域进行空间数据采集，再将采集的数据生成点云地图和3d地图；
60.虚实融合单元204：将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演。
61.具体地，将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演，具体包括：
62.将虚拟形象放置在3d地图的指定位置上，云服务器使手机终端屏幕显示虚拟形象在3d地图标定位置的虚实融合场景。
63.具体实施中，游客用手机点击应用程序后将手机对着海平面(或者是天空，或草坪)，透过手机屏幕会看到海平面上出现一个虚拟演唱会舞台，然后可以看到歌唱者上台演唱和表演。
64.图3所示，本发明实施例提供了一种电子设备300，包括存储器310、处理器320及存储在存储器320上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现本发明实施例提供的一种基于增强现实的音乐互动方法。
65.由于本实施例所介绍的电子设备为实施本发明实施例中所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。
66.请参阅图4，图4为本发明实施例提供的一种计算机可读存储介质的实施例示意
图。
67.如图4所示，本实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现本发明实施例提供的一种基于增强现实的音乐互动方法；
68.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
69.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
70.本发明提供一种基于增强现实的音乐互动方法，包括：响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象；摄像头识别用户人体动作，并将动作映射到3d虚拟形象上；游客通过手机终端点击设定的应用程序，触发手机终端摄像头，定位并识别游客所在的空间方位，并与已生成的点云地图和3d地图进行校准，校准通过后，获取手机终端摄像头中的实际场景；将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演；本发明提供的方法，是能够与真实场景虚实结合的音乐互动方法，提升用户对对音乐娱乐的场景需求，满足用户多样化个性化娱乐需求。
71.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
72.上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

技术特征：
1.一种基于增强现实的音乐互动方法，其特征在于，包括：响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象；摄像头识别用户人体动作，并将动作映射到3d虚拟形象上；游客通过手机终端点击设定的应用程序，触发手机终端摄像头，定位并识别游客所在的空间方位，并与已生成的点云地图和3d地图进行校准，校准通过后，获取手机终端摄像头中的实际场景；将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演。2.根据权利要求1所述的一种基于增强现实的音乐互动方法，其特征在于，响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象，具体包括：设定空间内设置有人体感应器，当感应到用户进入该设定空间，则控制房门上锁。3.根据权利要求1所述的一种基于增强现实的音乐互动方法，其特征在于，摄像头识别用户人体动作，并将动作映射到3d虚拟形象上，具体包括：扫描后生成3d虚拟形象，同时通过预先训练好的数据模型分析出3d虚拟形象的关键节点，所述关键节点包括但不限于面部、骨骼、关节点；摄像头或穿戴动捕设备实时捕捉用户的面部表情及全身的运动轨迹和姿态，驱动3d虚拟形象与用户保持表情和动作上的同步。4.根据权利要求1所述的一种基于增强现实的音乐互动方法，其特征在于，将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演，具体包括：将虚拟形象放置在3d地图的指定位置上，云服务器使手机终端屏幕显示虚拟形象在3d地图标定位置的虚实融合场景。5.一种基于增强现实的音乐互动系统，其特征在于，包括：3d虚拟形象建立单元：响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象；动作映射单元：摄像头识别用户人体动作，并将动作映射到3d虚拟形象上；检测单元：游客通过手机终端点击设定的应用程序，触发手机终端摄像头，定位并识别游客所在的空间方位，并与已生成的点云地图和3d地图进行校准，校准通过后，获取手机终端摄像头中的实际场景；虚实融合单元：将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演。6.根据权利要求5所述的一种基于增强现实的音乐互动系统，其特征在于，所述3d虚拟形象建立单元中，响应于用户进入设定空间，扫描用户并建立用户相应的3d虚拟形象，具体包括：设定空间内设置有人体感应器，当感应到用户进入该设定空间，则控制房门上锁。7.根据权利要求5所述的一种基于增强现实的音乐互动系统，其特征在于，所述动作映射单元中，摄像头识别用户人体动作，并将动作映射到3d虚拟形象上，具体包括：扫描后生成3d虚拟形象，同时通过预先训练好的数据模型分析出3d虚拟形象的关键节点，所述关键节点包括但不限于面部、骨骼、关节点；摄像头或穿戴动捕设备实时捕捉用户的面部表情及全身的运动轨迹和姿态，驱动3d虚
拟形象与用户保持表情和动作上的同步。8.根据权利要求5所述的一种基于增强现实的音乐互动系统，其特征在于，所述虚实融合单元中，将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演，具体包括：将虚拟形象放置在3d地图的指定位置上，云服务器使手机终端屏幕显示虚拟形象在3d地图标定位置的虚实融合场景。9.一种电子设备，其特征在于，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1-4任一所述的方法步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。

技术总结
本发明提供一种基于增强现实的音乐互动方法，包括：响应于用户进入设定空间，扫描用户并建立用户相应的3D虚拟形象；摄像头识别用户人体动作，并将动作映射到3D虚拟形象上；游客通过手机终端点击设定的应用程序，触发手机终端摄像头，定位并识别游客所在的空间方位，并与已生成的点云地图和3D地图进行校准，校准通过后，获取手机终端摄像头中的实际场景；将虚拟形象和实际场景进行融合，游客在手机终端观赏虚拟形象与实际场景融合下的表演；本发明提供的方法，是能够与真实场景虚实结合的音乐互动方法，提升用户对对音乐娱乐的场景需求，满足用户多样化个性化娱乐需求。足用户多样化个性化娱乐需求。足用户多样化个性化娱乐需求。


技术研发人员：陈洪 张惠阳 张逸均 刘学 段克奇
受保护的技术使用者：华邮数字文化技术研究院（厦门）有限公司
技术研发日：2022.11.30
技术公布日：2023/7/11