一种缆索表面破损程度检测系统及操作方法

1.本发明涉及信息技术领域，具体为一种缆索表面破损程度检测系统及操作方法。


背景技术：

2.目前主要是采用无人机技术或者无线图传技术，实现本地视频采集和人工识别缆索表面的质量缺陷。但由于无人机机翼较大，不能靠近桥体，且无人机飞行时存在姿态抖动问题，且视频无线图传由人工识别，误差率较大，且不能存档和图片拼接，导致数据无法直观的表达。
3.因此我国缆索检测的理论和技术手段急需更新换代，采用新技术，新工艺，适应实际生产检测的需要。
4.机器人是传统的机构学和近代电子技术相结合的产物，而缆索机器人是一种能够携带相关设备攀爬缆索，并对其进行高空长距离检测维护特种机器人。这种自动化装备不但可以应用在斜拉桥缆索的检测、清洗、喷涂、彩装等领域，而且可以完成高压供电电缆和石化行业架空管的探伤和表面处理，还可以应用于高空气象和环境检测、高架路路灯杆以及风景区索道、体育馆等其它建筑的缆索维护，具有广阔市场应用前景，能带来巨大经济效益和社会效益。
5.缆索机器人，与人工作业方式相比，不但极大地降低了成本，而且也最大限度地保证了作业安全。所以，近些年国内、外很多科研单位都开展了缆索机器人的技术及理论研究工作，并且取得了一些实用成果。但总的来说，该类机器人的研究还是处于初级阶段。


技术实现要素：

6.本发明的目的在于提供一种缆索表面破损程度检测系统及操作方法，以解决上述背景技术中提出的问题。
7.为实现上述目的，本发明提供如下技术方案：
8.一种缆索表面破损程度检测系统，包括上层是放在阿里云的云服务器，下层包括爬行机器人、远程客户端与检测现场客户端；
9.设备端接收服务器的转发，完成相应的动作，同时向服务器发送与动作对应的推送信息，并且将识别结果上传至服务器；电脑客户端通过华为mh5000模块5g上网，发送、接收服务器转发的动作信息和摄像头图像，并进行图像识别。在机器人检修过程中摄像头拍摄的实时视频将存储在本地硬盘，点击界面指定的按钮，可读取服务器设备上下线记录数据库，以及检测杆表面缺陷情况记录数据库，可按照时间对检测杆表面缺陷表格进行的检索查询；上层服务器完成信息的推送转发，并存储设备上下线记录数据库、动作推送数据库和检测杆表面破损情况记录数据库。
10.优选的，所述客户端又包括pc客户端、app、公众号、小程序。
11.优选的，所述手机app可接收摄像头实时视频、控制机器人运行状态。
12.优选的，所述微信公众号和小程序均可控制机器人运行状态。
13.优选的，所述可通过遥控器直接控制机器人。
14.一种缆索表面破损程度检测系统的操作方法，包括以下步骤：
15.s1.通过手机客户端包括app/微信公众号/小程序或pc客户端或遥控器，控制电机，驱动机器人正转(上行)、反转(下行)、停止、变速，并且客户端会收到与动作对应的推送信息分别为8001\8002\8004\8008；
16.s2.摄像头拍摄实时视频图像，上传至服务器，服务器转发图像数据给客户端，并记录此次检测结果相关信息，将检测结果上传到服务器mysql数据库，可按照检测时间检索记录；
17.s3.服务器上的数据库记录了所有客户端操作记录，检测杆表面缺陷情况记录，设备在线情况等；
18.s4.摄像头拍摄是实时视频以*.264格式会存储在远程pc客户端的电脑硬盘中，可对检测视频进行回放，人工再次核查；
19.s5.当检测过程中遇到之前没有出现的缺陷时，可通过人工点击pc客户端上的截图按钮，截取视频中的图片，加大训练集，从而有效提高识别精度和分类精细程度，若检测物品发生变化，可人工更换训练集以达到此目的
20.优选的，所述步骤s2中检测结果信息包括设备id,桥梁id，缆索id，缺陷类别及其对应的位置坐标，检测时间。
21.优选的，所述步骤s2中手机和pc客户端均可查看拍摄的视频，pc客户端还可以对图像进行识别并辅助标记。
22.与现有技术相比，本发明的有益效果是：
23.本发明提供的缆索表面破损程度检测系统及方法，本发明在目前市面的缆索检测机器人的基础上，增添许多新兴技术，并提高了机器的稳定性、可操作性、运行效率，具备较高的应用价值；可完成实物样机的优化，使其更加稳定，适应更多种类的缺陷识别，测量数据更加精准，完善客户端的使用界面；
24.本发明采用深度学习对缆索表面缺陷进行识别，识别准确度约90％及以上；采用5g对机器人进行控制并接收实时视频，极大地缩短了时延。使得机器人运动与客户端控制基本同步；采用分布式云服务器，节点可任意扩展，可容纳较多客户端以及设备的连接，支持数据、音视频传输，可接受多客户端同时对机器人运行状态进行操作，并向客户端转发实时视频和推送信息；通过手机客户端包括app/微信公众号/小程序或pc客户端或遥控器，控制电机，驱动机器人正转(上行)、反转(下行)、停止、变速；摄像头拍摄实时视频图像，上传至服务器，服务器转发图像和数据给客户端，app界面和pc界面均可查看拍摄的视频，pc客户端还可以对图像进行识别并辅助标记，并记录此次检测结果相关信息，将检测结果上传到服务器mysql数据库，检测结果信息包括设备id,桥梁id，缆索id，缺陷类别及其对应的位置坐标，检测时间，可按照检测时间检索记录；云服务器上的数据库中记录了所有客户端操作记录，检测杆表面缺陷情况记录，设备在线情况等；摄像头拍摄是实时视频以h.264格式会存储在远程pc客户端的电脑硬盘中，可对检测视频进行回放，人工再次核查；当检测过程中遇到之前未出现的缺陷时，可通过人工点击pc客户端上的截图按钮，截取视频中的图片，加大训练集，从而有效提高识别精度和分类精细程度，若检测物品发生变化，可人工更换训练集以达到此目的。
25.本发明考虑不同的购买需求，本系统提供三种备选方案，分别为高精度控制dsp+cpld方案，成本较低mcu方案，以及无线图传方案；在确保安全性的前提条件下，机器人的机械结构也创新性地减少了繁杂的结构，不仅减低了成本，而且简化了检测现场需要进行的一系列安装、检测的流程。
附图说明
26.图1为本发明实施例检测系统的网络拓扑结构及流程示意图；
27.图2为本发明实施例应用技术示意图；
28.图3为本发明实施例硬件结构组成示意图；
29.图4为本发明实施例服务器与客户端之间功能图；
30.图5为本发明实施例服务器架构示意图；
31.图6为本发明实施例机器人实物图；
32.图7为本发明实施例图像识别结构示意图；
33.图8为本发明实施例主控板pcb结构示意图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.实施例
36.请参阅图1-8，本发明提供的缆索表面破损程度检测系统，包括上层是放在阿里云的云服务器，下层包括爬行机器人、远程客户端与检测现场客户端；
37.设备端接收服务器的转发，完成相应的动作，同时向服务器发送与动作对应的推送信息，并且将识别结果上传至服务器；电脑客户端通过华为mh5000模块5g上网，发送、接收服务器转发的动作信息和摄像头图像，并进行图像识别。在机器人检修过程中摄像头拍摄的实时视频将存储在本地硬盘，点击界面指定的按钮，可读取服务器设备上下线记录数据库，以及检测杆表面缺陷情况记录数据库，可按照时间对检测杆表面缺陷表格进行的检索查询；上层服务器完成信息的推送转发，并存储设备上下线记录数据库、动作推送数据库和检测杆表面破损情况记录数据库。
38.优选的，客户端又包括pc客户端、app、公众号、小程序。
39.优选的，手机app可接收摄像头实时视频、控制机器人运行状态。
40.优选的，微信公众号和小程序均可控制机器人运行状态。
41.优选的，可通过遥控器直接控制机器人。
42.一种缆索表面破损程度检测系统的操作方法，包括以下步骤：
43.s1.通过手机客户端包括app/微信公众号/小程序或pc客户端或遥控器，控制电机，驱动机器人正转(上行)、反转(下行)、停止、变速，并且客户端会收到与动作对应的推送信息分别为8001\8002\8004\8008；
44.s2.摄像头拍摄实时视频图像，上传至服务器，服务器转发图像数据给客户端，并
记录此次检测结果相关信息，将检测结果上传到服务器mysql数据库，可按照检测时间检索记录；
45.s3.服务器上的数据库记录了所有客户端操作记录，检测杆表面缺陷情况记录，设备在线情况等；
46.s4.摄像头拍摄是实时视频以*.264格式会存储在远程pc客户端的电脑硬盘中，可对检测视频进行回放，人工再次核查；
47.s5.当检测过程中遇到之前没有出现的缺陷时，可通过人工点击pc客户端上的截图按钮，截取视频中的图片，加大训练集，从而有效提高识别精度和分类精细程度，若检测物品发生变化，可人工更换训练集以达到此目的
48.优选的，步骤s2中检测结果信息包括设备id,桥梁id，缆索id，缺陷类别及其对应的位置坐标，检测时间。
49.优选的，步骤s2中手机和pc客户端均可查看拍摄的视频，pc客户端还可以对图像进行识别并辅助标记。
50.该爬行机器包括机架，主动轮模块，从动轮模块，电路控制模块及摄像头安放模块的结构。
51.机架包括两块组成箱体的板件；主动轮模块包括主动轮与电机；从动轮模块包括从动轮及从动轮轴；电路控制模块包括摄像头，信号传输模块及电机控制模块。摄像头安放模块包括若干连接在机架上的支撑架。
52.机架的两块箱体的板件一端由合页连接，另一端有卡扣连接；主动轮是一侧有弧度的摩擦轮，电机是双轴电机；电路控制模块安放在机架的对应位置；摄像头安放模块有4根支撑架；主动轮有4个，电机有两个且电机型号相同，一个电机带动两个主动轮；4根摄像头支撑架排列呈现90度，120度，60度，90度；
53.机架包括两块组成箱体的板件，主动轮模块包括主动轮与电机，从动轮模块包括从动轮及从动轮轴，电路控制模块包括摄像头，信号传输模块及电机控制模块，摄像头安放模块包括若干连接在机架上的支撑架。
54.进一步地，机架的两块箱体的板件一端由合页连接，另一端有卡扣连接；主动轮是一侧有弧度的摩擦轮，电机是双轴电机；从动轮轴与轴承固联，轴承与从动轮固联；电路控制模块安放在机架的对应位置；摄像头安放模块有4根支撑架。
55.进一步地，主动轮有4个，电机有两个且电机型号相同，一个电机带动两个主动轮；从动轮有两个，从动轮轴有两根；4根摄像头支撑架分别呈现90度，120度，60度，90度排列。
56.进一步地，主动轮是一侧有弧度的摩擦轮，弧度所对圆的直径大于缆索直径，主动轮与缆索接触面积会增大，使机器人的爬升力增大；两个安装方向相反的双轴电机带动主动轮，主动轮按有弧度一侧相对的方式连接电机，上部分电机与下部分电机要保持转向相同，两个电机的接线方式要相反；双轴电机安装在电机板上，电机板上有螺纹孔与箱体上的孔对应，螺钉将电机板固定在箱体上。
57.进一步地，从动轮采用橡胶材质，增大了与缆索接触的摩擦力，使机器人回程过程更加平稳；滚动轴承安装在从动轮两侧的，大小与轴承大小相同的凹陷处；从动轮轴的直径略大于轴承内径，使从动轮轴与轴承过盈配合，从动轮能绕轴自由转动；在箱体上有限位孔，从动轮轴固定在限位孔内。
58.打开机器人开关(红色按键)，主控板上gprs指示灯亮起。等待约1分钟时间，gprs启动。客户端均接收到服务器推送，推送内容为9001，完成开启机器人；
59.(1)在电脑上安装好驱动，在正确位置装上天线，在卡座中插入手机卡；
60.(2)连接dvk电源；
61.(3)在计算机和模块之间建立usb通信。通过usb接口(j701)通过usb电缆将dvk连接到计算机；
62.(4)按下开关按钮并保持1s以上以引导模块；
63.(5)通过设备管理器找到huawei mobile connect-application interface(com15)；
64.(6)使用sscom等调试工具打开模块pcui口(com17)，模块默认没有导出网口，需要发送at^setmode＝1,更改模块端口模式，发送后模块会重启；
65.(7)打开重启后的模块pcui端口号，发送at^ndisdup＝1,1拨号，拨号成功模块会上报^ndisstat:1,,,"ipv4"；
66.(8)至此，模块拨号成功，可以使用模块网络进行数据传输；
67.本发明在目前市面的缆索检测机器人的基础上，增添许多新兴技术，并提高了机器的稳定性、可操作性、运行效率，具备较高的应用价值；完成实物样机的优化，使其更加稳定，适应更多种类的缺陷识别，测量数据更加精准，完善客户端的使用界面；采用深度学习对缆索表面缺陷进行识别，识别准确度约90％及以上；采用5g对机器人进行控制并接收实时视频，极大地缩短了时延。使得机器人运动与客户端控制基本同步；采用分布式云服务器，节点可任意扩展，可容纳较多客户端以及设备的连接，支持数据、音视频传输，可接受多客户端同时对机器人运行状态进行操作，并向客户端转发实时视频和推送信息。
68.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种缆索表面破损程度检测系统，其特征在于：包括上层是放在阿里云的云服务器，下层包括爬行机器人、远程客户端与检测现场客户端；设备端接收服务器的转发，完成相应的动作，同时向服务器发送与动作对应的推送信息，并且将识别结果上传至服务器；电脑客户端通过华为mh5000模块5g上网，发送、接收服务器转发的动作信息和摄像头图像，并进行图像识别。在机器人检修过程中摄像头拍摄的实时视频将存储在本地硬盘，点击界面指定的按钮，可读取服务器设备上下线记录数据库，以及检测杆表面缺陷情况记录数据库，可按照时间对检测杆表面缺陷表格进行的检索查询；上层服务器完成信息的推送转发，并存储设备上下线记录数据库、动作推送数据库和检测杆表面破损情况记录数据库。2.根据权利要求1所述的缆索表面破损程度检测系统，其特征在于：所述客户端又包括pc客户端、app、公众号、小程序。3.根据权利要求2所述的缆索表面破损程度检测系统，其特征在于：所述手机app可接收摄像头实时视频、控制机器人运行状态。4.根据权利要求3所述的缆索表面破损程度检测系统，其特征在于：所述微信公众号和小程序均可控制机器人运行状态。5.根据权利要求4所述的缆索表面破损程度检测系统，其特征在于：所述可通过遥控器直接控制机器人。6.根据权利要求5所述的缆索表面破损程度检测系统的操作方法，其特征在于，包括以下步骤：s1.通过手机客户端包括app/微信公众号/小程序或pc客户端或遥控器，控制电机，驱动机器人正转(上行)、反转(下行)、停止、变速，并且客户端会收到与动作对应的推送信息分别为8001\8002\8004\8008；s2.摄像头拍摄实时视频图像，上传至服务器，服务器转发图像数据给客户端，并记录此次检测结果相关信息，将检测结果上传到服务器mysql数据库，可按照检测时间检索记录；s3.服务器上的数据库记录了所有客户端操作记录，检测杆表面缺陷情况记录，设备在线情况等；s4.摄像头拍摄是实时视频以*.264格式会存储在远程pc客户端的电脑硬盘中，可对检测视频进行回放，人工再次核查；s5.当检测过程中遇到之前没有出现的缺陷时，可通过人工点击pc客户端上的截图按钮，截取视频中的图片，加大训练集，从而有效提高识别精度和分类精细程度，若检测物品发生变化，可人工更换训练集以达到此目的。7.根据权利要求6所述的缆索表面破损程度检测系统的操作方法，其特征在于：所述步骤s2中检测结果信息包括设备id,桥梁id，缆索id，缺陷类别及其对应的位置坐标，检测时间。8.根据权利要求6所述的缆索表面破损程度检测系统的操作方法，其特征在于：所述步骤s2中手机和pc客户端均可查看拍摄的视频，pc客户端还可以对图像进行识别并辅助标记。

技术总结
本发明涉及信息技术领域，公开了一种缆索表面破损程度检测系统及操作方法，该系统包括上层是放在阿里云的云服务器，下层包括爬行机器人、远程客户端与检测现场客户端。该缆索表面破损程度检测系统及方法，在目前缆索检测机器人的基础上，增添新兴技术，提高机器的稳定性、可操作性、运行效率，具备较高的应用价值；完成实物样机的优化，使其更加稳定，适应更多种类的缺陷识别，测量数据更加精准，完善客户端的使用界面；采用深度学习对缆索表面缺陷进行识别，识别准确度约90％及以上；采用5G对机器人进行控制并接收实时视频，缩短了时延，使机器人运动与客户端控制基本同步；采用分布式云服务器，节点可任意扩展，可容纳较多客户端以及设备的连接。以及设备的连接。以及设备的连接。


技术研发人员：谢斌盛 黄郁婷 吴金颖
受保护的技术使用者：广州大学
技术研发日：2022.07.13
技术公布日：2023/7/31