数据处理方法、装置、电子设备和计算机存储介质与流程

1.本发明涉及数据处理
技术领域：
：，尤其是涉及一种数据处理方法、装置、电子设备和计算机存储介质。
背景技术：
：：2.在企业生产制造的过程中，通常需要对各类产品、物料、设备等进行多样性的性能测试，以保证产品的质量。新能源汽车周边产品检测领域，对于产品检测结果数据保存这一做法，普遍是将数据保存到设备的某一磁盘的某一目录文件下，或者是设备上mysql等关系型数据库，抑或者是通过将数据上传至mes系统。这种情况下，对于不同产品检测的不同数据，非固定格式数据，若要调取这些数据做后续统计分析，以用户可视化的图表等方式呈现出来的话，需要以一种比较耗时的遍历数据的方法来实现。且后期检测需求变化，数据存储格式也变化的话，需要频繁改动文件格式，或者是关系型数据库格式，抑或者是mes接口，这种方式将不利于应用的可持续维护，且对于后期数据以一种几何级指数增长的话，也不能做到快速统计分析。3.进一步的，若数据保存至设备上某一磁盘目录的某一文件中，不仅前期存这一操作会受到各种逻辑上的判断等操作的性能和效率影响；对于，mysql等关系型数据库，数据是存放在磁盘中，对于数据后续取操作存在io转换耗时操作，特别是遇到大批量数据的情况下，用户如果频繁调取该批数据进行图表展示、分析数据、提取信息的话，非常降低效率。技术实现要素：4.有鉴于此，本发明的目的在于提供一种数据处理方法、装置、电子设备和计算机存储介质，通过配置非关系型数据库进行存储数据，简化了数据频繁调动的算法，提高了存取数据的效率，提升了用户体验。5.第一方面，本发明实施例提供了一种数据处理方法，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；该方法包括：在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中。6.在本技术一些较佳的实施例中，在服务器配置非关系型数据库包括的至少一个副本集的步骤之前，方法还包括：对应每个节点分别建立日志文件、配置文件和数据目录。7.在本技术一些较佳的实施例中，每个副本集包括：一个主节点、多个次节点和多个仲裁节点；在服务器配置非关系型数据库包括的至少一个副本集的步骤，包括：如果所述服务器为集群环境，为每个节点分配ip地址；指定每个节点的监听端口；将副本集与主节点的ip地址连接；将次节点的ip地址添加到与主节点的ip地址连接的副本集中；将仲裁节点的ip地址添加到与主节点的ip地址连接的副本集中；如果所述服务器为单机环境，指定每个所述节点的监听端口。8.在本技术一些较佳的实施例中，配置访问端口的内容，还包括：建立自启动访问端口，将自启动访问端口与节点连接。9.在本技术一些较佳的实施例中，在服务器配置非关系型数据库包括的至少一个副本集的步骤之后，方法还包括：在项目配置文件中输入非关系型数据库依赖包；建立管理配置文件，在管理配置文件中配置非关系型数据库连接池；建立事务配置文件，在事务配置文件中配置非关系型数据库事务管理器。10.在本技术一些较佳的实施例中，方法还包括：安装查询插件；将查询插件与非关系型数据库连接；基于查询插件在服务器配置的目标副本集查询数据。11.在本技术一些较佳的实施例中，非关系型数据库包括：mongodb数据库。12.第二方面，本发明实施例提供了一种数据处理装置，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；该装置包括：副本集配置模块，用于在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；访问端口配置模块，用于在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；数据插入模块，用于获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中。13.第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述任一项的数据处理方法。14.第四方面，本发明实施例提供了一种可读存储介质，可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述任一项的数据处理方法。15.本发明实施例提供了一种数据处理方法、装置、电子设备和计算机存储介质，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；该方法包括：在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中；通过配置非关系型数据库进行存储数据，简化了数据频繁调动的算法，提高了存取数据的效率，提升了用户体验。附图说明16.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。17.图1为本发明实施例提供的一种数据处理方法流程图；18.图2为本发明实施例提供的另一种在集群环境中数据处理方法的流程图；19.图3为本发明实施例提供的一种数据处理装置的结构示意图；20.图4为本发明实施例提供的一种电子设备的结构示意图。21.图标：310-副本集配置模块；320-访问端口配置模块；330-数据插入模块；400-存储器；401-处理器；402-总线；403-通信接口。具体实施方式22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。23.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。24.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。25.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。26.此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。27.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。28.下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。29.单机环境，配置有限，海量数据，格式不固定，若采用文件保存方式，不仅存操作存在逻辑判断带来的低效率风险，且取操作也会因海量数据调取过程中加载到内存导致oom(outofmemoryerror，内存不足)的问题，这种方式不能保证程序的高可用、高性能；进一步的，单机环境，配置有限，海量数据，格式不固定，若采用mysql关系型数据库保存，对于不同设备采集的不固定格式的数据，需要扩展多张表来存储，对于开发、运维管理来说是有一定压力，同时后期若需求发生变更，还需频繁更改mysql数据库下面相应表的字段，这种方式将不能保证在低代码情况下实现应用扩展升级，对于应用可持续运行是一个很大压力；同时mysql本身取数据存在磁盘到内存的io转换耗时操作，也不能做到采集上来的数据高效统计分析、预览呈现；再进一步的，单机环境，配置有限，海量数据，格式不固定，若采用redis非关系型数据库保存，必须严格按照k-v结构来存取数据，若数据需要频繁预览、统计、分析的话，我们需要定义多套不同算法来调取这些数据来分析，此时这种k-v结构的弊端将暴露无疑。30.基于此，本发明实施例提供了一种数据处理方法、装置、电子设备和计算机存储介质，通过配置非关系型数据库进行存储数据，简化了数据频繁调动的算法，提高了存取数据的效率，提升了用户体验。31.为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据处理方法进行详细介绍。32.实施例一33.本发明实施例提供了一种数据处理方法，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点，参见图1所示的本发明实施例提供的一种数据处理方法流程图，该数据处理方法包括如下步骤：34.步骤s402，在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；35.具体的，常见的非关系型数据库包括：mongodb、redis、memcached等；在服务器上配置非关系型数据库(例如：mongodb)时，通常需要至少配置一个副本集(replicaset)；副本集是一组相互独立的mongodb实例，它们共享相同的数据和设置，并可以自动故障转移以确保数据的高可用性；在mongodb中配置副本集的一般步骤包括：在mongodb中启用副本集功能；启动mongodb实例；确认副本集已启动；进一步的，还可以使用mongodb提供的工具来管理副本集，例如，mongodbcompass是一个可视化的管理工具，可用于管理副本集、监控性能等。在mongodb中，在同一个副本集中，当一个节点发生故障时，副本集中的其他节点会自动接管该节点的工作，从而保证数据的可靠性和一致性。36.步骤s104，在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；37.具体的，在服务器配置访问端口，通常情况下，需要配置防火墙以允许外部用户通过指定的端口访问数据库；在linux系统中，您可以使用iptables命令来配置防火墙规则。例如，如果您要允许外部用户通过tcp端口27017访问mongodb实例，可以向iptables添加一个规则，允许来自任何ip地址的tcp流量通过端口27017；在windows系统中，您可以使用windows防火墙来配置访问控制，确定端口号，连接至副本集节点，以使受信任的用户或ip地址访问您的数据库。38.步骤s106，获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中；39.具体的，获取外部数据通常是指从互联网或其他数据源中提取和导入数据到数据库中，本发明实施例中的数据一般指充放电设备采集的数据以及模组、安规等设备采集的数据，均非规则数据；将上述获取的外部数据存储于副本集的节点中。40.本发明实施例提供了一种数据处理方法，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；该方法包括：在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中；通过配置非关系型数据库进行存储数据，简化了数据频繁调动的算法，提高了存取数据的效率，提升了用户体验。41.实施例二42.现有技术中，无论是充放电设备采集的数据，还是模组、安规等设备采集的数据，均非规则数据；现有mysql等关系型数据库和文件，均不适合存储非规则且动态变化数据；现有redis非关系型数据库，是一个k-v存储系统，必须按照k-v结构来存储数据，这种存储结构不适合来管理设备采集的包含多个字段数据的存和取的操作，且不便于数据解析，呈现用户；现有redis等非关系型数据库也好，文件也好，还是mysql关系型数据库也罢，都不适合后期大批量不规则数据的存和取操作，且如果服务器配置有限，不充分利用内存和磁盘两种方式来管理数据的话，也难以实现大批量不规则数据的持久化和快速读取两种目的。43.在上述实施例的基础上，本发明实施例重点描述基于mongodb非关系型数据库进行数据处理的情况下对数据库搭建部署的过程，每个副本集包括：一个主节点、多个次节点和多个仲裁节点；以目标副本集中包括一个主节点、一个从节点和一个仲裁节点为例，首先，对应每个节点分别建立日志文件、配置文件和数据目录。44.具体的，在mongodb所在安装目录新建主节点、从节点和仲裁节点对应的三个日志文件(rs1.log、rs2.log、rs3.log)、三个配置文件(rs1/mongod.conf、rs2/mongod.conf、rs3/mongod.conf)、三个data目录(data/rs1、data/rs2、data/rs3)。45.参见图2本发明实施例提供的另一种在集群环境中数据处理方法的流程图，该数据处理方法包括下述步骤：46.步骤202，为每个节点分配ip地址；指定每个节点的监听端口；47.步骤204，将副本集与主节点的ip地址连接；48.步骤206，将次节点的ip地址添加到与主节点的ip地址连接的副本集中；49.步骤208，将仲裁节点的ip地址添加到与主节点的ip地址连接的副本集中；50.本发明实施例采用多服务器集群方式，需要给每个节点指定ip地址，同时分配监听端口，具体的，在windows操作系统中的命令提示符窗口(cmd窗口)新建三个不同的数据节点，并绑定三个ip地址；以ip-192.168.1.175为例，通过下述方式实现：51.mongod-port27018-bind_ip＝192.168.1.175,0.0.0.0,127.0.0.1-dbpath＝"d:\programfiles\mongodb\server\5.0\data\rs1"-replsetrs52.mongod-port27019-bind_ip＝192.168.1.175,0.0.0.0,127.0.0.1-dbpath＝"d:\programfiles\mongodb\server\5.0\data\rs2"-replsetrs53.mongod-port27020-bind_ip＝192.168.1.175,0.0.0.0,127.0.0.1-dbpath＝"d:\programfiles\mongodb\server\5.0\data\rs3"-replsetrs54.其中，mongod是mongodb的命令行工具，-port参数指定了数据节点使用的端口号，-bind_ip参数指定了数据节点绑定的ip地址范围，-dbpath参数指定了数据目录的路径，-replset参数指定了副本集的名称；-port27018/27019/27020：指定了mongodb实例监expressionlanguage模块。使用这个依赖项可以方便地在springboot应用程序中使用mongodb数据库。在添加这个依赖项后，只需要在应用程序的配置文件中指定mongodb的连接信息，就可以使用mongotemplate或者其他mongodbapi进行数据库操作了。74.步骤212，建立管理配置文件，在管理配置文件中配置非关系型数据库连接池；75.具体的，新建mongoconfig配置文件(工具链接的管理文件，分类管理)，配置mongodb连接池，以serverip-192.168.1.65为例，通过下述示例实现：76.77.[0078][0079]上述示例借助springdatamongodb框架来实现，包含下述内容：使用@primary注解来指定该bean作为主要的mongotemplate，用于处理大多数数据库操作；通过simplemongoclientdatabasefactory创建mongodb客户端，使用连接字符串或者手动设置服务器地址和端口号；在mongoclientsettings对象中设置连接选项，以控制连接池大小、心跳频率等细节；通过mongoclientimpl创建mongoclient对象；设置mongotemplate的读取偏好为secondarypreferred，以从副本集成员中读取数据；将mongodb客户端封装到mongotemplate中，并将其交给spring框架管理。该示例提供了一种可行的mongodb连接池配置方案，可以根据需求进行适当调整。[0080]步骤214，建立事务配置文件，在事务配置文件中配置非关系型数据库事务管理器；[0081]具体的，新建transactionconfig事务配置文件，配置mongodb事务管理器；通过下述示例实现：[0082][0083]上述示例借助springdatamongodb框架来实现，包含下述内容：使用@configuration注解将transactionconfig类标记为配置文件；在@bean注解上指定name属性为“transmongo”，用于在需要的时候选择特定的mongotransactionmanager；创建mongotransactionmanager对象，使用mongodatabasefactory作为参数传入，并返回该对象；所有与数据库有关联的方法都应该加上@transactional注解。该示例提供了一种可行的mongodb事务管理器配置方案，可以根据需求进行适当调整。[0084]步骤216，在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；[0085]进一步的，配置访问端口的内容，还包括：建立自启动访问端口，将自启动访问端口与节点连接；[0086]具体的，以上步骤通过cmd窗口手动开启主节点、从节点和副本节点，随着服务器重启等重新开启关闭之后，该配置会失效，服务会停止，需要将该三个节点手动配置成可随windows系统自动开启的win服务，因此需要使用以下命令将这三个节点配置成windows服务；三个副本集对应的服务名称分别为：master、slave、arbiter。通过下述示例实现：[0087]mongod.exe‑‑config"path路径"‑‑serivename"master"‑‑servicedisplayname"master"-install；[0088]mongod.exe‑‑config"path路径"‑‑serivename"slave"‑‑servicedisplayname"slave"-install；[0089]mongod.exe‑‑config"path路径"‑‑serivename"arbiter"‑‑servicedisplayname"arbiter"-install；[0090]其中，使用‑‑servicename选项指定服务名称，‑‑servicedisplayname选项指定windows服务显示的名称，‑‑config选项指定配置文件的路径，‑‑install选项表示安装mongodb节点作为windows服务；可以将"path路径"替换为实际配置文件所在的路径，并根据需要调整服务名称和显示名称。[0091]步骤218，获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中；[0092]进一步的，该数据处理方法还包括：安装查询插件；将查询插件与非关系型数据库连接；基于查询插件在服务器配置的目标副本集查询数据；[0093]具体的，使用mongotemplate(快速读取数据工具的集合)，操作mongodb数据；通过下述示例实现：[0094][0095][0096][0097]上述示例使用springdatamongodb的mongotemplate实现了对mongodb进行分页查询操作，并将查询结果转换为vo对象；具体包括以下内容：首先，根据传入的symbolquerydto参数构造查询条件criteria对象，根据dto对象中的属性值，动态添加查询条件；然后，创建一个query对象，并将上述criteria对象传入其中，以封装查询条件；使用mongotemplate.count()方法统计符合条件的文档数量，得到总记录数total；根据dto对象和total构建pageable对象，用于指定分页信息，比如页码、每页记录数等；执行mongotemplate.find()方法，查询符合条件的文档列表，并加上分页条件，返回查询结果list《symbolentity》；将list《symbolentity》转换成list《symbolvo》，通过调用symbolconverter.instance.lstentity2listvo(entities)实现；最后，将查询结果list《symbolvo》和分页信息转换为pageresultdto《symbolvo》对象，返回给调用方。该示例使用了自定义的工具类mongoutil，它提供了几个静态方法，用于将dto对象和查询结果转换为pageable和pageresultdto对象。同时，使用了自定义的转换器symbolconverter，用于将symbolentity与symbolvo之间进行转换。[0098]本发明实施例提供了一种数据处理方法，基于mongodb天然的非关系型数据库存放不规则数据的特性，支持对设备采集的不规则数据进行存和取操作；基于mongodb内存数据库的特性，支持数据写入内存管理，方便不规则大数据的快速读取，方便后期不规则大数据统计分析；通过mongodb集群部署，可以实现后期高并发、高可用场景下客户端设备、mes稳定地上传数据，扩展应用性能，提升数据统计分析效率，特别的，采用一种近乎关系型数据库的存储方式，同时也兼顾非关系型数据库动态扩展数据格式的特点，这样能够更加可视化的预览数据，同时实现高性能存储数据的目标，进而实现后期高效统计分析数据，挖掘数据信息的目标，且能够在多机环境下支持搭建各种工具建立数据模型从而分析数据，满足不同场景下用户分析数据的目标。[0099]实施例三[0100]若数据保存至设备上某一磁盘目录的某一文件中，不仅前期存这一操作会受到各种逻辑上的判断等操作的性能和效率影响，而且后续的取这一操作也会受到海量数据带来的高延迟、高并发、宕机、程序假死等风险，这是对整个检测服务环节的重大挑战和损失。[0101]进一步的，设备采集的数据上传至mes系统，此时设备已是到了产线阶段，若设备本身存在一定问题，需要在产线开始生产前就实现预警分析并做相应拦截操作的话，这时必须借助相应系统，将非固定非规则的数据提前存下来，并快速调取分析，结合相应拦截算法，高效地实现我们设备的安全管理。[0102]在上述实施例的基础上，本发明实施例重点描述基于查询模块在已经完成配置的非关系型数据库中进行数据操作的方法，该方法需要在一组mongodb配置elasticsearch搜索引擎，护体包括下述b1至b12步骤：[0103]步骤b1，确保已经安装了java，并建议使用java8版本。[0104]步骤b2，如果只在单节点上进行开发，请确保启用以下配置选项:cluster.name:"my_cluster_name"和node.local:true。[0105]步骤b3，启动elasticsearch服务，可以使用命令sudoserviceelasticsearchstart。[0106]步骤b4，验证elasticsearch是否正常工作，可以使用命令curlhttp://localhost:9200，如果看到返回结果，则表示elasticsearch正常工作。[0107]步骤b5，安装elasticsearch插件以便它可以与mongodb一起使用，使用命令bin/plugin‑‑installcom.github.richardwilly98.elasticsearch/elasticsearch-river-mongodb/1.6.0和bin/plugin‑‑installelasticsearch/elasticsearch-mapper-attachments/1.6.0。[0108]步骤b6，可以选择安装其他插件，如elasticsearch-head和bigdesk，以便测试查询和可视化索引更改。[0109]步骤b7，重启elasticsearch，可以使用命令sudoserviceelasticsearchrestart。[0110]步骤b8，最后，索引来自mongodb的集合，使用命令curl-xputlocalhost:9200/_river/database_name/_meta-d'{...}'，将database_name替换为实际的数据库名称，actual_collection_name替换为实际的集合名称，arbitraryindexname和arbitrarytypename可以自行定义。[0111]步骤b9，检查您的索引是否已经在elasticsearch中，使用命令curl-xgethttp://localhost:9200/_aliases。[0112]步骤b10，检查您的集群运行状况，使用命令curl-xget'http://localhost:9200/_cluster/health？pretty＝true'。[0113]步骤b11，如果出现黄色状态，带有一些未分配的碎片，则需要告诉elasticsearch使用什么，可以使用命令curl-xput'localhost:9200/_settings'-d'{"index":{"number_of_replicas":0}}'来关闭副本功能。[0114]步骤b12，再次检查集群运行状况，如果是绿色状态，则表示elasticsearch已经连接成功。[0115]通过在mongodb中配置elasticsearch搜索引擎，就可以将mongodb中的数据索引到elasticsearch中进行全文搜索和分析了。[0116]使用mongodb非关系型数据，基于其非关系型特性，同时又兼顾关系型数据库存和取数据的特性，能够动态兼容不同设备采集的不同格式的数据，同时对于后期需求变更之后，数据格式发生变更情况下，开发、运维三方人员能够在低代码、低工作量情况下完成数据的统计分析、预览呈现，方便用户高效分析数据；使用mongodb非关系型数据库，无论是单机环境，还是集群环境下，基于可利用内存，实现大数据量的统计分析、预览呈现，并支持搭载不同算法，验证数据，从而分析设备的安全性，提升用户管理水平和设备安全性；在集群环境中，使用mongodb+elasticsearch，不仅能够做到数据高效统计分析，同时也能够做到高效地查询历史统计结果，这对于新能源行业日益增长的检测需求带来的大数据量情况下，依然保持系统高效运行的一组关键工具搭配。[0117]单机环境，支持数据保存至mongodb数据库，对于不同设备采集的不同格式的数据，mongodb非关系型数据库的特点能够无缝实现该需求；同时mongodb内存数据库的特点，能够在单机配置下，高效利用可分配内存实现数据快速存和取操作，支持大数据量情况下高效的统计分析。[0118]集群环境，支持mongodb集群，能够实现高可用、高并发，不仅提升了系统健壮性，同时能够实现用户实时预览数据，统计分析数据的需求，同时也能够提升检测算法的效率，为更安全管理设备提供更多选择方案。[0119]后期可以在mongodb集群环境中引入elasticsearch等搜索引擎框架，这样可以更大程度上管理大批量数据，查找历史数据进行分析，结合不同算法，提升检测结果的效率，更高效提升管理水平。[0120]实施例四[0121]在上述实施例的基础上，本发明实施例提供一种数据处理装置，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；参见图3所示的本发明实施例提供的一种数据处理装置的结构示意图，该装置包括：[0122]副本集配置模块310，用于在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制。[0123]访问端口配置模块320，用于在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库。[0124]数据插入模块330，用于获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中。[0125]在本发明一些较佳的实施例中，该装置还包括：文件建立模块，用于对应每个节点分别建立日志文件、配置文件和数据目录。[0126]在本发明一些较佳的实施例中，副本集配置模块310，用于为每个节点分配ip地址；指定每个节点的监听端口；将副本集与主节点的ip地址连接；将次节点的ip地址添加到与主节点的ip地址连接的副本集中；将仲裁节点的ip地址添加到与主节点的ip地址连接的副本集中。[0127]在本发明一些较佳的实施例中，访问端口配置模块320，还用于建立自启动访问端口，将自启动访问端口与节点连接。[0128]在本发明一些较佳的实施例中，该装置还包括：事务配置模块，用于在项目配置文件中输入非关系型数据库依赖包；建立管理配置文件，在管理配置文件中配置非关系型数据库连接池；建立事务配置文件，在事务配置文件中配置非关系型数据库事务管理器。[0129]在本发明一些较佳的实施例中，该装置还包括：查询插件配置模块，用于安装查询插件；将查询插件与非关系型数据库连接；基于查询插件在服务器配置的目标副本集查询数据。[0130]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的数据处理装置的具体工作过程，可以参考前述的数据处理方法的实施例中的对应过程，在此不再赘述。[0131]实施例五[0132]本发明实施例还提供了一种电子设备，用于运行上述数据处理方法；参见图4所示的一种电子设备的结构示意图，该电子设备包括存储器400和处理器401，其中，存储器400用于存储一条或多条计算机指令，一条或多条计算机指令被处理器401执行，以实现上述数据处理方法。[0133]进一步地，图4所示的电子设备还包括总线402和通信接口403，处理器401、通信接口403和存储器400通过总线402连接。[0134]其中，存储器400可能包含高速随机存取存储器(ram，randomaccessmemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口403(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线402可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。[0135]处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器400，处理器401读取存储器400中的信息，结合其硬件完成前述实施例的方法的步骤。[0136]本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述数据处理方法，具体实现可参见方法实施例，在此不再赘述。[0137]本发明实施例所提供的数据处理方法、装置和电子设备，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。[0138]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0139]另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。[0140]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。[0141]最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。当前第1页12当前第1页12
技术特征：
1.一种数据处理方法，其特征在于，应用于服务器，非关系型数据库搭载在所述服务器上；所述非关系型数据库包括至少一个副本集，每个所述副本集包括多个节点；所述方法包括：在所述服务器配置所述非关系型数据库包括的至少一个副本集；其中，所述服务器配置的目标副本集的数据在所述目标副本集包括的多个所述节点之间互相复制；在所述服务器配置访问端口，以使用户通过所述访问端口访问所述服务器配置的非关系型数据库；获取外部数据，将所述外部数据存储于所述服务器配置的非关系型数据库包括的副本集的节点中。2.根据权利要求1所述的数据处理方法，其特征在于，在所述服务器配置所述非关系型数据库包括的至少一个副本集的步骤之前，所述方法还包括：对应每个所述节点分别建立日志文件、配置文件和数据目录。3.根据权利要求1所述的数据处理方法，其特征在于，每个所述副本集包括：一个主节点、多个次节点和多个仲裁节点；在所述服务器配置所述非关系型数据库包括的至少一个副本集的步骤，包括：如果所述服务器为集群环境，为每个所述节点分配ip地址；指定每个所述节点的监听端口；将所述副本集与所述主节点的ip地址连接；将所述次节点的ip地址添加到与所述主节点的ip地址连接的所述副本集中；将所述仲裁节点的ip地址添加到与所述主节点的ip地址连接的所述副本集中；如果所述服务器为单机环境，指定每个所述节点的监听端口。4.根据权利要求1所述的数据处理方法，其特征在于，配置访问端口的内容，还包括：建立自启动访问端口，将所述自启动访问端口与所述节点连接。5.根据权利要求1所述的数据处理方法，其特征在于，在所述服务器配置所述非关系型数据库包括的至少一个副本集的步骤之后，所述方法还包括：在项目配置文件中输入非关系型数据库依赖包；建立管理配置文件，在所述管理配置文件中配置非关系型数据库连接池；建立事务配置文件，在所述事务配置文件中配置非关系型数据库事务管理器。6.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：安装查询插件；将所述查询插件与所述非关系型数据库连接；基于所述查询插件在所述服务器配置的目标副本集查询数据。7.根据权利要求1至6任一项所述的数据处理方法，其特征在于，所述非关系型数据库包括：mongodb数据库。8.一种数据处理装置，其特征在于，应用于服务器，非关系型数据库搭载在所述服务器上；所述非关系型数据库包括至少一个副本集，每个所述副本集包括多个节点；所述装置包括：副本集配置模块，用于在所述服务器配置所述非关系型数据库包括的至少一个副本集；其中，所述服务器配置的目标副本集的数据在所述目标副本集包括的多个所述节点之间互相复制；
访问端口配置模块，用于在所述服务器配置访问端口，以使用户通过所述访问端口访问所述服务器配置的非关系型数据库；数据插入模块，用于获取外部数据，将所述外部数据存储于所述服务器配置的非关系型数据库包括的副本集的节点中。9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的数据处理方法。10.一种可读存储介质，其特征在于，所述可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的数据处理方法。

技术总结
本发明实施例提供了一种数据处理方法、装置、电子设备和计算机存储介质，应用于服务器，服务器与非关系型数据库连接；非关系型数据库包括至少一个副本集，每个副本集包括多个节点；该方法包括：在服务器配置非关系型数据库包括的至少一个副本集；其中，服务器配置的目标副本集的数据在目标副本集包括的多个节点之间互相复制；在服务器配置访问端口，以使用户通过访问端口访问服务器配置的非关系型数据库；获取外部数据，将外部数据存储于服务器配置的非关系型数据库包括的副本集的节点中；通过配置非关系型数据库进行存储数据，简化了数据频繁调动的算法，提高了存取数据的效率，提升了用户体验。提升了用户体验。提升了用户体验。


技术研发人员：舒伟 李德满 董汉 陈超
受保护的技术使用者：苏州清研精准汽车科技有限公司
技术研发日：2023.06.13
技术公布日：2023/8/21