一种煤矿灾害数据采集、分析及可视化展现系统的制作方法

1.本发明属于煤矿安全生产与管理
技术领域：
：，具体涉及一种煤矿灾害数据采集、分析及可视化展现系统。
背景技术：
：：2.灾害监测分析是矿井预防灾害事故的有效手段，实时监测矿井关键区域的灾害监测参数，并对监测的灾害信息进行分析处理，识别潜在的灾害异常情况，有助于改善矿井从灾后处理转变为灾前预防，提升矿井安全生产水平。3.目前，大部分现有的矿井灾害提前分析预警系统仅支持瓦斯、水、火、顶板、粉尘等单一灾害的监测与预警分析，对于少部分具备多灾害监测分析的软件，普遍基于成因机理分析特定条件下的灾害异常情况，通常是一矿一模型，不具备推广性。因此，为了解决灾害分析预警不全面的问题，现有技术通常采用多套不同的灾害监测系统，通过多种传感器来监测不同的数据，并通过上位机显示井下监测的传感器、设备参数值。4.然而，上述方案不具备多灾害的综合集成监测手段，缺乏灾害全方面分析处理策略，导致矿井灾害异常监测情况出现时，调度人员需要从多台计算机上查看多个灾害监测系统数据，造成严重的灾害异常识别滞后性。技术实现要素：5.有鉴于此，本发明的目的在于提供一种煤矿灾害数据采集、分析及可视化展现系统，实现各灾害监测数据集成，从数理统计角度分析灾害监测数据的异常情况，为矿井提供便捷、直观的灾害监测、分析结果的查询展示手段，为矿井从灾后处置向灾前预防奠定基础，提高煤矿灾害数据。6.为达到上述目的，本发明提供如下技术方案：7.一种煤矿灾害数据采集、分析及可视化展现系统，包括灾害数据一体化采集模块、灾害监测预警分析模块、gis生成模块、可视化展示模块和灾害预警手机模块；8.所述灾害数据一体化采集模块通过多协议适配将采集数据转换为结构化数据存储到数据库中，实现瓦斯、水、火、顶板、粉尘灾害监测数据的统一采集；9.所述灾害监测预警分析模块对数据库中的灾害监测数据分析，识别灾害监测数据的异常情况，所述异常情况包括突变、缓升、波动、周期变化和恒定不变；当识别到异常情况时，发出灾害异常报警提示语音信息；10.所述gis生成模块根据矿井的通风系统图或采掘工程平面图，绘制矿井三维巷道空间结构，形成灾害gis一张图，并将灾害监测点和灾害异常分析点绑定至所述灾害gis一张图；11.所述可视化展示模块通过多种方式展示灾害监测数据和灾害异常分析结果，包括列表、折线图、柱状图、饼图和灾害gis一张图；12.所述灾害预警手机模块将异常信息推送给手机端app。13.其中，gis(geographicinformationsystem，地理信息系统)，app(application，智能手机的第三方应用程序)。14.进一步，所述灾害数据一体化采集模块包括煤矿端与公司端；所述煤矿端通过采集程序适配opc、ftp文件、数据库、webservice以及其他数据源，实现对安全监控系统、人员定位系统、水文监测系统、采空区发火监测系统、顶板监测系统、粉尘监控系统以及灾害预警数据、特征图谱分析数据的统一采集；所述煤矿端通过发布/订阅者模式将采集到的数据联网上传到公司端。15.其中，opc(oleforprocesscontrol，用于过程控制的ole，是一个工业标准)，ftp(filetransferprotocol，文件传输协议，用于在网络上进行文件传输的一套标准协议)，webservice是一种公共网络服务模块化组件。16.进一步，所述煤矿端通过以下策略同一采集灾害数据：17.灾害监测数据采集：针对具备统一、通用联网上传协议的灾害监测子系统数据，包括安全监控、人员定位、粉尘监测、水文监测和束管监测，通过在煤矿端部署采集上传软件，公司端部署ftp服务器，基于ftp文件上传的形式实现灾害监测数据联网采集上传；18.灾害数据库同步：针对不具备统一的数据联网上传标准的数据，包括顶板灾害监测数据和光纤测温监测数据，采用数据库定时同步的方式，将矿端数据同步至公司端数据存储中心。19.进一步，煤矿灾害流式数据处理框架为sparkstreaming处理框架，整个框架数据处理流程为：20.通过多源异构数据集成采集器，将数据发送给kafka；kafka接收数据后一方面通过数据解析服务存入关系型数据库和hbase，并将重要数据映射出入hive，另一方面通过将时间窗口内的数据传入sparkstreaming框架；21.同时通过reids加载hbase中的历史数据到sparkstreaming中，调用sparkmlib中的算法库对数据进行分析挖掘分析，并将挖掘分析结果写入关系型数据库；22.针对历史数据挖掘，直接运用hivesql实现挖掘分析算法，对历史数据进行分析，并将分析结果写入关系型数据库。23.其中，sparkstreaming是一种数据处理框架；kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理在网站中的所有动作流数据；hbase是一个分布式的、面向列的开源数据库，该技术来源于faychang所撰写的论文《bigtable：一个结构化数据的分布式存储系统》；hive是一种数据仓库工具；reids，(remotedictionaryserver，远程字典服务)；sparkmlib，mllib(machinelearninglib)是spark(一个通用的分布式数据处理引擎)的机器学习库；hivesql，配置单元查询语言。24.进一步，所述灾害监测预警分析模块对灾害监测数据的突变识别如下：25.以最近5分钟的监测数据设置滑动时间窗，根据不同监测点类型设置不同突变判定值，在分析的时间序列里，判断监测值从最小值突变到最大值的变化值是否达到突变判定值，计算公式为：26.y＝α×fmax(x)-(fmax(x)-fmin(x))；27.式中，α为突变因子，fmax(x)为滑动时间窗范围内的最大值；fmin(x)为滑动时间范围的最小值。28.进一步，所述灾害监测预警分析模块对灾害监测数据的缓升识别如下：29.通过mk算法通过计算时间序列的差值函数，通过差值函数的正负差数量判断观测序列的变化趋势；30.假设时间序列为x＝{x1,x2,…,xn}，具有0假设h0没有单调趋势，1假设ha为单调趋势两个假设前提；31.确定所有个xi-xj的差值函数f(xi-xj)(n≥i》j≥1)：[0032][0033]计算正负差数量和s，即为差值为正的数量减去差值为负的数量：[0034][0035]如果s是一个正数，那么后一部分的观测值相比之前的观测值会趋势于变大；[0036]如果s是一个负数，那么后一部分的观测值相比之前的观测值会趋势于变小；[0037]如果n≤10，则要计算z值，s和z值的关系式如下：[0038][0039]如果n》10，则需要计算s的方差来判断趋势；[0040]若数据中每个数均为唯一，则：[0041][0042]若数据中存在数据不唯一，则：[0043][0044]其中，p为重复数数量，g为唯一数数量(结组数)，tp为每个重复数重复的次数；[0045]计算n》10情况下，mk的z值：[0046][0047]假设1型错误率为α，0《α《0.5；[0048]如果zmk≥z1-a，就拒绝零假设h0，接受替代假设ha，其中z1-a是标准正态分布的100(1-α)th百分位；[0049]测试h0与ha有单调递减趋势：[0050]如果zmk≤-z1-a，拒绝零假设，就拒绝零假设h0，接受替代假设ha，即序列呈单调递减趋势；[0051]测试h0与ha有单调递增或递减趋势：[0052]如果|zmk|≤-z1-a，拒绝零假设，就拒绝零假设h0，接受替代假设ha，即序列呈单调递增或递减趋势；[0053]基于时间序列下的监测值集合，使用mk趋势校验法得到上升趋势，线性拟合方式得到上升率，并计算最后时刻的监测值相较于初始值的增长百分比，当趋势为上升且上升的线性角度大于数学上的15°，或者趋势为上升且最后监测值较初始值的增长百分比大于30％，满足其一认为是缓升。[0054]进一步，所述灾害监测预警分析模块对灾害监测数据的波动识别如下：[0055]计算待分析序列的四分位数；对于矿井灾害监测时间序列数据异常识别，采用图基检验计算波动异常范围最小值fmin与最大值fmax；[0056]fmin＝q1-k(q3-q1)；[0057]fmax＝q3+k(q3-q1)；[0058]式中，q1为下四分位数，q3为上四分位数，k为异常范围阈值，当取值为1.5时为中度异常范围，当取值为3时为极度异常范围；[0059]计算原始数据序列中超出异常范围的波动值。[0060]进一步，所述灾害监测预警分析模块对灾害监测数据的周期变化识别如下：[0061]基于z-score数据标准化处理方法，首先将煤矿灾害时间序列数据取最近两个周期的数据，分别做z-score标准化，然后对结果做差，最后在对结果求标准差，比较标准差和1，小于1则是周期性数据。[0062]进一步，所述灾害监测预警分析模块对灾害监测数据的恒定不变识别如下：[0063]计算每个监测点的最长不变时间；划分kmeans类簇；基于kmeans算法计算每个时间周期范围内监测值恒定不变的监测点数量及恒定不变监测点数占监测点总数的百分比，得到聚类结果；根据聚类结果确定恒定不变百分比阈值，将百分比大于阈值的作为恒定不变异常点。[0064]进一步，所述gis生成模块采用拓扑生成算法，根据巷道坐标位置自动提取与每一条巷道相交的巷道，并进一步提取相交巷道的端点与拐点，最后使用端点与拐点的集合对巷道进行打断，将打断后的巷道分别保存拓扑表。[0065]本发明的有益效果在于：[0066]本方案通过提取相关监测数据特征指标，构建关联关系，消除监测数据孤岛，实现瓦斯等灾害联网监测，协同展示不同灾害的预警信息，为有效减少突出事故的发生和人员伤亡提供全新的事故预防手段和防治模式，为保障矿工生命安全、提升企业安全形象、推动矿井智能化进程及维护矿区社会和谐稳定起到重要的支撑作用，可以达到降低煤矿灾害事故风险，减少煤矿工作人员伤亡的社会效益，本发明有如下优点：[0067](1)实现了高可靠并行数据上传技术在煤矿灾害预警系统中的应用，达到了矿井灾害监测数据实时、可靠、准确上传；[0068](2)基于矿井瓦斯、火、水、顶板、粉尘监测预警、数据，结合数据驱动模式构建灾害监测数据特征图谱，实现矿井灾害风险特征图谱分析；[0069](3)采用三维gis技术实现了灾害监测、预警分析结果的统一展示；[0070]经过全面、详尽的系统测试和初步应用，本发明使用方便、可靠性好、通用性高。[0071]本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。附图说明[0072]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：[0073]图1为本发明实施例中灾害数据一体化采集架构；[0074]图2为本发明实施例中煤矿灾害数据采集方案示意图；[0075]图3为本发明实施例中轻量级数据webapi数据交互流程；[0076]图4为本发明实施例中sparkstreaming数据处理流程；[0077]图5为本发明实施例中关联分析处理框架架构；[0078]图6为本发明实施例中gis一张图架构；[0079]图7为本发明实施例中巷道拓扑生成算法原理；[0080]图8为本发明实施例中井下各要素空间关系算法；[0081]图9为本发明实施例中灾害预警平台软件功能架构。具体实施方式[0082]以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。[0083]其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。[0084]本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。[0085]请参阅图1～图9，为一种煤矿灾害数据采集、分析及可视化展现系统，包括灾害数据一体化采集模块、灾害监测预警分析模块、gis生成模块、可视化展示模块和灾害预警手机模块；[0086]所述灾害数据一体化采集模块通过多协议适配将采集数据转换为结构化数据存储到数据库中，实现瓦斯、水、火、顶板、粉尘灾害监测数据的统一采集；[0087]所述灾害监测预警分析模块对数据库中的灾害监测数据分析，识别灾害监测数据的异常情况，所述异常情况包括突变、缓升、波动、周期变化和恒定不变；当识别到异常情况时，发出灾害异常报警提示语音信息；[0088]所述gis生成模块根据矿井的通风系统图或采掘工程平面图，绘制矿井三维巷道空间结构，形成灾害gis一张图，并将灾害监测点和灾害异常分析点绑定至所述灾害gis一张图；[0089]所述可视化展示模块通过多种方式展示灾害监测数据和灾害异常分析结果，包括列表、折线图、柱状图、饼图和灾害gis一张图；[0090]所述灾害预警手机模块将异常信息推送给手机端app。[0091]如图1所示，灾害数据一体化采集模块包含煤矿端与公司端。在煤矿端，采集程序适配opc、ftp文件、数据库、webservice以及其他数据源，实现对安全监控系统、人员定位系统、水文监测系统、采空区发火监测系统、顶板监测系统、粉尘监控系统以及灾害预警数据、特征图谱分析数据的统一采集。在公司端，基于发布/订阅者模式实现矿端采集数据联网上传至公司端。[0092]如图2所示，针对安全监控、人员定位、粉尘监测、水文监测、束管监测等具备统一、通用联网上传协议的灾害监测子系统数据，通过在矿端部署采集上传软件，公司端部署ftp服务器，基于ftp文件上传的形式实现灾害监测数据联网采集上传。[0093]针对顶板灾害监测数据、光纤测温监测数据等不具备统一的数据联网上传标准的数据，采用数据库定时同步的方式，将矿端数据同步至公司端数据存储中心。[0094]针对ftp形式与数据库同步形式的数据上传，研发了多采集任务调度程序，有效避免了多任务冲突，同时具备异常处理机制，针对部分异常任务具备定时重传、日志记录功能，为技术人员异常排查奠定基础。[0095]灾害预警结果数据组成包括瓦斯、水文、采空区发火的灾害预警结果，这些数据输入由各个专业子系统分析产生，为轻量级数据，采用webapi进行数据集成交互，数据之间采用json格式，请求方式采用post。webapi接口调用的流程如图3所示，包括以下步骤：[0096]①通过分配用户名和密码调用名为数据采集交换系统登录接口进行登录，并获得用户动态码，该动态码用于表明身份。[0097]②循环调用上传接口，上传数据，接口中需包括动态码以验证身份，接口名约定为upload_*****。[0098]③重复第2步，上传其它类型的数据，直到所有数据全部上传完毕。[0099]④调用注销接口，注销本次登录，如不注销，30分钟后将自动注销。[0100]根据各任务的描述，当各任务产生灾害预警结果信息时，调用本数据采集交换系统的webapi接口进行实时上传。[0101]煤矿灾害监测预警涉及的灾害监测数据量大，对数据分析的实时性要求高，将大数据流计算应用于煤矿海量数据的分析中，将极大支撑灾害精准预警。所谓流式数据即是由特定数据源持续产生的数据，具有数据量大、持续达到、数据率随时间波动等特点，煤矿环境监测、设备工况等数据正是属于流式数据。[0102]由于煤矿灾害监测分析业务的特殊性，其对系统的稳定性、错误恢复能力以及矿山数据的不断增加带来的高吞吐量均有较高要求，同时根据煤矿灾害的成因机理以及数据分析模型，需要对不同时间尺度的流式数据进行分析处理。spark采用弹性分布式数据集(rdd)的方式将中间数据存储到内存中，在执行相同的批处理任务时具有较大的性能优势，更加适合需要实时响应的交互式查询和迭代性数据分析的场合。sparkstreaming作为spark之上的流式数据处理框架，提供了多数据源支持。其采用离散流的数据组织方式，将接收到的流式数据跟进时间片段划分成为若干个批次，实现由流式数据到微批次的转化。因此选用sparkstreaming作为煤矿灾害流式数据处理框架。煤矿灾害数据sparkstreaming处理框架如图4所示。[0103]为满足海量存储、快速读取与动态分析的煤矿灾害精准预警要求，构建的实时关联分析处理框架架构如下所示。选用saprkstreaming作为实时数据关联分析处理框架，它是建立在saprk上的实时计算框架，通过它提供丰富的api、基于内存的高速执行引擎，用户可以结合流式、批处理和交互式查询应用。[0104]如图5所示，整个框架数据处理流程为：通过多源异构数据集成采集器，将数据发送给kafka。kafka接收数据后一方面通过数据解析服务存入关系型数据库和hbase,并将重要数据映射出入hive，另一方面，通过将时间窗口内的数据传入sparkstreaming框架。同时通过reids加载hbase中的历史数据到sparkstreaming中，调用sparkmlib中的算法库对数据进行分析挖掘分析，并将挖掘分析结果写入关系型数据库。针对历史数据挖掘，直接运用hivesql实现挖掘分析算法，对历史数据进行分析，并将分析结果写入关系型数据库。[0105](1)基于kafka数据流传输[0106]kafka是linkedin公司开发的一套高吞吐量的分布式消息订阅系统，可以将大量数据以消息的形式实现端到端的快速传输，具有非常优秀的吞吐量，较高的可靠性和扩展性。其架构主要由生产者(producer)、代理(broker)和消费者(consumer)三大部分构成。本架构中由数据服务总线负责数据的采集，扮演producer角色，并将数据推送给broker，broker负责接收消息，并将消息本地持久化，consumer是消息的使用者。kafka集群由多个broker节点组成，各个broker节点无主从之分，每个broker上可以有多个主题topic。一个主题topic被认为是一个队列，每条消息都必须指定topic，每个topic可分成一个或多个partition，每个partiton对应一个物理文件夹。每个partition中每条消息都会分配一个自增的偏移量offset，该偏移量由consumer自主控制，当消费完一条消息后，顺序递增该offset,从而保障kafka的高吞吐量。为了保障数据的高可用性，kafka引入了replication机制，每个partition被分到多台服务器上，当主副本故障时，从备份副本中选举产生新的主副本，确保负债均衡和高可用性。[0107]针对各式各样的数据汇聚到双总线后，由于双总线提供统一的数据格式给kafka消息队列。json是一种轻量级跨平台，易读易写的一种标准化语言，数据格式采用json的形式进行传输。[0108](2)数据存储[0109]将历史数据存入hbase中。hbase是一种key/value系统，它运行在hdfs之上，hbase能够在它的数据库上实时运行，可以实时的为sparkstreaming提供数据，供实时分析。将需要分析的数据存入hive中。hive是建立在hadoop基础上的开源的数据仓库，提供类似sql的hivequerylanguage语言操作结构化数据存储服务和基本的数据分析服务。通过hive可以使用hql语言查询存放在hdfs上的数据。hql是一种类sql语言，这种语言最终被转化为map/reduce。虽然hive提供了sql查询功能，但是hive不能够进行交互查询，因为它只能够在haoop上批量的执行hadoop。其非常适合用来对一段时间内的数据进行分析查询。[0110]根据对采集数据的特征及用途分析，设计的hbase主要表如下所示：[0111]表4-1hbase表[0112][0113](3)数据处理模型[0114]①滚动窗口模型[0115]滚动窗口(tumbling)根据每条数据的时间字段将数据分配到一个指定大小的窗口中进行操作，窗口以窗口大小为步长进行滑动，窗口之间不会出现重叠。[0116]②滑动窗口模型[0117]滑动窗口(hopping)，也被称作slidingwindow。不同于滚动窗口，滑动窗口可以设置窗口滑动的步长，所以窗口可以重叠。滑动窗口有两个参数：窗口大小和滑动步长。[0118]sparkstreamingsql支持这两类窗口操作，每次落在窗口里面的rdd数据会被集合起来，然后生成新的rdd会作为数据窗口的一个rdd。状态监测的异常检测目的就是处理最新到达的数据，快速地找出不正常模式的数据，对监测数据的实时处理是一个连续计算的过程，其实质可以分解为短小的批处理作业，而时间滚动窗口模型和滑动窗口模型能够很好地满足这样的应用需求。sparkstreaming从kafka获取数据，将数据在秒级进行分割，按照业务处理逻辑进行秒级分割，拆分成微批次数据进行计算。计算完毕后将数据写入到数据存储中心。根据不同的业务场景需要，选择不同的数据窗口处理模型。[0119]对数据库中的灾害监测数据进行灾害特征图谱分析，包括识别灾害监测数据的突变、缓升、波动、周期变化和恒定不变等。[0120]1、数据突变分析[0121]数据突变是指在一定监测时间范围内，监测值由某个较小值突然增大到较大值的现象，对监测数据的突变状况进行分析，有助于及时发现数据急剧增大的异常现象。[0122]以最近5分钟的监测数据设置滑动时间窗，根据不同监测点类型设置不同突变判定值，在分析的时间序列里，以监测值从最小值突变到最大值的变化值是否达到突变判定值为依据。[0123]数据突变识别计算公式如下：[0124]y＝α×fmax(x)-(fmax(x)-fmin(x))；[0125]式中，α为突变因子，fmax(x)为滑动时间窗范围内的最大值；fmin(x)为滑动时间范围的最小值。[0126]2、数据缓升分析[0127]mk检验是曼－肯德尔法，又称mann—kenddall检验法，是一种时间序列分析预测技术，常用于检验时间序列的缓升、缓降变化趋势，使用mk算法检验时序数据大致趋势，趋势分为无明显趋势(稳定)、趋势上升、趋势下降。mk算法通过计算时间序列的差值函数，通过差值函数的正负差数量判断观测序列的变化趋势。[0128]假设时间序列为x＝{x1,x2,…,xn}，具有0假设h0没有单调趋势，1假设ha为单调趋势两个假设前提。[0129]确定所有个xi-xj的差值函数f(xi-xj)(n≥i》j≥1)：[0130][0131]计算正负差数量和s，即为差值为正的数量减去差值为负的数量。[0132][0133]如果s是一个正数，那么后一部分的观测值相比之前的观测值会趋势于变大；[0134]如果s是一个负数，那么后一部分的观测值相比之前的观测值会趋势于变小。[0135]如果n≤10，则要计算z值，s和z值的关系式如下：[0136][0137]如果n》10，则需要计算s的方差来判断趋势。[0138]若数据中每个数都是唯一的，则：[0139][0140]若数据中存在数据不唯一：[0141][0142]其中，p为重复数数量，g为唯一数数量(结组数)，tp为每个重复数重复的次数。[0143]计算n》10情况下的mk的z值。[0144][0145]假设1型错误率为α，0《α《0.5。[0146]如果zmk≥z1-a，就拒绝零假设h0，接受替代假设ha，其中z1-a是标准正态分布的100(1-α)th百分位。[0147]测试h0与ha(有单调递减趋势)：[0148]如果zmk≤-z1-a，拒绝零假设，就拒绝零假设h0，接受替代假设ha，即序列呈单调递减趋势。[0149]测试h0与ha(有单调递增或递减趋势)：[0150]如果|zmk|≤-z1-a，拒绝零假设，就拒绝零假设h0，接受替代假设ha，即序列呈单调递增或递减趋势。[0151]根据mk检验算法原理，对矿井灾害缓升特征图谱分析。基于时间序列下的监测值集合，使用mk趋势校验法得到上升趋势，线性拟合方式得到上升率，并计算最后时刻的监测值相较于初始值的增长百分比。当趋势为上升且上升的线性角度大于数学上的15°，或者趋势为上升且最后监测值较初始值的增长百分比大于30％，满足其一认为是缓升。[0152]3、数据波动分析[0153]四分位数(quartile)应用于统计学中的箱线图绘制，是统计学中分位数的一种，即把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值就是四分位数。[0154]第一四分位数(q1)，又称“下四分位数”，等于该样本中所有数据由小到大排列后第25％的数据。[0155]第二四分位数(q2)，又称“中位数”，等于该样本中所有数据由小到大排列后第50％数据。[0156]第三四分位数(q3)，又称“上四分位数”，等于该样本中所有数据由小到大排列后第75％的数据。[0157]第三四分位数与第一四分位数的差距又称四分位距(interquartilerange,iqr)。[0158]四分位数计算包括四分位数位置的确定以及四分位数确定。[0159]四分位数位置的确定如下：[0160]先将变量值从小到大排列。第一四分位数(q1)，又称“下四分位数”，位置的确定：[0161]1)首先计算n/4。[0162]2)如果n/4结果为整数，则下四分位数位于“n/4“的位置和(n/4)+1位置的中间。[0163]3)如果n/4结果不是整数，则向上取整，所得结果即为下四分位数的位置。[0164]第二四分位数(q2)，又称“中位数”，位置的确定：[0165]第二四分位数(q2)，又称“中位数”位置在(n+1)/2处。[0166]第三四分位数(q3)，又称“上四分位数”，位置的确定：[0167]1)首先计算3n/4。[0168]2)如果3n/4结果为整数，则上四分位数位于“3n/4“的位置和(3n/4)+1位置的中间。[0169]3)如果3n/4结果不是整数，则向上取整，所得结果即为上四分位数的位置。[0170]四分位数的确定：[0171]先将变量值从小到大排列。第一四分位数(q1)，又称“下四分位数”的确定：[0172]1)首先计算n/4。[0173]2)如果n/4结果为整数，则将“n/4“的位置和(n/4)+1位置上的两个变量值的算术平均数作为下四分位数。[0174]3)如果n/4结果不是整数，则向上取整，所得结果即为下四分位数的位置，该位置上的数即为下四分位数。[0175]第二四分位数(q2)，又称“中位数”的确定：[0176]1)如果(n+1)/2为整数，则该位置上的变量值即是中位数。[0177]2)如果(n+1)/2不是整数，则该位置上旁边的两个变量值的算术平均数作为中位数。[0178]第三四分位数(q3)，又称“上四分位数”的确定：[0179]1)首先计算3n/4。[0180]2)如果3n/4结果为整数，则将位于“3n/4位置上“的数值和(3n/4)+1位置上的两个变量值的算术平均数作为上四分位数。[0181]3)如果3n/4结果不是整数，则向上取整，所得结果即为上四分位数的位置，该位置上的数即为上四分位数。[0182]对于矿井灾害监测时间序列数据异常识别，采用图基检验确定异常波动范围(fmin～fmax)。[0183]fmin＝q1-k(q3-q1)(4-8)[0184]fmax＝q3+k(q3-q1)(4-9)[0185]式中，q1为下四分位数，q3为上四分位数。k为异常范围阈值，当取值为1.5时为中度异常范围，当取值为3时为极度异常范围。[0186]煤矿灾害数据波动分析步骤如下：[0187](1)计算待分析序列的上四分位数q3与下四分位数q1；[0188](2)基于图基检验，计算波动异常范围最小值fmin与最大值fmax；[0189](3)计算原始数据序列中超出异常范围的波动值。[0190]4、数据周期变化分析[0191]z-score标准化是数据处理的一种常用方法。通过它能够将不同量级的数据转化为统一量度的z-score分值进行比较。提高了数据可比性，削弱了数据解释性。[0192]z-score标准化也叫标准差标准化，这种方法给予原始数据的均值(mean)和标准差(standarddeviation)进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为。[0193]标准化的公式计算步骤如下：[0194]1)求出各变量(指标)的算术平均值(数学期望)μ和标准差σ，标准差计算公式如下：[0195][0196]2)通过转换函数进行标准化处理：[0197][0198]其中μ为所有样本数据的均值，σ为所有样本数据的标准差。[0199]3)将逆指标前的正负号对调。[0200]标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。[0201]基于z-score数据标准化处理方法，首先将煤矿灾害时间序列数据取最近两个周期的数据，分别做z-score标准化，然后对结果做差，最后在对结果求标准差，比较标准差和1，小于1则是周期性数据。[0202]5、数据恒定不变分析[0203]kmeans算法是最常用的聚类算法，主要思想是:在给定k值和k个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的迭代次数。[0204]假设给定数据样本x，包含了n个对象x＝{x1,x2,x3,…,xn}，其中每个对象都具有m个维度的属性。kmeans算法的目标是将n个对象间的相似性聚集到指定的k个类簇中，每个对象属于且仅属于一个其到类簇中心距离最小的类簇中。对于kmeans，首先需要初始化k个聚类中心{c1,c2,c3,…ck}，1《k≤n，然后通过计算每一个对象到每个聚类簇中心的欧式距离，如下式所示：[0205][0206]上式中，xi表示第i个对象1≤i≤n，cj表示第j个聚类中心的1≤j≤k，表示第i个对象的第t个属性，1≤t≤m，cjt表示第j个聚类中心的第t个属性。[0207]依次比较每一个对象到每一个聚类中心的距离，将对象分配到距离最近的聚类中心的类簇中，得到k个类簇{s1,s2,s3,…sk}。[0208]kmeans算法用中心定义了类簇的原型，类簇中心就是类簇内所有对象在各个维度的均值，其计算公式如下：[0209][0210]式中，cl表示第l个聚类的中心，1≤l≤k，|sl|表示第l个类簇中对象的个数，xi表示第l个类簇中第i个对象，1≤i≤sl。[0211]数据恒定不变用于判断矿井灾害监测数据在一定时间周期范围内值恒定不变的异常情况，数据恒定不变分析包含以下步骤：[0212](1)计算每个监测点的最长不变时间；[0213](2)划分kmeans类簇；[0214](3)基于kmeans算法计算每个时间周期范围内监测值恒定不变的监测点数量及恒定不变监测点数占监测点总数的百分比，得到聚类结果。[0215](4)根据聚类结果确定恒定不变百分比阈值，将百分比大于阈值的作为恒定不变异常点。[0216]灾害可视化展示基于矿井一张图综合展现，实现灾害监测系统设备和实时监测数据的分层展示等。基本架构图如图6所示，gis一张图主要包含基于openlayers的前端网页、gis服务器、空间数据库和外部接口。数据展现的一般流程为前端通过openlayer发出请求，geoserver接受请求，并调用postgresql查询数据，并经过postgis运算分析，将结果再由postgresql返回给geoserver服务器，然后经过渲染或处理传递给openlayers，最后呈现给用户。具体如下：[0217](1)基于openlayers的前端网页[0218]前端界面是整个一张图模块的核心，一方面它分别由外部口获取业务数据，由gis服务器获取地理数据，综合两种数据生成最终展示图形；另一方面它接收用户的编辑操作，并将编辑结果上传至gis服务器用于显示。以openlayersapi生成的地图为核心，显示获取自gis服务端的已经渲染完成的巷道图，并根据图层控制树的筛选，显示井下的各类设备以及工作面。[0219](2)geoserver服务器[0220]geoserver服务器是连接前端网页与空间数据库的桥梁，不同于一般程序无定型的数据结构与前后端交互方式，gis数据的格式相对复杂且固定，是一个不需要编程的通用gis服务端程序便应运而生，而且逐渐具备了独有的常用功能，比如矢量数据渲染为栅格图像并发布。[0221]在一张图模块中，geoserver服务器对外发布了设备、巷道、工作面的数据接口，提供编辑与查询；发布了人员轨迹生成与巷道拓扑生成的调用接口；通过编写slg渲染样式，发布了渲染后的巷道图像。[0222](3)空间数据库[0223]在一张图模块的架构中，postgis空间数据库，承当空间数据存储与空间运算两大功能。其支持的geometry空间数据格式是便捷、完整存取设备位置、巷道走势、工作范围的保证，也是进行空间运算基础。[0224](4)外部接口[0225]一张图模块的对外接口都是在网页端提供的，主要是为了适配多系统调用减少耦合，分为数据获取接口与功能调用接口：数据获取接口是返回json数据的webservice接口，包括设备的定义与监测数据接口、工作面的定义与监测数据接口；功能调用接口是前端交互的postmessage接口，包括着重显示设备接口、人员轨迹回放接口、设备点击事件回调接口等。[0226]矿井风险一张图的gis展现，主要涉及巷道拓扑生成算法，以实现矿井巷道的数字化；人员轨迹回放算法，以实现人员轨迹的融合与回溯；井下各要素空间关系算法，以确定并展现监测点与巷道的空间位置。[0227](1)巷道拓扑生成算法[0228]用户在前端绘制巷道的时候一般不会考虑到巷道的拓扑是否完整与一致，比如通用数据结构中要求相互连接的三叉、四叉路口必须由三条、四条独立的巷道端点重合而成，而一般用户绘制时只会在主巷道上横画一条新巷道出去，不会做将主巷道打断这一步骤。[0229]为解决用户自绘制巷道拓扑不能使用的问题，提出巷道拓扑生成算法，如图7所示，算法会根据巷道坐标位置自动提取与每一条巷道相交的巷道，并进一步提取相交巷道的端点与拐点，最后使用端点与拐点的集合对巷道进行打断，将打断后的巷道分别保存拓扑表。通过本算法，可以在不要求用户按照拓扑标准绘制巷道、不增加用户绘制工作的情况下，又能获取完整的巷道拓扑数据，以支持巷道路径运算。[0230](2)井下各要素空间关系的算法[0231]一方面井下各要素都实际只存在于巷道中、相互间只能通过巷道联系；另一方面用户在绘制巷道与布置设备、关键点时，既可能为了查看方便将要素放置在巷道外，也可能为了美观不按照真实距离比例绘制巷道与布置要素。计算井下各要素空间关系时，必然要考虑到上述情况做特殊处理。[0232]如图8所示，计算设备、关键点与巷道的关系时，首先取与之相交的巷道作为所在巷道，没有相交时，取距离最近的巷道作为所在巷道。计算设备与关键点的关系时，首先去设备与关键点在临近巷道上的最近点作为实际存在点，再获取两个最近点的最短路径，取最短路径的长度作为设备与关键点的实际距离。[0233]gis一张图展现的基本操作步骤为，首先结合煤矿安全监控系统图、矿井通风系统图和采掘工程布置图人工绘制gis巷道，实现巷道的数字化。绘制巷道时，需要设置巷道的属性，包括巷道类型、所属工作面、所属开采水平、风向、巷道长度、巷道高度、巷道断面类型等。绘制完成后，系统会运用巷道拓扑生成算法检查并生成巷道拓扑关系。然后需要将瓦斯、温度、风速、人员、局扇等进行图元化，即设置各自的图标，并手动绑定到巷道上，然后系统调用井下各要素关系算法，确定巷道与设备的空间位置关系。然后，根据相关规程整理得到各巷道设备安装规则集，即不同矿井、不同类型的巷道应安装的传感器类型、个数。依据规则集和已绘制的巷道设备关系，系统自动评判巷道设备绘制是否合规，并给出提示。最后通过数据接口，将实时采集的数据展现在矿井gis一张图上。由于传感器类别不同，同时分类别设置了巷道的属性，所属水平，gis一张图可以根据选分层展现巷道、分类别展现设备等。[0234](3)gis一张图功能结构[0235]gis一张图结合不同的地质构造、空间环境和生产工艺、各种灾害实时监测数据、煤矿灾害事故的特点机理等多因素进行多元数据融合及深层预警分析，提供公司层面与矿井煤矿层面的灾害综合风险研判结果。[0236]综合展示应以gis平台为支撑，构建安全风险评价指标，构建全公司安全生产风险地图。通过采集各个煤矿的基础数据，叠加行政区域的遥感影像数据和矢量地图数据，以gis一张图的形式展现矿井灾害监测信息、灾害分析结果、灾害预警结果等，实现不同辖区范围煤矿不同层次数据的综合查询、导航定位、数据回溯、叠加分析、对比分析以及空间分析等功能。同时对火灾、水灾进行仿真模拟，并智能规划井下人员的避灾逃生路线。具体包含以下功能：[0237]1)灾害数据展示[0238]基于二三维gis服务，建立矿井gis一张图，通过绑定配置监测点的形式，在gis一张图展示灾害监测传感器、防灾设备的实时监测数据、设备开停情况、灾害分析结果、灾害预警结果等。同时支持鼠标点击灾害监测点钻取至详细的统计页面，包括监测点的历史曲线、设备开停列表、灾害预警结果列表等。[0239]2)灾害模拟仿真及避灾逃生路线规划[0240]灾害模拟仿真及避灾逃生路线规划主要针对矿井发生火灾、水灾时，为灾害区域附件井下作业人员规划避灾逃生路线[0241]针对火灾避灾路线规划，结合矿井实际情况，研究建立矿井巷道火灾烟气量化计算模型，建立烟气在巷道网络中运动的非稳态模型，模拟火灾烟气在矿井巷道通风网络的扩散蔓延规律；通过迭代求解，对建立的火灾烟气流动的区域羽流扩散演化模型进行求解，输出计算结果，计算结果能以二维/三维图形化的形式显示烟气的扩散演化过程，同时输出关键生产区域火灾烟气扩散蔓延到达的时间，为应急逃生提供决策支持；建立矿井巷道火灾智能模拟仿真系统，实现矿井巷道火灾的实时监测和动态仿真，并以图形化的形式显示烟气扩散蔓延过程，及灾变条件下井下环境的动态监测和避灾路线的智能规划。[0242]针对水害避灾路线规划，依据煤矿巷道的基础数据信息和地图空间服务可分析计算事故最佳的逃生路线，自动规划最快的避灾路线，通过广播下发给井下人员。当系统根据设置突水地点和突水参数，模拟出突水水位和巷道淹没情况后，设置好避灾人员所在点(即起始点)和安全地点(即目标点)，系统可以根据算法，计算最佳避灾路线。通过突(透)水点及其相关信息获取、巷道水流模拟、人员逃生行为模拟以及智能动态路径搜索，生成安全快速的井下人员最优疏散路径。[0243]本系统分为web终端软件和手机app软件两部分，两部分的功能如图9所示。[0244]最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。当前第1页12当前第1页12
技术特征：
1.一种煤矿灾害数据采集、分析及可视化展现系统，其特征在于：包括灾害数据一体化采集模块、灾害监测预警分析模块、gis生成模块、可视化展示模块和灾害预警手机模块；所述灾害数据一体化采集模块通过多协议适配将采集数据转换为结构化数据存储到数据库中，实现瓦斯、水、火、顶板、粉尘灾害监测数据的统一采集；所述灾害监测预警分析模块对数据库中的灾害监测数据分析，识别灾害监测数据的异常情况，所述异常情况包括突变、缓升、波动、周期变化和恒定不变；当识别到异常情况时，发出灾害异常报警提示语音信息；所述gis生成模块根据矿井的通风系统图或采掘工程平面图，绘制矿井三维巷道空间结构，形成灾害gis一张图，并将灾害监测点和灾害异常分析点绑定至所述灾害gis一张图；所述可视化展示模块通过多种方式展示灾害监测数据和灾害异常分析结果，包括列表、折线图、柱状图、饼图和灾害gis一张图；所述灾害预警手机模块将异常信息推送给手机端app。2.根据权利要求1所述的煤矿灾害数据采集、分析及可视化展现系统，其特征在于：所述灾害数据一体化采集模块包括煤矿端与公司端；所述煤矿端通过采集程序适配opc、ftp文件、数据库、webservice以及其他数据源，实现对安全监控系统、人员定位系统、水文监测系统、采空区发火监测系统、顶板监测系统、粉尘监控系统以及灾害预警数据、特征图谱分析数据的统一采集；所述煤矿端通过发布/订阅者模式将采集到的数据联网上传到公司端。3.根据权利要求2所述的煤矿灾害数据采集、分析及可视化展现系统，其特征在于：所述煤矿端通过以下策略同一采集灾害数据：灾害监测数据采集：针对具备统一、通用联网上传协议的灾害监测子系统数据，包括安全监控、人员定位、粉尘监测、水文监测和束管监测，通过在煤矿端部署采集上传软件，公司端部署ftp服务器，基于ftp文件上传的形式实现灾害监测数据联网采集上传；灾害数据库同步：针对不具备统一的数据联网上传标准的数据，包括顶板灾害监测数据和光纤测温监测数据，采用数据库定时同步的方式，将矿端数据同步至公司端数据存储中心。4.根据权利要求1或3所述的煤矿灾害数据采集、分析及可视化展现系统，其特征在于：煤矿灾害流式数据处理框架为sparkstreaming处理框架，整个框架数据处理流程为：通过多源异构数据集成采集器，将数据发送给kafka；kafka接收数据后一方面通过数据解析服务存入关系型数据库和hbase，并将重要数据映射出入hive，另一方面通过将时间窗口内的数据传入sparkstreaming框架；同时通过reids加载hbase中的历史数据到sparkstreaming中，调用sparkmlib中的算法库对数据进行分析挖掘分析，并将挖掘分析结果写入关系型数据库；针对历史数据挖掘，直接运用hivesql实现挖掘分析算法，对历史数据进行分析，并将分析结果写入关系型数据库。5.根据权利要求1所述的煤矿灾害数据采集、分析及可视化展现系统，其特征在于：所述灾害监测预警分析模块对灾害监测数据的突变识别如下：以最近5分钟的监测数据设置滑动时间窗，根据不同监测点类型设置不同突变判定值，在分析的时间序列里，判断监测值从最小值突变到最大值的变化值是否达到突变判定值，计算公式为：y＝α
×
f
max
(x)-(f
max
(x)-f
min
(x))；
式中，α为突变因子，f
max
(x)为滑动时间窗范围内的最大值；f
min
(x)为滑动时间范围的最小值。6.根据权利要求1所述的煤矿灾害数据采集、分析及可视化展现系统，其特征在于：所述灾害监测预警分析模块对灾害监测数据的缓升识别如下：通过mk算法通过计算时间序列的差值函数，通过差值函数的正负差数量判断观测序列的变化趋势；假设时间序列为x＝{x1,x2,
…
,x
n
}，具有0假设h0没有单调趋势，1假设h
a
为单调趋势两个假设前提；确定所有个x
i-x
j
的差值函数f(x
i-x
j
)(n≥i>j≥1)：计算正负差数量和s，即为差值为正的数量减去差值为负的数量：如果s是一个正数，那么后一部分的观测值相比之前的观测值会趋势于变大；如果s是一个负数，那么后一部分的观测值相比之前的观测值会趋势于变小；如果n≤10，则要计算z值，s和z值的关系式如下：如果n>10，则需要计算s的方差来判断趋势；若数据中每个数均为唯一，则：若数据中存在数据不唯一，则：其中，p为重复数数量，g为唯一数数量，t
p
为每个重复数重复的次数；计算n>10情况下，mk的z值：假设1型错误率为α，0<α<0.5；
如果z
mk
≥z
1-a
，就拒绝零假设h0，接受替代假设h
a
，其中z
1-a
是标准正态分布的100(1-α)
th
百分位；测试h0与ha有单调递减趋势：如果z
mk
≤-z
1-a
，拒绝零假设，就拒绝零假设h0，接受替代假设h
a
，即序列呈单调递减趋势；测试h0与ha有单调递增或递减趋势：如果|z
mk
|≤-z
1-a
，拒绝零假设，就拒绝零假设h0，接受替代假设h
a
，即序列呈单调递增或递减趋势；基于时间序列下的监测值集合，使用mk趋势校验法得到上升趋势，线性拟合方式得到上升率，并计算最后时刻的监测值相较于初始值的增长百分比，当趋势为上升且上升的线性角度大于数学上的15
°
，或者趋势为上升且最后监测值较初始值的增长百分比大于30％，满足其一认为是缓升。7.根据权利要求1所述的煤矿灾害数据采集、分析及可视化展现系统，其特征在于：所述灾害监测预警分析模块对灾害监测数据的波动识别如下：计算待分析序列的四分位数；对于矿井灾害监测时间序列数据异常识别，采用图基检验计算波动异常范围最小值f
min
与最大值f
max
；f
min
＝q
1-k(q
3-q1)；f
max
＝q3+k(q
3-q1)；式中，q1为下四分位数，q3为上四分位数，k为异常范围阈值，当取值为1.5时为中度异常范围，当取值为3时为极度异常范围；计算原始数据序列中超出异常范围的波动值。8.根据权利要求1所述的煤矿灾害数据采集、分析及可视化展现系统，其特征在于：所述灾害监测预警分析模块对灾害监测数据的周期变化识别如下：基于z-score数据标准化处理方法，首先将煤矿灾害时间序列数据取最近两个周期的数据，分别做z-score标准化，然后对结果做差，最后在对结果求标准差，比较标准差和1，小于1则是周期性数据。9.根据权利要求1所述的煤矿灾害数据采集、分析及可视化展现系统，其特征在于：所述灾害监测预警分析模块对灾害监测数据的恒定不变识别如下：计算每个监测点的最长不变时间；划分kmeans类簇；基于kmeans算法计算每个时间周期范围内监测值恒定不变的监测点数量及恒定不变监测点数占监测点总数的百分比，得到聚类结果；根据聚类结果确定恒定不变百分比阈值，将百分比大于阈值的作为恒定不变异常点。10.根据权利要求1所述的煤矿灾害数据采集、分析及可视化展现系统，其特征在于：所述gis生成模块采用拓扑生成算法，根据巷道坐标位置自动提取与每一条巷道相交的巷道，并进一步提取相交巷道的端点与拐点，最后使用端点与拐点的集合对巷道进行打断，将打断后的巷道分别保存拓扑表。

技术总结
本发明公开了一种煤矿灾害数据采集、分析及可视化展现系统，包括：灾害数据一体化采集模块，通过多协议适配将采集数据转换为结构化数据存储到数据库中，实现灾害监测数据的统一采集；灾害监测预警分析模块，对数据库中的灾害监测数据分析，识别灾害监测数据的异常情况，当识别到异常情况时，发出灾害异常报警提示语音信息；GIS生成模块，绘制矿井三维巷道空间结构，形成灾害GIS一张图，并将灾害监测点和灾害异常分析点绑定至所述灾害GIS一张图；可视化展示模块，通过列表、折线图、柱状图、饼图和灾害GIS一张图等方式展示灾害监测数据和灾害异常分析结果；灾害预警手机模块，将异常信息推送给手机端APP。本方案解决了灾害异常识别滞后性的问题。别滞后性的问题。别滞后性的问题。


技术研发人员：吴克介 陈清 满兴中 王健林 何桥 陈运启 许金 吴国庆 李臻 卢向明 于林 张翼
受保护的技术使用者：中煤科工集团重庆研究院有限公司
技术研发日：2023.04.10
技术公布日：2023/8/24