大数据创新应用:高速公路的数据存储及处理

摘 要：通过分析信息化建设脉络中高速公路数据的海量产生，结构复杂的海量数据存储及处理，阐述大数据平台在智慧高速建设中的作用，总结大数据在智慧高速中的客户服务、运营优化、稽查分析、应急资源调度、预测预警等方面的具体应用，对交通指挥中心工作提供支持。

关键词：智慧高速 分布式数据处理 数据挖掘 客户服务 优化运营 预测预警

Abstract：This paper analyzes the effect of big data platform in the construction of expressway construction by analyzing the mass production of expressway data and the complicated data storage and processing in the context of information construction, summarizes the customer service and operation optimization of big data in expressway, inspection and analysis, emergency resource scheduling, forecasting and early warning of specific applications, so as to provide support for the traffic command center.

Key words：intelligence expressway; distributed data processing; data mining; customer service; operation optimization; forecasting early warning

引言

随着经济社会的发展，城市人口持续增长，数量持续增长的车辆给交通基础设施通行能力带来极大压力。交通拥堵、交通事故、环境污染及能源短缺已成为目前面临的重要问题，尤其在高速公路交通管理尤其变得更加明显。如何有效利用传统的高速公路数据与设备，提高交通运输效率、安全性、整体效益，提高交通的科学管理和组织服务水平是管理者迫切需要解决的问题。

车辆在高速公路上，本身的动作及设备会产生海量数据，在没有大数据平台之前，高速公路上产生的数据分门别类的分布在Oracle、MySQL等数据库中，因为各自处理语言不同，在刚使用时分析速度尚且可以，但随着数据量越来越多，查询调用越来越频繁，速度变得越来越慢，无法满足高速管理需求。

高速公路数据产生

高速公路的信息化建设包含从基建到信息记录等多个层面。所有的环节都在不停地产生数据，成为智慧高速中的海量数据来源。首先是高速公路的硬件和基础设施，当一辆车开进收费站，先经过地下预埋的地感线圈，经过地板线圈进行切割磁力线，产生很弱的电流，车辆开进来会由定焦在地感线圈的摄像机拍一张图片，产生车辆进入收费站的第一个数据。继而递交收费卡、读卡、写卡，写卡的同时计算从A点到B点的费用，每一个动作都在产生数据。高速公路收费还涉及更加复杂的情况，如起点A到终点B，中间经过三段高速公路，三段的收费主体不同，需要在收费的金额上进行三个收费主体的拆分，这涉及到后台的数据计算。所以一辆车从进入收费口到驶离收费口，至少会产生两张图片，十余条流水数据，同时还会产生车道摄像和停位摄像等大量的视频信息。

产生大量车辆数据的同时，收费员的动作，如按抬杆键、放行键、军车键等，也会产生数据记录，方便后续稽查时的图片分析，避免逃费等行为。设备本身也会产生大量数据，比如抬杆、打票、红绿灯转换，全部都会产生日志信息进入数据库，这还只是收费相关的数据信息。在看不到的地面上，还会存在很多信息采集系统，比如地磁式传感器、摄像头，检测车辆通过时的平均速度、平均车间距和平均占有率等等信息，大量数据都会进入数据库，进行后续的存储分析。一辆车在驶离高速公路时，已经产生了大量的数据信息，其中包含结构化和非结构化数据、流数据等多种数据形式。

大数据平台架构设计及数据处理

高速公路上产生的海量数据，需要一个企业级的大数据平台，对数据进行分门别类的存储管理，TDH企业级一站式大数据平台，以分布式架构对数据进行存储和计算，并在此基础上进行数据处理和应用。

大数据平台架构设计

数据进入大数据平台，上游业务系统中的数据，通过文件交换或Sqoop方式同步到大数据平台的贴源层，然后经过批处理加工后，形成明细层、汇总层和模型层。对于历史数据，比如收费站入口流水表和出口流水表，选择存储在Search引擎中，可以进行快速的历史数据检索。对于非结构化数据，例如图片和视频影像，选择存储在Hyperbase引擎中。同时，为了提高大数据平台的数据质量，使用Governor管理元数据(包括表和存储过程)，监控所有数据的更改历史，进行数据血缘分析和影响分析。对上层的基于大数据平台的应用，可以使用标准的JDBC或ODBC与大数据平台进行连接，对数据挖掘需求，如节假日车流量预测、高速路拥堵程度预测等，可以图形化拖拽机器学习平台Sophon组件进行预测，如图1所示。

▲图1大数据平台架构

高速公路的数据存储及处理

高速公路中产生的车辆动作和收费员动作、信息采集系统等产生的海量数据都进入大数据平台进行存储和处理。这些结构复杂，形式多样的海量数据，对数据存储和处理提出了很高的要求。大数据平台支持兼容Oracle 、DB2 、Teradata数据库/数据仓库SQL方言，可以轻松的将数据从传统架构中进行迁移，所以方便应用研发人员利用这一特性实现数据处理核心的升级换代。同时，TDH支持低延时和高吞吐的实时计算场景，可实现基础结构化数据、非结构化数据和流数据的存储，并随时无缝扩容。大数据平台基本架构在于，对全省高速路网监控收费运营数据进行采集和整合，进入数据中心，基础数据库经过大数据平台处理形成专题数据库，然后将路网设备设施等资源统一融合，形成GIS和视频支撑平台，继而在集成平台以GIS和视频平台做支撑形成五大应用系统相互协作，最终在终端设置，如监控中心的监控大屏、会商室显示、普通的监控工作站、移动终端等设备上进行展示和发布。

高速公路大数据由几个大的部分构成：高速收费数据主要应用于收费管理、风险管理、运营优化;监控设备数据主要应用于视频监控、运营管理、指挥调度;交调设备数据主要应用于基础采集、运营管理、指挥调度。交通数据尤其是视频数据和图像数据，在一个省份数万个摄像头下，以TB量级甚至PB量级增长，数据量巨大，在大数据平台支撑下，完成平滑扩容和查询分析等业务应用。

智慧高速中的大数据应用

大数据平台的处理

（编辑：源码网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!