浅析智能感知时代下大数据关键技术及应用

（固定广告图，与文章内容无关）

随着平安城市、智慧城市、工业4.0等项目和技术的推进，物联网大数据逐步成为大数据发展的新方向。安防行业从最早的模拟闭路监控系统开始，经历过模拟监控、数字监控、网络监控等重要发展阶段，如今进入了智能感知下的大数据的时代。

在智能感知时代下，数据正在快速的增长，其主要因素有如下几点：

首先，视频的联网整合催生更多、更丰富的数据。目前我国的一线、二线、三线城市已基本完成城市监控与报警系统由标清改高清的建设，并且基于统一GB/T28181-2011的国家标准开展视频监控资源的联网整合，实现了所有的视频监控数据将能实现深度共享和统一处理。此外，随着智慧监控的融合化发展，视频监控平台与其它多种系统之间如警综、消防、卡口、门禁等，实现资源和数据的无缝整合，统一协作，形成社会化的大系统。其次，随着前端智能化技术的不断发展，结构化识别的前移，新一代的普通摄像机在采集视频图像的同时就已做好了结构化的工作。例如微卡口摄像机，就已把智能识别的算法集成进去，前端摄像机在实时采集现场画面时，将画面中目标的特征进行结构化描述。除视频采集外，未来摄像机中还将融入了更多的物联网感知技术，如RFID、温湿度等数据采集功能。作为视频结构化信息的一个有效补充。再次，针对已建的非智能摄像机，可通过后端视频云分析服务器将摄像机传送过来的原始视频或图片对活动目标的云解析，实现数据结构化描述，为业务系统提供基础数据。

最后，随着视频监控的覆盖范围和监控点位、卡口点位数量每年以30%以上的增长率在快速增加，数据生成点的规模在迅速的扩大。目前我国安装的一类监控摄像头已超过2800万个，每年产生数万PB的数据量。

数据的爆炸式增长，不仅意味着需要投入更多的资源以及付出更多的努力，同时还面临着如何在这庞大的数据中快速寻找到有价值的信息，发掘隐藏在数据间、事件间的高价值数据或线索，才是当前亟待解决的真正问题所在。主要体现在以下几个方面:

1.海量数据的存储和管理：视频监控数据具有高并发、大容量的特点。以1080P为例，在6Mbps的码率下，中小城市的监控规模一般为数千到数万个摄像头，而且这些数据根据公安部的一般要求必须在系统中保存30天以上，其存储容量将达到9269TB。因此要求存储系统既要满足大容量、高并发的要求，同时还应具有高级别的容错性要求，保证故障发生时不应造成监控数据的丢失，及系统后期的在线扩容和平滑升级的可扩展性要求。

2.视频图像数据的结构化分析：早期平安城市视频监控系统多数不具备结构化分析能力，产生的海量视频或图片均为非结构化或半结构化数据，非结构化的视频或图片中的内容，均需靠人工完成内容识别与读取，在海量的视频监控数据难以找到有价值的信息，需要运用技术手段在监控中心设计视频图像结构化分析系统实现对重点视频进行结构化分析提取中的人员、车辆等活动目标的提取，将车辆特征信息，人员特征信息转化成可检索的结构化信息，便于民警快速查询大量视频。对已建卡口的过车图片进行二次分析，提取更多的车辆特征信息。

3.数据的融合应用与挖掘分析：目前，视频监控、卡口及其它系统之间，大部分只是基于视频预览推送等基础功能的对接，彼此之间相对较为独立。如何对这些海量的数据进行更深入的融合，实现对多维数据之间的关联分析，挖掘出更有价值的应用是当下急需解决的难题，例如实现对结构化后的车辆、人员等数据与刑侦线索分析、通讯记录分析、案件规律分析、社会舆情分析项结合，并建立有效的数据分析模型,带动侦防由传统的单一模式向多元化模式的转变。

大数据处理的关键技术

有关大数据处理的关键技术，本文围绕安防大数据的云存储、云分析和应用来进行阐述。云存储解决海量视频的存储问题，云分析解决海量视频的分析提取结构化信息问题，大数据应用解决海量数据的检索、统计、挖掘，并给上层应用提供相应的数据服务。就笔者所在公司大数据技术来看，是基于主流的Hadoop框架实现，采用了分布式数据库HBase、分布式文件系统HDFS等主流组件。并引入了国际最新的分布式大规模海量数据采集Kafka方案以及基于内存的大数据计算Spark框架，可将大数据处理效率最高提升百倍。

图一：大数据技术框架

1.分布式文件系统HDFS：运行在通用硬件上的可扩展高容错的分布式文件系统，负责海量数据存储，将数据分散存储在多台独立的设备上，系统采用可扩展的体系结构，利用多台存储服务器分担存储负荷，利用元数据服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

HDFS是分布式计算中数据存储管理的基础，具有高容错性、高可靠性、高可扩展性、高吞吐率等特点，可以设计部署在低廉的硬件上，为海量数据提供了不怕故障的存储，适合那些有着超大数据集的应用程序。

2.分布式资源管理YARN：分布式资源管理框架，负责计算、存储资源的管理，用以提高分布式集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。

3.分布式计算Map/Reduce：分布式计算框架，负责将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。MapReduce是一种处理海量数据的并行编程模型和计算框架，用于对大规模数据集(通常大于1TB)的并行计算。MapReduce的名字源于该模型中的两项核心操作：Map和Reduce。Map将一个任务分解成为多个任务，Reduce将分解后多任务处理的结果汇总起来，得出最终的分析结果。

4.分布式数据库HBase：一个分布式的、按列存储的、多维表结构的实时分布式数据库，用于存储粗粒度的结构化数据，适合构建高并发低延时的在线数据服务系统。HBase是一种构建在HDFS之上的分布式、面向列的存储系统，它具有高可靠、高性能、面向列和可伸缩的特性。HBase适合于存储大表数据（表的规模可以达到数百亿行以及数百万列），并且对大表数据的读/写访问可以达到实时级别。

5.全文检索引擎ElasticSearch：一个基于Lucene构建的开源，分布式，RESTful搜索引擎，设计用于云计算中，能够达到稳定、可靠、快速实时搜索。

6.内存计算Spark：下一代基于内存的Map/Reduce 计算引擎，处理大数据像“光速”一样快，比Hadoop Map/Reduce 快 10x 到 100x 倍。Spark架构采用了分布式计算中的Master-Slave模型。Master是对应集群中的含有Master进程的节点（ClusterManager），Slave是集群中含有Worker进程的节点。Master作为整个集群的控制器，负责整个集群的正常运行；Worker相当于是计算节点，接收主节点命令与进行状态汇报。

7.分布式协作Zookeeper：分布式协作系统ZooKeeper，作为一个分布式锁及共享数据管理者，提供集群节点间的事物协调服务，保证HDFS、HBase、Spark、Map/Reduce等分布式系统的安全可靠运行。帮助系统避免单点故障，建立可靠的应用程序；提供分布式协作服务和维护配置信息。

大数据技术的框架与应用

智能感知时代下的视频产生的数据增长非常之快，需要构建一个弹性而高效的处理平台，主要解决两方面的问题：一方面是海量数据的快速采集、存储、管理、访问；另外就是针对海量数据的快速处理和挖掘分析，包括数据结构化转换、智能识别、搜索、挖掘等。基于以上介绍的Hadoop，可以实现在感知时代下的视频大数据的应用框架，将其部署在可扩展的存储和计算资源之上，以满足大数据所带来的各种新的业务需求。应用框架包括了负责对数据进行采集、结构化处理、存储和应用的大数据平台。如下图所示：

图二：视频大数据的应用框架

1.数据采集：数据采集：支持手动提交数据，包括视频、音频、文档、图片；支持缩略图创建、文件格式转换、安全遮蔽；支持多文件、多并发上传；支持HTTP协议、FTP协议、JMS协议。

支持实时视频智能元数据的采集，如过车记录、过车图片等；支持用户设定定时任务，定时采集视频、音频、文档、图片、记录等数据。为了保证数据质量，对采集后的数据进行整合，其过程主要包括数据过滤、数据比对、数据校验、数据纠错数据入库等步骤。

2.数据处理：大数据平台支持对视频、图片的结构化处理，利用分布式计算技术，能够极大的提高智能分析的效率，利用GPU的集群技术，增大接入前端的数量。通过大数据的视频云结构化分析系统，从监控实时视频流中提取活动目标信息，针对车辆提取车牌、车型、品牌、类型等特征信息，针对人员提取支持性别、年龄段、是否戴眼镜等特征信息，还可识别活动目标的颜色、大小、方向、速度等信息。挖掘出视频图像中的有用信息，并作为进一步深度挖掘的数据基础。

3.数据存储：大数据平台采用全分布式系统架构，能够提供海量数据的存储能力。其中分布式文件系统用于存储海量非结构化数据，能够提供大容量存储；分布式数据库系统用于存储海量半结构化/结构化数据，能够供最大万亿条的数据存储。

4.数据应用：利用分布式计算技术，大数据平台能够提供快速的数据检索、分析、挖掘、统计能力。首先平台支持对结构化的检索应用，包括车辆大数据、人员大数据、MAC大数据，物件等多特征数据的检索应用。其次，平台支持对数据的关联分析、挖掘应用，提供车辆技战法分析应用、车辆布控应用、案事件串并分析应用、MAC区域碰撞分析应用、视频综合应用，及多维度数据的关联分析应用大数据关键技术，系统管理等功能。对于常规分析，系统可以在2S以内返回结果；对于复杂分析，系统可以在5S以内返回结果。再次，大数据平台支持智能匹配，结合智能分析技术，用户可以通过以图搜图的方式搜索视频和图像。通过图片特征向量的比对分析，从图片库中检索出符合条件的图片，并根据相似度返回比对结果。支持人脸图片的以图搜图、车辆图片的以图搜图。

大数据平台通过分类、估计、预测、相关性分组或关联规则、聚类、描述和可视化等数据挖掘方法，实现对海量数据的深度关联分析，实现趋势分析、预测分析等功能。

5.数据级联：大数据平台支持下级大数据平台数据同步到上级大数据平台；支持按边界安全接入设备的目录传输数据方式，将视频专网大数据平台的数据同步到公安信息网。

结束语

在智能感知时代下，随着深度学习、人工智能、大数据等技术应用的不断发展，通过大数据的视频云结构化分析为大数据提供数据应用的基础，而当数据全面实现联网、共享，得到有效存储，并予以充分分析和挖掘，那时民警在办公室只需通过鼠标点击即可轻松的检索出某一路段某一时间某一颜色某性别或某年龄段行人的所有视频及人脸或人体的图片；在没有人为干预的情况下，视频监控通过自动分析对动态场景中的目标进行定位、识别和跟踪，在异常情况发生时做出反应，进行自动报警；联网共享这些视频资源，将为更多的老百姓服务……未来，大数据将一定会为安防行业创造更多更大的价值。（作者任职单位：杭州海康威视系统技术有限公司）

（编辑：滁州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!