视频结构化开启安防新十年征程
【CPS中安网 cps.com.cn】2020开启了安防新十年,这一个十年,视频结构化代表着新一代视频监控技术的技术方向,是行业创新另一个新起点。
为什么需要视频结构化
不管时间怎么变,视频结构化技术的诉求没变。不像高清和智能,随时代变迁而出现新的技术标准。
视频结构化技术,是针对非结构化数据的处理,它是一种基于视频内容信息提取的技术,它对视频内容按照语义关系,采用时空分割、特征提取、对象识别等处理手段,组织成可供计算机和人类理解的结构化信息的技术。
从数据处理的流程看,视频结构化技术能够将非结构化的视频数据转化为人和机器可理解的结构化或者半结构化情报信息,并进一步转化为公共安全实战所用的情报数据,实现视频数据向信息化、情报化的方向转化,达到视频感知世界的智慧应用。
视频结构化既是海量视频实现信息化、情报化转化行之有效的技术,也是当前公共安全领域中对视频结构化处理的一个指向性方案。
既然视频结构化对行业有指向性,那必然有其巨大的价值,同时该项技术能解决当下视频监控的弊端。那么,我们的视频监控行业遇到了哪些困难?
缺少视频信息情报的标准化生成方法,进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式。
现在视频监控的应用已融入民警的日常办案工作当中,但不少公安系统仍旧采用是人工的方式去浏览、排查,费时费力。
视频信息的跨域、跨警种共享以及与其他信息系统的互联互通问题突出,跨系统的语言不统一造成信息成为一个个的孤岛,限制了大情报、大信息系统的建设及应用。
存储传输的问题,由于要节省大量的存储空间及传输带宽的限制,不得不对视频数据进行大量压缩,不仅造成图像模糊的问题,而且视频压缩时固定压缩比的方式不够灵活,不得不占用大量的存储空间及传输带宽。
高效计算的问题,由于视频监控要求计算的多功能性和实时性,而视频数据的特殊性,带来计算成本的增加,需要构建统一的用于视频监控的视频计算理论和框架。
视频信息化情报化警务应用各环节缺乏统一的标准和规范。所有这些问题的根本在于对视频内容的不理解,没有一个高效的、标准化的视频数据交换和视频情报提取的方法。
解决这些实际问题,需要对视频结构化描述及以此技术为核心的新型视频监控系统构建进行重点研究。
迎接视频监控系统深度应用的挑战,其核心及瓶颈是通过研究视频结构化描述技术解决视频监控数据向视频信息、视频情报的转化,实现警务工作模式的创新。
由此看出,在大数据的时代,视频信息如何高效提取,如何同其他信息系统进行标准数据交换、互联互通及语义互操作等问题的解决之道是视频结构化技术。
用视频结构化技术改造传统的视频监控系统,使之形成新一代的视频监控系统,也就是我们常说的智慧化、语义化、情报化的视频监控系统。
视频结构化在公安领域中的应用
视频结构化既是海量视频实现信息化、情报化转化行之有效的技术,也是当前公共安全领域中对视频结构化处理的一个指向性方案。
在视频结构化描述的内容方面,公共安全关注的视频信息主要是:人员、车辆、行为。
当前,许多国内监控企业正在全面开展视频结构化技术研究和产品开发,可以实现同时提取视频中人员、车辆、行为的特征信息。
对于人员的特征信息包括:性别、年龄段、上身颜色、上身纹理、下身颜色、下身类别、头部特征、附属物品、目标方向、目标速度等;
对于车辆的特征信息包括:车牌、车身颜色、车型、车辆品牌、子品牌、车贴、车饰物信息等;
对于行为的特征信息包括:越界、区域、徘徊、遗留、聚集等。
通过对视频中人员、车辆、行为的结构化特征信息提取,可解决不同种类目标的特征识别和快速检索,以实现预警、布控、研判等多种应用,提高办案效率。
尽管公安行业是视频结构化的主战场,但技术应用有诸多难点:
视频作为基础资源,提供了大量的图像信息,但存在如下问题:民警主要关注的是图像中的人、车、物、事件等基础情报信息,而实际上监控图像资源中包含大量冗余的数据信息。
目前缺少自动提取与挖掘关键信息的手段。面对日益庞大的视频数据,想要快速准确地找到用户感兴趣的内容十分困难;视频图像占存储空间大,监控视频数据通常只存储一个月,关键信息无法得到长时间保存。
从形式上看,数据可以分为结构化数据和非结构化数据。大数据时代,绝大部分数据是非结构化的图像和视频数据,大数据在一定程度上就是意味着视频大数据。
因此,在智能化的视频监控系统当中,除了基本的人工监视和数据记录以外,一定要对监控视频进行结构化即智能化处理,需要对视频当中的人、车和其他重要事物进行识别、检索和行为分析,并根据结果提供适当的提示。
在对视频的智能处理当中,视频检索技术显得尤为基础和重要,视频检索主要有文本检索和内容检索两种方式:
基于文本的检索——通过对视频进行人工标注,将图像信息转换成文本标注(相当于增加标签),通过文本检索的相关技术如关键字技术进行检索,这种方式对视频信息内容进行了压缩,简化了查询的流程,提高了检索速度,减少了检索的数据量和时间成本,一般对视频信息内容会有语义上的概括,比较适合利用主题查询的场景。
但是人工标注耗时较长,受标注者主观影响较大,用户有时并不能准确描述其所想搜索内容的主题,关键字提取困难,而且由于标签难以完全概括视频内容,导致查询的准确度并不高,检索结果差强人意,这也导致了传统的基于文本的视频检索方式越来越不能满足用户需要。
基于内容的检索——用户希望的是有形式更为丰富的输入,如不仅限于关键字等,可以利用图例、草图、语音描述等等来作为搜索输入条件。
而检索的内容也不限于视频的主题,而可能是视频中某一个场景的故事,某个镜头是否发生了某种事件等等。
因此,综合利用数字图像处理、模式识别、图像理解和机器学习等多种技术,通过对视频内容进行语义上的理解,结合视频的前后时段信息,组合用户的各种检索条件实现快速检索,已经成为目前视频检索领域研究和发展的重点。
现有视频监控网络存在着缺乏深度应用的模式。其应用的瓶颈是视频信息如何高效提取,如何同其他信息系统进行标准数据交换、互联互通及语义互操作。
解决这一问题的核心技术即是视频结构化描述,通过视频结构化分析技术和大数据、云计算等技术,实现以机器自动处理为主的视频信息处理和分析,快速提取实时监控视频或监控录像中的视频信息,使得安防平台能够对监控区域的录像文件进行特征分析(如人、车、物、颜色、大小、方向、时间、地点等),使原来需要数小时查看的文件,以十几倍的速度快速浏览查看。
经过视频结构化处理后,可以达到如下目的:首先是视频查找速度得到极大的提升。视频结构化之后,从百万级的目标库中(对应数百到一千小时的高清视频)查找某张截图上的行人嫌疑目标,数秒即可完成,在结构化基础上进行检索查询,可以解决快速目标查找问题。
其次,结构化视频数据的存储占比可以极大的降低。经过结构化后的视频,存储人的结构化检索信息和目标数据不到视频数据量的2%;对于车辆,不到1%;而对于行为的则降得更多。
存储容量极大地降低,可以解决视频长期占用存储空间的问题最后,视频结构化可以盘活视频数据,可作为数据挖掘基础,视频经过结构化处理后,存入相应的结构化数据库和结构化视频图像资源服务器,对各类的结构化数据库可以进行深度的数据挖掘,充分发挥大数据作用,提升视频数据的应用价值,提高视频数据的分析和预测功能。
这一个十年,视频结构化还要做什么
既然是行业的未来,必然是万众期待。从应用前景看,视频监控技术所面临的巨大市场潜力为视频结构化描述提供了广阔的应用前景。
尤其是在公安行业,他们希望建设一个结合图像处理技术、大数据技术和云计算技术来实现视频图像结构化处理平台系统,实现以机器自动处理为主的视频信息处理和分析,快速提取实时监控视频或监控录像中的视频信息,并存储于中心数据库中。
平台能够实时对监控区域的录像文件进行特征分析(如颜色、大小、方向、时间、地点等),使原来需要数小时查看的文件,在几分钟内可以快速浏览查看。
用户通过结构化视频合成回放,可以快捷的预览视频覆盖时间内的可疑事件和事件发生时间。并可以根据结构化短片中的单个事件索引,直接链接播放可疑事件的原始视频,观看整个事件的真实情况。
此外,视频结构化技术紧紧抓住视频内容信息处理和网络化共享应用的主线,行业力争经过若干年的技术攻关和系统建设,全面实现监控视频信息的情报化、视频监控网络的智慧化,强化警务视频应用的普适性。
即实现以机器自动处理为主的视频信息处理和分析,并且通过技术手段转化为公安工作可用的情报;实现监控网络之间、终端之间、警种之间的信息共享和主动互操作,实现主动监控、自动联网分析等网络功能;全方位拓展视频在警务工作中的应用模式,大幅度提高技术的易用性,实现以业务民警为中心的随时随地的灵活、简单、多样的视频按需服务应用。
除了公安行业,视频结构化技术的应用场景也可以在智能交通展开。目前电警卡口在图侦上的应用需求和频率早就超越了交警,因为案件基本都要与车辆发生联系,这能找出很多的线索。
而卡口电警对于车辆的抓拍角度是相对固定的,能够开发出相应的车辆特征识别技术,电警卡口属于业务需求和技术实现的一个很好的匹配点。
这就是视频结构化的应用储备,国内有部分厂家已经开发出的摄像机能突破平面图像特征的局限,得到更精准的三维系信息,如人体数量,高度,物体长度等。
为此,人们对于监控视频中有价值的信息挖掘不仅只是局限于当前车辆、人的基本信息,在应用市场的不断推动下,可以不断对视频结构化提取的关键信息进行有效补充,为最终的大数据平台提供更有价值的数据入口。
海量监控视频中蕴含着巨大的能量,把数据挖掘出来,视频结构化技术及其产品不仅让视频大数据成为可能,更是为深度的行业应用提供源源不断的动力。
结束语
服务实战,深化大数据,助力行业业务变革,这是视频结构化技术的使命,在这一个十年,同样如此!