Intelligent and Embedded Computing Laboratory


                    华中科技大学 计算机科学与技术学院 智能与嵌入式计算实验室


视频图谱
视频图谱采用对象检测与识别、对象属性学习、关联关系发现等技术,对监控视频进行语义解析。以行人为例,通过行人检测和人脸识别技术,识别某人什么时候出现在什么地点、通过属性学习,知道人的年龄、性别、发型、服饰类型和颜色等属性信息。在此之上,通过共现关系挖掘,建立行人之间的关联关系。最终,所有识别和挖掘结果用图进行存储和展现。视频图谱系统采用caffe深度学习框架进行智能识别、Neo4j作为图谱骨干网络存储、Spark大数据平台进行数据挖掘、SeaWeed分布式文件系统用于图片存储、D3.js进行图谱展示。视频图谱项目获得2015年武汉市黄鹤英才和2016国家自然科学基金面上项目资助。目前,同武汉市公安局一起,将该工作延伸到多源(人脸、车牌和WIFI嗅探)知识图谱构建中。

大规模人脸识别
大规模人脸识别系统能够对监控摄像头中人脸进行实时检测、实时比对以及比对结果的实时推送,该系统融合了深度人脸检测、深度人脸特征提取、人脸跟踪、高维数据索引等前沿技术。该系统的企业版Finder目前已经用于雪亮工程、智慧社区、智慧校园和智慧工厂的重点人物布控与人脸搜索中。该系统使用的深度人脸特征提取技术,在2017年12月15号的Megaface挑战数据库FaceScrub排名榜上位于全球第四名;其大规模数据索引算法-V-PQT算法,在十亿高维数据集上达到20微妙级,处于全球领先位置。

通航信息中心
基于Hadoop开源大数据框架及其生态组件,采用B/S架构和Spring+SpringMVC +Hibernate框架实现了通航信息中心平台Web应用程序。通过MQTT协议和storm流技术实时接收并解析外部飞行器报文信息等关系型数据存储于列式数据库HBase,同时将采集的图像、音视频数据及运行日志文件等非关系型数据存储于分布式文件系统HDFS。提供通航飞行流量监测、气象信息监测、空域优化分析、飞行安全信息和综合信息管理等服务。

无人机检测与识别
现实中有某些禁止无人机进入的地方,比如军事区域、某些禁止无人机拍摄的活动场地,无人机的检测和识别系统能够通过光学摄像头实时检测无人机的侵入,并且识别出无人机的类型,目前有旋翼机和固定翼机两种类型。检测使用的是深度神经网络,通过一次前向的过程,可以检测一张图片中是否包含无人机。将视频流抽帧,每隔一秒检测一次,其它帧使用跟踪算法跟踪已经检测的无人机。这套无人机的检测和识别系统可以为无人机的反制系统提供位置信息,而且一旦检测成功会发出警告,避免了长时间人为地观察。

人证合一
人证合一是一种非常方便的身份验证技术,通过对比真人和证件照的图像特征,估量人脸的生物学差异,来排查冒名顶替等作弊行为。认证合一因其直观性、隐蔽性、非侵犯性和可交互性等优点,可以广泛应用于出入考勤、机场实名制、交易身份验证等。系统采用深度学习从大规模人脸数据集自动学习分成抽象特征,相对于传统手工特征具有更好的普适性和鲁棒性,能适应开放和复杂的使用环境。认证合一系统采用B-S模式,将人脸检测对齐、面部特征提取和相似度评估等大计算模块置于GPU服务器上,将交互和展示模块放在客户机上,充分提高使用体验和硬件成本。

活体检测
现目前,人脸识别已经广泛用于智能门禁、网络支付、银行业务办理和网络购物等应用场景的身份认证。然而,对人脸识别威胁最大的是各种人脸伪造(照片翻印、视频重播放和面具)攻击,现有多数算法可以轻松被破解。本项目研究的活体检测技术,是基于深度体感相机(目前已经适配了图漾和kinect深度体感相机),训练一个深度分类器确定提供的人脸是否为活体,目前识别率在99%以上,结合时域信息,该算法能够完全抵抗照片打印和视频播放攻击。

图像标题自动生成
图像标题自动生成(Image Captioning) 是一个高级视觉理解任务,目的是使计算机学会看图说话。要求内容准确突出,表达流畅自然。该技术可以应用于视觉数据挖掘,视力障碍辅助,图片理解与交互,典型应用如微软小冰的写诗和斗图。项目采用了局域深度学习的跨膜翻译架构,利用CNN进行视觉语义编码,RNN进行自然语言解码。端到端的编解码流程完成了图像到语义空间再到语言模型的映射,其中CNN是理解精准的“读者”,LSTM是表达自然的“解说”。

行为分析
采用深度学习算法,能够对监控视频的行为进行实时检测,目前支持的行为有抛投、跌倒、打架、非法闯入、烟雾检测、火苗检测等视频智能行为分析。上述行为分析可以用于无人值守监狱、无人值守工厂等解决方案中。

智能鉴黄
该系统的核心关键技术为在近千万已标注的黄色/非黄色数据集上训练的深度学习算法,其可用于对静态照片中的内容进行分类,分类准确性超过99.5%。该工作为本实验室研究生在腾讯合作期间研究成果,目前该算法已经用于腾讯的微信、QQ等社交软件中非法内容过滤。基于该算法开发的监控视频智能鉴黄大数据分析平台,可以用于现有视频直播平台上视频流的实时监控。