Intelligent and Embedded Computing Laboratory


                    华中科技大学 计算机科学与技术学院 智能与嵌入式计算实验室


信息语义分析软件

信息语义分析软件面向特定领域,采用信息抽取技术建立语义分析引擎(语言模型),分析引擎具备互联网新闻文本数据、社交媒体数据的信息语义分析能力,能够实现实体、关系的信息抽取,构建特定领域的实体、属性、关系集。信息语义分析软件包括语义关系数据集、特定领域的知识查询模块、文字信息的语义分析模型、面向用户的知识管理模块,可作为支持软件服务于超维知识图谱的知识服务与计算平台。软件实现了实体、属性、关系的便捷查询以及溯源查询能力,具备用户对抽取结果准确度的评价能力。实现用户对知识库的管理能力,包括人工增加、修改实体及其关系,对自动生成关系结果标注准确度,新增源数据导入加载等能力。信息语义分析软件处理文本类数据效率达到120000条(文本长度不超过128字,若超过则拆分)/每分钟; 抽取关系类别达到30种,覆盖属性相似/相异关系、时空关联关系、指挥从属关系;涉及目标实体、目标装备、指挥机构、驻地、机场、港口、人员等实体的关系。属性信息字段达到200个,包含位置信息、能力信息、基本信息、指挥信息、计划信息、任务信息。数据存储知识规模支持千万级,即知识条目数量存储至少支持1千万。

智能语音查询系统

智能语音查询系统采用RASA框架,构建了特定领域(求职)内的自动问答系统,使用语音输入作为问答接口,采用SPARQL检索语言从Apache Jena数据库之中进行检索答案,基于问题类型构造模板,采用模板的方式定义查询语句。同时基于Android开发了移动客户端(包含了语音部分的功能、会话界面屏显功能、其他安卓应用调用功能、窗口弹出至顶层功能和开机自启动功能),使用微信公众号或小程序获取答案。具体的实现流程:首先,将用户输入的Message传递到Interpreter(Rasa NLU模块),该模块负责识别Message中的"意图(intent)“和提取所有"实体”(entity)数据;其次,Rasa Core会将Interpreter提取到的意图和识别传给Tracker对象,该对象的主要作用是跟踪会话状态(conversation state);第三,利用policy记录Tracker对象的当前状态,并选择执行相应的action,其中,这个action是被记录在Track对象中的;最后,将执行action返回的结果输出即完成一次人机交互。

图像信息保障能力评估工具

图像信息保障能力评估工具首先是对综合信息保障的各个环节(包括获取、处理、传输、分析等)独立保障能力评估,每一环节内部又可细分成各个子环节,然后针对子环节进行保障能力评估,如分析环节,图像情报的分析又可以分为对象检测、对象分类、对象属性学习(对抗双方目标、船舶类型等)。在保障功能细分的基础之上,建立评估指标体系,整体上指标体系能够体现处理过程的时间特性、准确度特性、虚假特性、可靠性特性等指标,为图像情报处理评估能力建设提供支撑。

基于嵌入式的车辆智能分析系统

车辆智能分析系统基于深度学习算法、视频流处理框架DeepStream、分布式消息队列kafka和web页面技术开发的一个端-中心架构的车辆信息的实时结构化系统,具体功能实现上,在端设备(嵌入式Jetson Nano开发板)上采用深度学习算法对车辆信息(车辆颜色、车型、制造商、车牌识别)实时识别;然后将识别结果叠加到视频帧,并重新编码成视频流;最后,将视频流和识别结果推送到中心服务器,在浏览器端可以实时浏览视频流和进行结构化查询。

知识图谱问答系统

知识图谱问答系统利用知识图谱中知识的关联性和多样性,为问答系统提供了结构化和关联化的知识来源,提高了问答准确性和高效性。问答系统采用Neo4j作为知识图谱的存储库。本问答系统根据存放在数据库中的所有数据构建问题匹配模板,利用自然语言处理技术将匹配模板与输入的问题进行匹配,其中包括利用中分分词技术将问题进行分词处理。利用命名实体识别提取问题中的实体信息,利用word2vec将自然语句进行分布式表示,利用TextCNN网络模型对问题进行分类。针对每个模板设置特定的cypher语句进行答案提取。

安全卫士系统

安全卫士系统能对监控摄像头中的指定场景进行安全分析,并进行实时报警与推送。该系统采用对象检测与识别、行为分析、目标跟踪等技术,能支持区域人员数量限定、视频图像变化检测、奔跑检测、物品丢失检测、人员聚集检测、人员安全检测、区域入侵检测等功能。以区域入侵检测为例,通过行人检测技术识别人员在某个时刻出现在画面之中,检测出行人后辅以行人跟踪技术进行行人跟踪,当行人进入或者离开指定区域时进行报警推送。该系统能应用于无人监控的事故高发场景,避免了长时间的人为值守。

对象检测与识别系统

本系统包含三个对象检测识别模块和一个数据智能分析模块,对象检测功能模块包含可见光卫星遥感图像中的任意方向舰船目标检测、SAR&红外图像中的军事目标检测、民用监控视频下的通用对象检测,同时基于遥感图像中的舰船目标检测结果,结合目标属性信息库进行自动匹配和目标画像,对军事舰船的类型进行细分并获得其相关属性值。特别地,本软件系统重点突破了高分卫星遥感图像中任意方向的舰船目标的检测识别,对目标预测致密的旋转矩形框和类别标签,并达到较高的识别准确率。

视频图谱

视频图谱采用对象检测与识别、对象属性学习、关联关系发现等技术,对监控视频进行语义解析。以行人为例,通过行人检测和人脸识别技术,识别某人什么时候出现在什么地点、通过属性学习,知道人的年龄、性别、发型、服饰类型和颜色等属性信息。在此之上,通过共现关系挖掘,建立行人之间的关联关系。最终,所有识别和挖掘结果用图进行存储和展现。视频图谱系统采用caffe深度学习框架进行智能识别、Neo4j作为图谱骨干网络存储、Spark大数据平台进行数据挖掘、SeaWeed分布式文件系统用于图片存储、D3.js进行图谱展示。视频图谱项目获得2015年武汉市黄鹤英才和2016国家自然科学基金面上项目资助。目前,同武汉市公安局一起,将该工作延伸到多源(人脸、车牌和WIFI嗅探)知识图谱构建中。

大规模人脸识别

大规模人脸识别系统能够对监控摄像头中人脸进行实时检测、实时比对以及比对结果的实时推送,该系统融合了深度人脸检测、深度人脸特征提取、人脸跟踪、高维数据索引等前沿技术。该系统的企业版Finder目前已经用于雪亮工程、智慧社区、智慧校园和智慧工厂的重点人物布控与人脸搜索中。该系统使用的深度人脸特征提取技术,在2017年12月15号的Megaface挑战数据库FaceScrub排名榜上位于全球第四名;其大规模数据索引算法-V-PQT算法,在十亿高维数据集上达到20微妙级,处于全球领先位置。

通航信息中心

基于Hadoop开源大数据框架及其生态组件,采用B/S架构和Spring+SpringMVC +Hibernate框架实现了通航信息中心平台Web应用程序。通过MQTT协议和storm流技术实时接收并解析外部飞行器报文信息等关系型数据存储于列式数据库HBase,同时将采集的图像、音视频数据及运行日志文件等非关系型数据存储于分布式文件系统HDFS。提供通航飞行流量监测、气象信息监测、空域优化分析、飞行安全信息和综合信息管理等服务。

无人机检测与识别

现实中有某些禁止无人机进入的地方,比如军事区域、某些禁止无人机拍摄的活动场地,无人机的检测和识别系统能够通过光学摄像头实时检测无人机的侵入,并且识别出无人机的类型,目前有旋翼机和固定翼机两种类型。检测使用的是深度神经网络,通过一次前向的过程,可以检测一张图片中是否包含无人机。将视频流抽帧,每隔一秒检测一次,其它帧使用跟踪算法跟踪已经检测的无人机。这套无人机的检测和识别系统可以为无人机的反制系统提供位置信息,而且一旦检测成功会发出警告,避免了长时间人为地观察。

人证合一

人证合一是一种非常方便的身份验证技术,通过对比真人和证件照的图像特征,估量人脸的生物学差异,来排查冒名顶替等作弊行为。认证合一因其直观性、隐蔽性、非侵犯性和可交互性等优点,可以广泛应用于出入考勤、机场实名制、交易身份验证等。系统采用深度学习从大规模人脸数据集自动学习分成抽象特征,相对于传统手工特征具有更好的普适性和鲁棒性,能适应开放和复杂的使用环境。认证合一系统采用B-S模式,将人脸检测对齐、面部特征提取和相似度评估等大计算模块置于GPU服务器上,将交互和展示模块放在客户机上,充分提高使用体验和硬件成本。

活体检测

现目前,人脸识别已经广泛用于智能门禁、网络支付、银行业务办理和网络购物等应用场景的身份认证。然而,对人脸识别威胁最大的是各种人脸伪造(照片翻印、视频重播放和面具)攻击,现有多数算法可以轻松被破解。本项目研究的活体检测技术,是基于深度体感相机(目前已经适配了图漾和kinect深度体感相机),训练一个深度分类器确定提供的人脸是否为活体,目前识别率在99%以上,结合时域信息,该算法能够完全抵抗照片打印和视频播放攻击。

图像标题自动生成

图像标题自动生成(Image Captioning) 是一个高级视觉理解任务,目的是使计算机学会看图说话。要求内容准确突出,表达流畅自然。该技术可以应用于视觉数据挖掘,视力障碍辅助,图片理解与交互,典型应用如微软小冰的写诗和斗图。项目采用了局域深度学习的跨膜翻译架构,利用CNN进行视觉语义编码,RNN进行自然语言解码。端到端的编解码流程完成了图像到语义空间再到语言模型的映射,其中CNN是理解精准的“读者”,LSTM是表达自然的“解说”。

行为分析

采用深度学习算法,能够对监控视频的行为进行实时检测,目前支持的行为有抛投、跌倒、打架、非法闯入、烟雾检测、火苗检测等视频智能行为分析。上述行为分析可以用于无人值守监狱、无人值守工厂等解决方案中。

智能鉴黄

该系统的核心关键技术为在近千万已标注的黄色/非黄色数据集上训练的深度学习算法,其可用于对静态照片中的内容进行分类,分类准确性超过99.5%。该工作为本实验室研究生在腾讯合作期间研究成果,目前该算法已经用于腾讯的微信、QQ等社交软件中非法内容过滤。基于该算法开发的监控视频智能鉴黄大数据分析平台,可以用于现有视频直播平台上视频流的实时监控。