动一动,机器就能发现你?有关专家表示,现阶段,这是一件“可以有”的事。
近日,谷歌发布AVA(Atomic Visual Actions)数据库,由YouTube公开的视频集组成,这些视频可以用80个原子动作进行标注,例如走路、握手、踢东西等,所有动作具有时空定位,累计有5.76万个视频片段,9.6万个人类动作,以及21万个动作标签。谷歌称,此次发布的AVA技术将帮助谷歌分析多年的视频,还能帮助广告商更好地瞄准消费者。他们的最终目标是教计算机社交视觉智能化,即“理解人类在做什么,下一步该做什么,以及他们想要实现什么目标。”
应用
安防等领域大展神威
“目前,人体行为识别大多还处在动作识别阶段,对于实际应用而言,识别人的动作,还是一个巨大的挑战。”11月8日,济南大学模式识别与智能系统研究所所长李金屏教授告诉记者,动作识别可以看成是特征提取和分类器设计相结合的过程。养老院中,如果出现老人摔倒,行为识别系统可以立刻向工作人员发出警报,甚至直接与医院进行联系;黑科技满满的《碟中谍5》,安保系统的最后一道防线是步态识别……尽管技术难点重重,行为识别目前仍然在相关领域获得了应用。
浙江大学人工智能研究所所长吴飞教授告诉记者,这项最早被苹果和微软应用于游戏的技术,还在公检法(在押人员审讯看护)、电力(风力发电、国家电网的安全生产)、银行(业务区域智能安防)、医院(病人状态监护)等多个场景有更广的应用空间。尤其在安防等领域,以行为识别为基础的应用更广泛。
在近年来寻找失踪人口和嫌犯追逃的工作中,步态识别已经发挥了不小的作用。《机智过人》节目中,银河水滴科技成功通过步态识别现场“嫌疑人”,加大难度后,还靠步态识别出狗的剪影。
银河水滴科技创始人兼CEO黄永祯说,通过步态识别来实现异常行为分析,这是步态识别相比于其他生物特征识别的重要优势之一。异常行为的应有之义就包括可以通过视觉观察目标体形和动作状态,来发现是否有异常行为,通常会涉及目标检测、分割、关键点定位、识别、跟踪等技术环节,而这些技术环节也是步态识别的核心底层技术。目前,他们已能很好地完成远距离非受控模式识别。
难点
定位、跟踪、场景步步维艰
“行为识别的难点,首先表现为从连续视频流中对人体运动的定位难、追踪难。”吴飞说,在视频行为识别中,要找到一个连续动作的起点和终点,即将连贯动作从视频流中定位出来,在视频识别中是非常困难的。而在找到某个连贯动作的起点后,对这个动作进行鲁棒跟踪也比较困难。比如一个跳跃动作,要实现追踪动作持续展开的过程就不容易,还要考虑场景的复杂性以及背景动态变化或者摄像头晃动等因素。
不仅如此,场景识别也是一大难点。首先,即使是同一类动作,在不同时刻、不同场景也具有很大差异性。吴飞举例说,比如不同的人在不同时刻行走,速度、姿态和场景遮挡等方面都有差异。不同类别动作之间更是如此。李金屏表示,“与静态对象不同,动作会随着时间的推移而展开,会有更多不确定因素。”比如一幅人的“跑步”照片,实际上有可能只是这个人在跳跃的动作,只有看到更多画面,才有可能清楚地知道到底发生了什么。可见人在场景中的动态是多么复杂。因此某一动作的识别方法很难直接用在另一动作的识别上。“一个动作,人类辨识两三遍就可以了,但要让机器记住并识别,则需要大量的训练数据。”李金屏说。
此次谷歌发布的AVA与其他数据集相比,通过在相关场景中提供具有精细时空粒度的多个标签,将极大推动人们对于相关模型的深入研究,最终不但能够实现人的复杂活动精确建模,还将进一步获得实际应用。
展望
设备平台、理论模型方兴未艾
“在行为识别领域,中国未来五年、十年的发展后劲非常强,建议在设备和平台方面进行攻关,现在国内好多团队的设备还是采用微软等国外企业的设备和平台,希望国家在这方面给予一定的支持和政策引导。”李金屏说。
在吴飞看来,中国的科研团队和企业还应该在理论模型、数据驱动等基础理论方面进行深耕。“一个行为动作的过程要经历多个状态(对应很多时间帧),人体在每个时刻也呈现出不同的姿态,那么,是不是每一帧在动作判别中的重要性都相同呢?对于行为动作的判别,是不是每个关节点在动作判别中都同等重要呢?这些都需要理论模型等基础理论的完善。”吴飞说。
新闻推荐
厉害了!两注七乐彩135万大奖同期现身泉城 不得了!中奖站主都是《福星彩运》节目嘉宾
双十一过完了,大家的钱包都还好吗?其实,今天我们要讨论的,不是你双十一花了多少钱,而是有人一夜之间钱包里多了135万!这究竟是怎么回事呢?原来,是济南彩友中了两注七乐彩一等奖!今年济南市一等奖...
济南新闻,弘扬社会正气。除了新闻,我们还传播幸福和美好!因为热爱所以付出,光阴流水,不变的是济南这个家。