阿里安全摘下AI视觉“奥斯卡”双料冠军 突破行为检测技术瓶颈
网商君
一场3个小时的直播结束后，由阿里安达实验室（达摩院和阿里安全联合实验室）和华中科技大学打造的顶级AI，在3分钟内精准检测最佳商品展示片段，自动进行视频剪辑并发布。不久前，在被誉为计算机视觉领域“奥斯卡”、AI领域规模最大的会议CVPR 2020上，这项行为检测AI技术超越百度、商汤、中兴等公司的同类技术，获得了双料冠军，并比去年微软、三星的参赛成绩高出约17个百分点。
在人工智能顶会拿下双料冠军
当前随着娱乐视频、直播平台的日渐成熟，直播视频数量也出现了井喷的趋势，自动化处理视频的需求日益增长。作为自动化处理视频的核心技术之一，行为检测AI也越来越受到学术界和企业界的共同关注。
阿里安达实验室高级算法工程师张士伟介绍，在CVPR 2020关于行为检测AI的两项赛道任务中，阿里和华科大联手提出的解决方案不仅获得了双料冠军，并以平均均值精度（mAP）42.788%的性能一举打破众多顶尖科技公司、科研院校去年无法突破“40%”的瓶颈，在AI视觉领域带来新的可能。
CVPR两个赛道的数据集分别有2万个视频和5万个视频，而且后者采用的是更贴近真实生活的视频数据。这次两个赛道任务目标是，给定一段无剪切的视频，参赛AI必须检测出目标行为发生的时间区间并正确预测该行为对应的类别。以一段跳水比赛视频为例，视频中有若干参赛选手的跳水动作，每个跳水动作约4秒，AI须准确定位某位或者多位参赛选手的跳水动作。
张士伟认为，CVPR的比赛任务还面临四大挑战：第一，目标行为时常分布广，从0.5秒到400秒不等，以赛道中一个200秒的测试视频为例，1秒采集15帧图像，AI必须在3000帧图像中精确定位；第二，视频背景复杂，通常具有很多不规则的非目标行为嵌入在视频中，比如一段集会场景的视频中有许多参会者，AI必须从复杂的背景中精准定位演讲者；第三，类间差大，行为的视觉效果会因人而异，比如专业舞者和业余舞者在跳同一段舞蹈，他们的动作必然有差异，AI要能识别这是同一段舞蹈。“此外，AI检测人体动作还面临人体之间的互相遮挡、视频分辨率不够、光照、视角等变化多样的其他干扰。”张士伟说。
虽然面临上述难题，两个赛道的数据属性也不尽相同，阿里安达实验室和华中科技大学还是创造性地提出了两项AI解决方案，出色地实现了比赛任务目标。
阿里安达实验室和华科大在CVPR两个赛道的获奖证书
技术能力得益于现实场景磨炼
技术的进步往往得益于复杂现实场景的磨炼和沉淀。行为检测AI经过长时间打磨，早在阿里安达实验室的多媒体AI和安全审核等系统中布局，成为安全AI的核心组件之一。阿里安达实验室负责人薛晖介绍，优酷、淘宝直播视频等早已受益于这项顶尖技术。
行为检测AI不仅可以准确定位、分析视频中的违规行为，甚至还能预测一些行为的趋势。同时，它还可以自动检测淘宝直播中某个商品的最佳动作展示片段，自动剪辑出精华视频用于橱窗展示。
“把行为检测AI应用在实际业务场景，并在业务的打磨和考验中不断成长，，这也是阿里安达实验室打造的这项AI技术能在CVPR 2020上取得双料冠军的原因。”薛晖说。
左为时长3小时的直播视频，右为行为检测AI识别出的某单件服装展示视频
打造数字基建“安全样板间”
今年3月，阿里发布数字基建新一代安全架构。从实战出发进行安全基建，让安全能力和业务数字化建设实现同步，是新一代安全架构的核心理念。
安全技术以往大多只应用于安全风控领域。阿里安全在20多年间的发展历程中，始终坚持立足于不断创新的业务场景打造安全技术。在保障业务安全的前提下，也在为一些商业难题提供新的解决方案，为业界打造安全基建的样板。
张士伟介绍，行为检测AI在体育、直播、影视传媒和安防领域有广阔的应用前景，比如精彩动作检测、智能集锦生成、介绍商品行为，以及通用动作检测识别、多模态搜索、异常动作检测等。在护航数字基建的同时，也为多个领域的创新和提效带来更多智能化助力。
核心关键字： 人工智能
相关文章
-
三年百县十万人才！阿里巴巴将在全国批量打造“客服县”
摘要：脱贫摘帽一年后，江西寻乌以“客服第一县”之名焕然一新。网商君脱贫摘帽一年后，江西寻乌以“客服第一县”之名焕然一新。7月22日下午，在阿里巴巴助力寻乌脱贫攻坚与乡村振兴重点项目签约仪式上，政企合作共建的“寻乌客服县”项目正式签约。“客服县”模式，是今年疫情期间，阿里集团客户体验事业群（简称CCO）在江西寻乌首创的，用数字服务业人才技能+实践结合的培训，带动小镇青年就地实现数字化就业的创新模式。...
2020-07-23 18:17:46 客服寻乌阿里巴巴 -
先认证再上岗，每年有近3000万人次在阿里认证平台上通过培训认证
近日，中国就业培训技术指导中心、人社部职业技能鉴定中心发布《关于印发国家职业技能标准制定工作计划的通知》。阿里巴巴参与“电子商务师”、“互联网营销师”等多个领域职业标准的制定工作。“社会急需紧缺职业”名单中的“呼叫中心服务员”等新职业的国家标准，也都明确由阿里巴巴牵头承担。阿里巴巴集团客户体验事业群（简称：阿里CCO）服务体验专家单南就参与了“呼叫中心服务员”标准制定工作。而在单南背后，有一支团队...
2020-07-23 14:17:06 阿里阿里巴巴客服 -
携手阿里云 ，润和软件金融科技五年（2020-2025）新战略深度报告
7月22日，江苏润和软件股份有限公司（下称润和软件或公司）在南京总部举行了主题为“赋能传统金融业的卓越数字化之路”的战略转型发布会，公司董事长兼总裁周红卫发表开幕致辞，阿里巴巴副总裁兼阿里云智能新金融事业部总经理刘伟光率高管团队参加，并做主题演讲。发布会期间，润和软件与阿里云等合作伙伴分别举行了战略合作协议签订仪式。南京银行、天津银行、徽商银行、上海华瑞银行、江西银行、江苏省联社、江苏紫金农商行、...
2020-07-22 17:17:13 金融阿里软件 -
一勺思想:“退休”了的马云，为何能牢牢掌握阿里的绝对控制权？|2020-7-22
前段时间，蒋凡因丑闻被取消阿里巴巴合伙人的新闻闹得沸沸扬扬的。陈欣老师也听闻了八卦，想给我们聊聊公司管理架构跟股票市场的关系。阿里最初弄出个合伙人制度是为了牵制软银等其他大股东？阿里还曾经因为合伙人制度被香港拒绝上市？阿里的料，好像还挺多的呢……不过，再怎么样，小筷子都是他们得不到的合伙人！陈欣：同学们好！前面我做了三期节目，分别是美团、茅台和高铁。主要的思路是去分析这些公司的商业模式或资本运作的方式，这样可以加强我们对这些公司底层创造价值的理解。但是，这样的分析仅仅是财报分析的一个角度。今天我给大家带来...
2020-07-22 12:01:36 合伙人阿里阿里巴巴 -
阿里商业操作系统呈现新方案 星巴克“啡快”上线支付宝、淘宝、口碑、高德
摘要：“啡快”上线速度可谓飞快，但背后的故事展开得并不突然。网商君7月21日，星巴克“啡快”服务上线支付宝、淘宝、口碑和高德，消费者可通过以上APP享受“手机下单、到店即拿即享”的便捷体验。据了解，饿了么也将随后上线这项服务。利用阿里巴巴商业操作系统，星巴克跨端、多场景服务消费者的能力加速进化。“啡快”订单完成后，消费者到星巴克门店凭口令领取咖啡“啡快”上线速度可谓飞快，但背后的故事展开得并不突然...
2020-07-21 19:17:04 阿里巴巴消费者星巴克 -
让商家更懂消费者 阿里安全用AI帮商家分析直播弹幕评论改善经营
摘要：每个淘宝直播间都是数字基建的“安全样板间”。网商君在数以千万计的直播弹幕评论之中，怎样快速梳理出关键有效的信息？弹幕信息在直播时一闪而过，肉眼无法“抓住”众多评论，很多的隐晦表达也容易被忽略。通过阿里安全的AI技术，不但可以帮助商家实时拦截弹幕中的违法违规信息，还可以对消费者的需求进行分析归纳，帮助商家适时改善经营和服务。目前，安全AI已经成为百万淘宝主播的标配。不久前，淘宝主播小清来到国内...
2020-07-21 14:17:07 淘宝阿里基建 -
阿里张建锋团队获浙江科学技术最高奖
摘要：这一奖项授予浙江省在当代科学技术前沿取得重大突破或者在科学技术发展中有卓越建树的个人、团队，每年授予数量不超过2项。7月17日，2019年度浙江省科学技术奖励大会在杭州召开，阿里张建锋团队与中国工程院院士李兰娟获得最高奖浙江科技大奖。这是2019年10月浙江科技大奖设立后首次颁奖。这一奖项授予浙江省在当代科学技术前沿取得重大突破或者在科学技术发展中有卓越建树的个人、团队，每年授予数量不超过2...
2020-07-18 20:17:37 达摩团队浙江 -
7.17虎哥晚报：当当网成立权益保护部；传三星正研发QNED
Apple Pencil新专利曝光；当当网成立权益保护部；传三星正研发QNED……...
2020-07-17 23:17:05 三星自如业主 -
国盛证券：无需流量焦虑，阿里已站在流量高地
摘要：阿里电商的内容布局和流量变现效率都走在了“后浪”的行列。网商君近期，国盛证券发布题为《竞争有多激烈，阿里的“后浪”就有多奔腾》的研报。针对近来舆论中被频繁提及的“阿里流量焦虑”，该研报提出，阿里的流量焦虑和生态焦虑可能被市场高估了。事实上，阿里电商的内容布局和流量变现效率都走在了“后浪”的行列。条条大路通淘系一段时间以来，公众舆论中出现了“阿里缺流量”的声音，随着此前腾讯市值短暂超过阿里，这...
2020-07-17 18:17:12 阿里流量淘宝 -
完全免费！阿里巴巴上线设计普惠公开课
摘要：设计能够让商业美而简单。网商君一年一度的全球设计大会受疫情等因素影响无法按计划举行，怎么办?阿里巴巴的设计师们做了个决定：把所有内容做成公开课，通过线上向社会开放，课程内容全部免费。日前，阿里巴巴宣布，今年AlibabaDesignUcan大会将以普惠公开课的形式举行。7月16日至23日，Ucan官网（ucan.alibabadesign.com）将陆续上线53讲设计课程，内容覆盖平面设计、...
2020-07-17 14:17:16 阿里巴巴设计师大会
| 留言与评论（共有 0 条评论） |
