业界美图推出业界最大规模教程类行为数据集CVPR2019
AI科技评论按,计算机视觉顶会CVPR2019即将于6月在美国长滩召开,今年有超过5165篇的大会论文投稿,最终录取1299篇。随着会议临近,各大公司纷纷揭晓自家被收录论文。
美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作,推出了业界最大规模教程类行为数据集COIN(COmprehensiveINstructionalvideoanalysis),相关论文(COIN:ALargescaleDatasetforComprehensiveInstructionalVideoAnalysis)已被CVPR2019录用。
COIN数据集概览
教程类行为视频(InstructionalVideo)可以帮助使用者获取完成各种行为任务的知识,但是现有教程类行为视频数据集在规模性和多样性上都存在较大的局限性,难以应用于现实生活中的复杂场景。为此,美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作提出了名为COIN的大规模教程类数据集,用于更全面的教程类行为视频分析。
COIN数据集在标注结构上采用分层的组织结构,第一层是领域(Domain)、第二层是任务(Task)、第三层是步骤(Step),其中包含与日常生活相关的11827个视频,涉及交通工具、电器维修和家具装修等12个领域的180个任务,共778个步骤。
COIN数据集的分层结构
COIN数据集的设计人员还开发了创新性的标注工具,可以更高效更准确地标注视频行为的步骤信息。此外,为了给数据集提供更准确的基准指标,数据集开发人员还使用了SSN、RC3D等评价方法对COIN数据集进行了测评。
COIN数据集的步骤定位准确率分析
论文地址:https:arxiv。orgabs1903。02874
GitHub地址:https:coindataset。github。io
点击阅读原文,查看更多关于CVPR大会的信息内容