影谱科技AI赛事内容生成方案MoviebookSAiDT多维

　　近日，影谱科技推出AI赛事内容生成方案MoviebookSAiDT，辅助赛事平台构建AI智能影像内容一站式平台，提供动态内容的增强视觉生成与运营，有效降低内容制作成本，提高多类型内容并发能力。
　　MoviebookSAiDT深度融合了生成式AI（GenerativeAI）与数字孪生技术，运用独创的从2D视频中捕获动作的估算框架（MCVS）、沉浸式媒体内容创建基础设施平台（MAGC）等影谱AI工具栈，SAiDT可以模拟赛道、体育场环境和体育场内导航服务，与赛事内容进行组合输出新的增强赛事视频。
　　本次冬奥会某项目测试赛就成功应用该技术，实现快速、高效地为观众提供优质体育赛事视频内容的目标。同时，基于影谱科技AI视觉识别的体育赛事视频自动识别系统，还可以对赛事直播信号进行实时识别，在短时间内将海量赛事内容，自动化浓缩成几分钟的赛事集锦并定向发布。高效准确、规模化的内容生产模式极大地节省了人力时间成本，并为深度开发体育媒体版权内容价值，创造了更多的可能性。
　　此外，MoviebookSAiDT方案支持现有设备导入视频流，支持2D视频一键升级为AI增强视频，兼顾大批量AI视频内容的成本效益与运营效率。SAiDT支持对标准视频流的洞察和分析、提取关键帧，使用高技能注释器进行更准确的数据标记、自动生成新的关键数据，创建新的AI增强视频，并传送至媒体平台，同步完成内容生成与商业化运营。
　　事实上，赛事内容生成及运营是科技冬奥三大战略方向之一。影谱SAiDT强调实用与技术的融合，将业务流有效分为前端视频导入与自动识别动作捕捉估算、自动生成与运营场景自适应四个环节，以AI内容生成技术为先进生成工具，实现赛事视频生成与运营的自动化，让高门槛、高投入的传统视频录剪业务环节升级为AI流程，并被主要文化与体育内容生态系统所采用。
　　从2D视频中高速捕捉动作，SAiDT实现大规模应用
　　如何实时捕捉运动员的姿势和状态是关键技术难点。常见的3D姿势重建模型主要依赖于在运动员身上嵌入额外的传感器，与之相反的是，体育赛事当中运动员不具有装特殊传感器的条件。另一种方法是，可以使用普通手机建立无缝数据收集机制，但鉴于2D视频缺乏信息深度，使用2D视频数据开发3D模型是一项挑战。
　　影谱科技AI孪生技术团队开发了一种从2D视频中捕获人体动作的估算框架（MCVS），创建一个轻量级的AI运算集，以提取和预判运动员表现及运动轨迹。该系统MCVS是一种跟踪对象并试图预测其在空间中可能发生的变化的计算机视觉技术，每天可以处理日常视频网络上的数百万端视频图像，提取关键帧，进行自动结构化，为下游任务提供大量数字化资源，如视频内容搜索、增强视频内容生成、视频识别、衍生视频游戏生产、赛事视频内容营销等。
　　为此，MoviebookSAiDT支持常规视频的导入是关键一步。例如从手机或相机导入视频，使用人工智能（AI）从标准相机馈送中提取3D运动并叠加洞察力和数据，创建新的2D3D沉浸式增强图像。研究人员最近也在尝试将Transformer架构（一种自然语言处理中的主流模型）用于各种计算机视觉任务并取得了具有竞争力的结果。实际上，很少有工作来探索用于3D人体姿态估计（HPE）的transformer架构，在这项工作中，影谱科技提出了级联transformers（cascadetransformers），这是一种基于transformer的新方法，用于从单个图像进行3D人体姿态估计，能够很好的建模静态和动态人体关节关系。大量实验结果表明了其出色的性能。跟踪只是开始，影谱科技披露的技术结果表明，体育赛事图像不仅在于收集有关运动员的数据，还在于使用这些数据来创建新的数字内容及分析，完成自动镜头分切及自动内容组合下的体育见解。
　　SAiDT融合AI内容生成技术与数字孪生，体育赛事内容迈向3D
　　早在2018年，影谱科技推出AI内容生成基础设施MAGC，强调生成式AI技术与数字孪生技术结合，使开发人员能够通过低代码方式构建和管理他们的视频内容生产基础设施，提供一系列简单的AI内容创建工具集，从生产出发扩展至全产业链。
　　MoviebookSAiDT方案是AI内容生成基础设施MAGC在体育赛事的关键应用领域，依托数字仿生交互类、3D建模及重建类等成熟的AI算法及稳定的AI工程化能力，可快速生成可视化、交互性强的增强视频内容，还可创建专属的运动员训练模型及赛事锦集。根据内容定位自动剪切为精彩短视频流。
　　某赛事运营平台上线了影谱MoviebookSAiDT平台，平台负责人表示，真正的重大转变是当一项技术不仅用于娱乐或研究，而且被实践所接受时，类似的技术可能会成为各种运动的标准。数据显示，使用SAiDT来分析赛事图像、自动化完成逐个像素注释，识别关键特征进行3D姿势估计，模型就可以完成3D简化渲染，生成AI视频内容。影谱SAiDT系统从捕捉到关键镜头到内容生成、内容交付全过程，能极大降低人力成本。
　　AI化的赛事内容展播在全球体育产业也达成共识。中商产业研究院数据显示，2021年我国体育赛事运营总市场规模可达3636。7亿元，其中AI自动化内容生产成为刚性需求。计算技术的进步使AI能够更有效地将2D图像转换为沉浸式模型，并以最有效的方式向其消费者提供最佳内容。未来，运动员可能会更多地依赖AI处理的海量数据来提升他们的比赛水平，赛事运营平台也能通过AI自动化内容生成和播报实现更好的发展。