中国移动咪咕公司紧跟AIGC的科技发展潮流,结合人工智能视频理解算法、AR足球视频增强等前沿技术,自研了AIGC增强版横转竖。该技术基于人工智能视频理解算法,实现了竖屏视频的智作,同时,结合AR足球视频增强、渲染等技术提供了世界杯趣味观赛新视角。

竖屏短视频便于手机用户观赏精彩画面,促进热点视频宣发。然而,人工裁剪耗时费力,无法满足批量生产要求;另外,在数字内容多样化发展的背景下,体育赛事呈现方式也面临挑战,由直播画面直接裁剪而成的竖屏短视频展示形式单一。AIGC增强版横转竖从竖屏视频智作和足球观赛画面两方面做了技术升级,在助力热点视频宣发的同时,不断提升用户体验。

一方面,AIGC增强版横转竖结合了十多种计算机视觉技术,自动完成从视频分析、裁剪到合成的全部过程。整个流程无需人工干预,可24小时持续进行,实现竖屏视频的智能制作,让用户第一时间了解赛事热点。该能力基于人物、动作、情感、场景变换、镜头、核心区域等多维度进行AI视频分析,自动找出包含精彩内容的画面位置。同时,结合视频合成和镜头平滑等技术,完成视频裁剪合成。该能力克服了世界杯场景下足球移速快、目标易遮挡、精彩片段连续剪辑难度大的难题。通过多轮算法的深度优化,实现视频核心区域的精准检测与跟踪,保证了高速运动场景下核心目标的自动捕捉;通过对精彩片段连续性的判断、预测,对动作和画面情节变化趋势的分析,实现精彩区域的准确定位,保证前后主体意境连续性。世界杯场景下,可精准识别、跟踪足球运动情况,裁剪出以足球为运动中心的精彩竖屏信息。除此之外,AIGC增强版横转竖还支持夏奥会、冬奥会、欧洲杯等体育赛事和咪咕汇、视频彩铃等各类裁剪场景。