B-Script：基于文本的推荐式视频B-roll编辑

在视频编辑中，向视频中加入B-roll是一种比较常见的做法。B-roll可以使得原视频变得更加丰富、更加吸引人。但是，对于新手来说，很难选择插入哪个B-roll，以及插入A-roll的哪个位置。因此，本文[1]提出了B-Script来辅助用户解决上述问题。特别的，B-Script主要针对vlog的B-roll插入问题。

形式分析

为了更好地设计B-Script，文章做了如下的分析：

一些流行vlog的分析

文章分析了Youtube上4个频道上1,100条vlog，并提取出其中的B-roll。通过分析这些vlog中的B-roll，文章得出了如下的结论：首先，所有的B-roll可以被大致分为两个风格：低质量的社交媒体风格(social media style)，以及高质量的专业风格(professional style)。同时，文章还发现了B-roll和文本之间存在着较为紧密的联系。例如，在文本中提到过的物体很有可能在接下来的B-roll中出现。此外，通过分析每一条B-roll，还可以发现大多数B-roll的长度在0.5-8秒，以及两条连续的B-roll之间的间隔的平均值为9秒。

经过专家注释的数据集的分析

文章中同时邀请了一些经验丰富的视频制作者，让他们在给定的一些视频中加入B-roll，来看他们插入B-roll的策略有没有相似之处。首先，对于每个视频，文章使用了Jaccard相似度来计算不同制作者插入的B-roll位置之间的相似度。结果是随机插入相似度的两倍。这表示着对于一个视频，的确存在着好的插入B-roll的位置。此外，文章还分析了视频的文本，并发现视频制作者选择查找B-roll的查询词(query word)通常在B-roll开始位置前后1秒之间。

B-Script用户界面

基于以上的分析，文章提出了B-Script的用户界面。如下图所示，B-Script有三个主要视图：视频面板(video panel)，B-roll搜索面板(B-roll search panel)，以及交互式视频文本(interactive video transcript)。

B-Script的用户界面

B-Script允许用户探索视频、搜索两种风格的B-Roll，以及插入B-Roll和视频的渲染。此外，文章中还提出了一种B-Roll的推荐算法，给用户推荐可能的B-Roll插入位置。

此前的分析已经得到了，B-Roll与视频文本之间存在着紧密的联系。因此，文章把每个B-Roll的第一个单词作为关键词(keyword)，通过判断一个单词是否为关键词来决定是否在此处插入B-Roll。文章使用了每个单词的TF-IDF向量、单词情感态度、词性，以及在当前文本中的出现次数，将每个单词转化成了5,033维向量，再利用这些向量，以及由专家标注过的数据集，训练了一个SVM，来判断一个单词是否为关键词。

用户研究

文章为用户研究提出了一下三个问题：

• 基于文本的用户界面是否比基于时间轴的用户界面更有效
• 推荐系统是否对视频的编辑有帮助
• 推荐系统是否对生成更好的视频有帮助

文章中为用户提供了三个用户界面进行比较：

• 基于时间轴的用户界面（如下图）
• 没有推荐系统的基于文本的用户界面
• 带有推荐系统的基于文本的用户界面

基于时间轴的用户界面

同时，文章还为用户提供了三种推荐的方法：

• 算法给出的推荐
• 专家给出的推荐
• 固定时间间隔给出的推荐

而问卷则对任务的难易度、帮助性，以及满意度等方面对用户进行询问。

结论

文章基于用户研究的结果，给出了如下的结论：

• 基于文本的用户界面比基于时间轴的用户界面更有效
• 基于文本的用户界面与基于时间轴的用户界面操作难度相当
• 高质量的推荐很有用
• 高质量的推荐对好的视频的生成有帮助

小结

本文提出了B-Script，一个帮助用户在视频中插入B-Roll的系统，以及B-Roll的推荐算法，能够帮助用户更好地进行B-Roll的编辑。

在未来的工作中，可能会设计其他类型的视频，如MOOCS等。此外，B-Roll与视频中其他的信号的关系，例如演讲者的停顿、手势行为等，有待更深的挖掘。

参考文献

[1]. B-Script: Transcript-based B-roll Video Editing with Recommendations. Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems . ACM, 2019.