字幕生成新招 如何将 OpenAI Whisper 应用于视频字幕制作

上一篇文章 <<走进 OpenAI Whisper 开源语音识别技术>> 介绍了如何使用 whisper 做音频识别，同时可以生成 音轨文件，本章将介绍如何使用生成的 音轨文件 做视频字幕。

1. 准备

• 测试视频，注意此视频并没有字幕
  

  您的浏览器不支持 video 标签。

• srt 和 vtt 文件，关于这两个文件的如何生成，参看上一篇文章 <<走进 OpenAI Whisper 开源语音识别技术>>

2. 使用 FFmpeg 与 SRT 文件做视频烧录

先看一下 srt 文件内容，可以发现是标准的音轨文件，段、时间与内容

1
00:00:00,000 --> 00:00:03,840
you know, meeting with startups and there's not a startup right now out there that is not applying

2
00:00:03,840 --> 00:00:09,200
these AI generative models, these large language models to every interesting problem of the sun.

使用如下 FFmpeg 命令将原视频与 srt 文件烧录到一起

$ ffmpeg -i 9s.mp4 -vf "subtitles=9s.srt" -c:v libx264 -preset medium -c:a copy output.mp4

最后得到带字幕的视频，如下：

注意，上面的是烧录操作，意味着字幕添加到视频中后，字幕就改不了了，除非重新操作

3. 使用播放器VLC加载VTT文件

视频文件与字幕文件分离，可以随时更改字幕文件。这里不局限于使用 VLC 播放器，大部分播放器都支持加载字幕文件。

如果字幕文件与视频文件在同一目录，且名称一样，后缀不一样，如 9s.mp4 与 9s.vtt，播放器会自动加载字幕，srt 文件也适用。

手动加载字幕的前提是视频与字幕文件名称不一样，或者不在同一位置，此时需要手动加载。

4. 结论

尽管有很多成熟的产品可以实现视频字幕，大部分视频编辑软件可以实现更为强大的能力，这里纯属个人好奇使用，不做他论。

走进 OpenAI Whisper 开源语音识别技术

OpenAI 在 GitHub 上发布的 Whisper 是一个自动语音识别（ASR）系统。Whisper 是一个端到端的深度学习模型，它对音频片段进行处理，并预测对应的文本输出。

Whisper 个人觉得是目前免费做语音识别最好的系统，使用它的理由：

1. 免费，开放源代码，意味着可以自由使用，包括商业化。
2. 在数据训练的大模型基础上，识别任务上变现出色，背景噪音的情况下，也有稳定的表现。
3. 语言识别模型可自由选择下载，意味着可以离线使用，只要你的机器硬件足够高，识别速度是非常快的。
4. 多语言能力以及翻译能力，支持多种语言的音频，同时也支持翻译成英文，目前仅支持英文
5. 可以作为命令行工具使用，也提供相关的 python 接口可供编程的能力

下面介绍安装和基本使用方法

安装

$ pip install git+https://github.com/openai/whisper.git
$ sudo apt update && sudo apt install ffmpeg

这里安装了 whisper 的 python 库，同时也需要安装 ffmpeg，因为 whisper 在处理音频文件时，会用到 ffmpeg 来进行音频解码和转码。

使用

Whisper 安装好后，提供了两种使用方式，即 终端使用 和 编程使用。

这里准备了一个音频素材，从 youtube 下载了一段 bbc 的视频，使用 ffmpeg 做了音频提取得到了一个 9秒的音频片段。

关于如何使用 ffmpeg 提取音频，参考文章 音视频处理工具 FFmpeg 的 TOP 10 常用场景

视频链接 ？？？？
音频链接 ？？？？

编程使用

这里使用 medium 模型，模型大小不到2G，初次使用会下载此模型，下载的路径是 ~/.cache/whisper

import whisper

model = whisper.load_model("medium")
result = model.transcribe("dataset/9s.wav")
print(result["text"])

 You know, meeting with startups and there's not a startup right now out there that is not applying these AI Generative models these large language models to every interesting problem of the sun

这里只是简单输出语音识别后的文字，更多的API，如生成不同格式的文本，见官方文档

终端使用

语音转文本

# 使用 medium 模型识别音频，生成 json、srt、tsv、txt、vtt 文件
whisper --model medium dataset/9s.wav

上面的命令会将识别的音频输出到控制台，同时生成带时间刻度的5个文本文件，当然也可根据自己的需求指定要生成的文件格式。

• 9s.json json格式的文本
• 9s.srt 文本文件格式，用于存储视频文件的字幕信息
• 9s.tsv 用于存储表格数据，类似于 CSV
• 9s.txt 简单文本
• 9s.vtt 文本文件格式，用于存储视频文件的字幕信息

语音转文本（翻译）

# 带翻译功能，但目前只能讲目标语言翻译到"英文"
whisper --model medium dataset/9s.wav --task translate

结论

OpenAI Whisper 可以说应该是目前最好的 ASR，基于已训练的模型可以自动识别语音，同时支持翻译能力。如果产品级使用，还需要解决模型加载速度以及RT时长的问题。

Reference

• OpenAI Whisper