所有文章 > AI驱动 > TorchCodec: 用于 PyTorch 的视频解码库
TorchCodec: 用于 PyTorch 的视频解码库

TorchCodec: 用于 PyTorch 的视频解码库

TorchCodec 文档格式优化

TorchCodec 简介

TorchCodec 用 CPU 或 GPU 将视频解码为 PyTorch 张量,进而用于机器学习模型的训练和推断。

GitHub:https://github.com/pytorch/torchcodec

用法示例

下面通过一个例子演示 TorchCodec 的基本功能。本示例改编自下列教程,选入本文时有改动。https://pytorch.org/torchcodec/stable/generated_examples/basic_example.html

下载视频

首先从网络上下载一个视频:(这个部分和 TorchCodec 无关)

构造译码器

然后构造一个 TorchCodec 译码器:

查看视频信息

查看视频的基本信息:

输出结果

输出结果为:

利用索引译码

利用索引得到视频译码结果:

输出

输出为

对译码器进行索引可以得到图像帧的 torch.Tensor 对象。默认情况下帧的形状为 (N, C, H, W) ,其中 N 是批大小,C 是通道数,H 是图像高度,W 是图像宽度。N 只有在对多个帧进行译码时才会存在。 可以修改 VideoDecoder 的参数 dimension_order 使得顺序改为 N, H, W, C。元素的类型总是 torch.uint8 。我们可以把得到的帧图像绘制出来。

image

image

安装方法

安装步骤

TorchCodec 的安装步骤如下:

  1. 安装 PyTorch。
  2. 安装 FFmpeg。很可能电脑上已经安装了。如果没有安装,可以用下列命令安装。
  3. 安装 TorchCodec。用 pip 安装即可。GPU 版本需要给额外的参数。

CPU版安装

# CPU 安装命令示例

GPU版安装

# GPU 安装命令示例
# 参数 --index-url 对应的 CUDA 版本应和 PyTorch 版本一致

点击“阅读原文”查看 TorchCodec 官方文档(英文)。↓↓↓

原文转载自:https://mp.weixin.qq.com/s/nQWCWfuUDcfYpI8zgAARQQ

#你可能也喜欢这些API文章!