Phenaki AI：从文本生成长视频的技术革命

什么是Phenaki？

Phenaki是由谷歌团队开发的一种创新系统，能够通过自然语言描述生成任意长度的视频。这项技术旨在通过将文本转化为视频的能力，推动影视制作领域的变革。传统上，视频需要通过复杂的拍摄和编辑过程来实现，而Phenaki则能够以更为直接的方式将创意转化为视觉作品。

Phenaki示例视频

Phenaki的工作原理

视频编码器和解码器的使用

Phenaki系统利用编码器和解码器来处理视频数据。编码器负责将视频帧压缩成嵌入向量，而解码器则将这些嵌入向量还原成像素。通过使用C-ViViT编码器/解码器，Phenaki能够有效地将视频帧分割成不重叠的图块，并学习如何将这些图块表示为向量。

语言模型的嵌入生成

在文本处理方面，Phenaki使用了T5x语言模型，将输入的文本转化为嵌入。该模型经过大量网络文本的预训练，能够捕捉文本中的语义信息，为生成视频提供基础。

双向Transformer的合成

Phenaki采用MaskGIT双向Transformer来合成视频嵌入。该模型通过对大量文本-视频和文本-图像对的预训练，学会了如何将文本和视频嵌入结合，生成新的视频嵌入。

嵌入到像素的转换

在生成视频的过程中，Phenaki使用C-ViViT解码器将合成的嵌入转化为像素，从而实现视频的可视化输出。

Phenaki的应用前景

在影视制作中的潜力

Phenaki技术为影视制作提供了一种全新的方式。通过文本描述生成视频，创作者可以更快地将想法可视化，这在电影制作、广告创意等领域具有巨大潜力。

在教育和培训中的应用

对于教育和培训，Phenaki可以用来生成教学视频，通过文字脚本快速生成可视化的教学内容，提升学习效果和趣味性。

在虚拟现实中的创新

Phenaki还能够用于虚拟现实内容的生成，为用户提供沉浸式的体验。通过自然语言描述，用户可以创建个性化的虚拟世界。

代码实现示例

在使用Phenaki生成视频时，可以通过如下代码实现视频的生成和保存：

import torch

from phenaki_pytorch import CViViT, MaskGit, Phenaki

from phenaki_pytorch import make_video

import torchvision



maskgit = MaskGit(

    num_tokens=5000,

    max_seq_len=1024,

    dim=512,

    dim_context=768,

    depth=6,

)



cvivit = CViViT(

    dim=512,

    codebook_size=5000,

    image_size=(256, 128),

    patch_size=32,

    temporal_patch_size=2,

    spatial_depth=4,

    temporal_depth=4,

    dim_head=64,

    heads=8

)



phenaki = Phenaki(

    cvivit=cvivit,

    maskgit=maskgit

).cuda()



entire_video, scenes = make_video(phenaki, texts=[

    'Generate a video of a cat playing with a ball in a garden.',

], num_frames=(45, 14, 14), prime_lengths=(5, 5))



entire_video = entire_video[0].detach().cpu()

min_val = entire_video.min()

max_val = entire_video.max()

entire_video_as_uint8 = ((entire_video - min_val) * 255/(max_val-min_val)).to(torch.uint8)

vid_arr = torch.permute(entire_video_as_uint8, (1, 2, 3, 0))

torchvision.io.write_video(filename="output.mp4", video_array=vid_arr, fps=24)

如何获取Phenaki的API Key

API Key的重要性

要使用Phenaki的API生成视频，首先需要获取API Key。API Key是验证用户身份和权限的关键，确保只有授权用户才能访问和使用该服务。

API Key的申请步骤

注册账户：访问Phenaki的官网，注册个人账户。
完成验证：根据提示完成邮箱验证或手机验证。
申请Key：登录账户后，进入API管理页面，申请API Key。

API Key的使用

在代码中使用API Key时，需要在请求头中包含该Key，以便服务器验证用户身份。例如：

headers = {

    'Authorization': 'Bearer YOUR_API_KEY_HERE'

}

response = requests.post(url, headers=headers, json=payload)

常见问题 (FAQ)

Phenaki支持哪些语言的文本输入？

Phenaki目前主要支持英语文本输入，但随着技术的发展，可能会逐步支持更多语言。

使用Phenaki生成的视频是否需要版权保护？

由Phenaki生成的视频通常属于使用者的创意成果，但具体的版权问题建议咨询法律专业人士。

如何提高生成视频的质量？

视频质量可以通过提供更详细和具体的文本描述来提高，同时确保输入文本的语法正确。

是否可以使用Phenaki生成商业广告？

可以，Phenaki的商业应用潜力巨大，包括广告创意、宣传片制作等。

Phenaki生成的视频有长度限制吗？

理论上，Phenaki可以生成任意长度的视频，但具体长度可能受到计算资源和生成速度的限制。

通过本文，我们深入了解了Phenaki的工作原理及其应用前景。Phenaki通过将文本转化为长视频，展示了其在影视制作、教育培训和虚拟现实等领域的巨大潜力。获取API Key并正确使用是使用Phenaki的关键，这将为用户提供更为便利的创作体验。