Claude Models 使用说明

1. 什么是Claude 3系列模型？

Claude 3系列模型是由Anthropic推出的最新AI助手系列，包括Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus。每个模型在智能能力、速度和成本上都有不同的定位，适用于多种应用场景。这些模型在分析预测、内容创作、代码生成和多语种交互方面都有显著提升。更强的视觉处理能力使得它们能处理照片、图表和技术图等多种视觉格式，为企业客户提供支持。

Claude 3系列

2. Claude 3模型的核心特点

2.1 先进的智能水平

Claude 3 Opus是目前最智能的模型，在多个评测基准上超越同行，包括本科和研究生水平的知识测评。它在复杂任务中表现出接近人类的理解和流畅性。

2.2 强大的视觉处理能力

Claude 3模型拥有先进的视觉处理能力，可处理照片、图表、图形和技术图表。这对于企业用户来说尤其重要，因为很多知识库以PDF、流程图和幻灯片格式存在。

视觉能力

3. Claude 3模型的多模态使用技巧

3.1 图片处理建议

Claude 3支持上传base64编码的图片，推荐使用WebP格式以减少存储空间。对于大尺寸图片，先将其resize到1568像素以下，可以减少API调用时的流量。

3.2 图片预处理代码示例

以下是一个在Amazon Bedrock上调用Claude 3模型的完整代码示例，包含图片类型检查、转换及编码。

import io

import base64

import json



import httpx

from PIL import Image

import boto3



AVAILABLE_FORMAT = {"jpeg", "png", "gif", "webp"}

MAX_SIZE = 1568



def preprocessing_image(image_url, target_format=None, re_encoding=False):

    image_data = httpx.get(image_url).content

    image_pil = Image.open(io.BytesIO(image_data))

    image_format = image_pil.format.lower()

    target_format = target_format if target_format else image_format

    if target_format not in AVAILABLE_FORMAT:

        target_format = "webp"

    re_encoding = re_encoding or (target_format != image_format)

    width, height = image_pil.size

    max_size = max(width, height)

    if max_size > MAX_SIZE:

        width = round(width * MAX_SIZE / max_size )

        height = round(height * MAX_SIZE / max_size )

        image_pil = image_pil.resize((width, height))

        re_encoding = True

    if re_encoding:

        buffer = io.BytesIO()

        image_pil.save(buffer, format=target_format, quality=75)

        image_data = buffer.getvalue()

    image_base64 = base64.b64encode(image_data).decode("utf-8")

    return image_base64, target_format

4. 多模态输入方式

4.1 单张图与文本结合

在API请求中，图像最好放在文本之前，这样Claude 3在处理时效果最佳。以下是API请求的示例：

messages=[

    {

        "role": "user",

        "content": [

            {

                "type": "image",

                "source": {

                    "type": "base64",

                    "media_type": image_media_type,

                    "data": image_data,

                },

            },

            {

                "type": "text",

                "text": "Describe this image."

            }

        ],

    }

]

4.2 多张图的处理

Claude 3一次最多处理20张图，可以利用编号进行区分。多张图的API请求示例如下：

messages=[

    {

        "role": "user",

        "content": [

            {

                "type": "text",

                "text": "Image 1:"

            },

            {

                "type": "image",

                "source": {

                    "type": "base64",

                    "media_type": image1_media_type,

                    "data": image1_data,

                },

            },

            {

                "type": "text",

                "text": "Image 2:"

            },

            {

                "type": "image",

                "source": {

                    "type": "base64",

                    "media_type": image2_media_type,

                    "data": image2_data,

                },

            },

            {

                "type": "text",

                "text": "How are these images different?"

            }

        ],

    }

]

5. Claude 3模型的应用示例

5.1 图像理解与标签生成

Claude 3模型可以用于商品标签生成，为特定任务生成标注标签。通过详细描述图片内容，Claude 3能够生成更精确的标签。

商品标签

5.2 视频问答

Claude 3能够分析视频，通过拆帧将视频内容转化为图片进行处理。

def parsing_video(video_path):

    container = av.open(video_path)

    stream = container.streams.video[0]

    stream.codec_context.skip_frame = "NONKEY"

    images = []

    for index, frame in enumerate(container.decode(stream)):

        if index > 20:

            break

        images.append(frame.to_image())

    return images