29/03/2024
Claude 3 mang đến khả năng thị giác (Vision mode) mới mẻ, cho phép Claude hiểu và phân tích hình ảnh. Đây là bước đột phá mở ra những tương tác đa phương thức thú vị. Giờ đây, bạn có thể cung cấp cho Claude cả đầu vào dạng văn bản và hình ảnh để làm phong phú cuộc trò chuyện và kích hoạt các chức năng mạnh mẽ.
Điều tuyệt vời là bạn không cần phiên bản Claude 3 đặc biệt nào để sử dụng tính năng này. Tất cả các model Claude 3 đều có khả năng hiểu và phân tích hình ảnh.
Để tìm hiểu thêm về cách sử dụng hình ảnh trong Claude 3, bạn có thể tham khảo hướng dẫn chi tiết, bao gồm các phương pháp hay nhất, ví dụ về code và những lưu ý về hạn chế.
Bài viết liên quan: Claude 3 Haiku: “Chất lượng hơn” GPT 3.5 và Gemini 1.0 Pro
Claude 3 cung cấp khả năng hiểu và phân tích hình ảnh. Chế độ Vision (Tầm nhìn) cho phép bạn tận dụng sức mạnh này theo ba cách chính:
Tuy nhiên, ở bài viết này sẽ hướng dẫn chủ yếu về cách sử dụng Claude Vision thông qua API.
Hướng dẫn này không đề cập đến việc sử dụng SDK Python của Anthropic, mà chỉ cung cấp một ví dụ đơn giản về cách Claude 3 có thể nhận và xử lý ảnh được mã hóa base64 trong yêu cầu API của Messages.
Lưu ý: Phần code Python được trích dẫn chỉ nhằm mục đích minh họa và không cần thiết để sử dụng Vision mode của Claude 3.
import anthropic
import base64
import httpx
client = anthropic.Anthropic()
image1_url = "https://tenten.vn/tin-tuc/wp-content/uploads/2023/03/GMO-Viet-My-Chuyen-doi-so-Khoi-nghiep-1-1024x683.jpg"
image1_media_type = "image/jpeg"
image1_data = base64.b64encode(httpx.get(image1_url).content).decode("utf-8")Vision mode cho phép bạn tận dụng hình ảnh để hỗ trợ Claude 3 trong quá trình xử lý thông tin. Bạn có thể kết hợp hình ảnh và văn bản để Claude 3 hiểu được yêu cầu của bạn tốt hơn.
message = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=1024,
messages=[
{
"role": "user",
"content": [
{
"type": "image",
"source": {
"type": "base64",
"media_type": image1_media_type,
"data": image1_data,
},
},
{
"type": "text",
"text": "Describe this image."
}
],
}
],
)
print(message)Bạn có thể cung cấp hình ảnh cho Claude 3 dưới dạng các định dạng phổ biến như JPEG, PNG, GIF và WebP.
Khuyến nghị:
Bảng kích thước ảnh tối đa theo tỷ lệ khung hình:
Bảng dưới đây liệt kê các kích thước ảnh tối đa được chấp nhận bởi API của Claude 3 theo các tỷ lệ khung hình thông dụng. Những ảnh này sẽ không bị resize và ước tính tương đương với khoảng 1600 token và chi phí khoảng $4.80 trên 1000 ảnh (giả sử sử dụng Claude 3 Sonnet).
Để tạo ra chất lượng kết quả đầu ra tốt nhất, xin lưu ý với 4 quy tắc sau đây:
Chất lượng ảnh: Ảnh cần rõ ràng, không bị mờ hoặc vỡ nét. Claude có thể gặp khó khăn khi xử lý ảnh không rõ ràng hoặc chất lượng thấp.
Vị trí ảnh: Giống như việc đặt câu hỏi với văn bản, Claude hoạt động tốt nhất khi ảnh được đặt trước văn bản. Ảnh đặt sau văn bản hoặc xen kẽ với văn bản vẫn hoạt động tốt, nhưng nếu ngữ cảnh cho phép, bạn nên đặt ảnh trước rồi đến văn bản.
Văn bản trong ảnh: Nếu ảnh chứa văn bản quan trọng, hãy đảm bảo văn bản đó dễ đọc và không quá nhỏ. Tuy nhiên, tránh cắt xén phần tử hình ảnh quan trọng chỉ để phóng to văn bản.
Nhiều ảnh: Bạn có thể bao gồm nhiều ảnh trong một yêu cầu (tối đa 5 ảnh trên claude.ai và 20 ảnh cho yêu cầu API). Claude sẽ phân tích tất cả ảnh được cung cấp để xây dựng câu trả lời. Tính năng này hữu ích để so sánh hoặc đối chiếu các hình ảnh.
Bạn có thể cung cấp cho Claude 3 cả văn bản và hình ảnh để làm phong phú cuộc trò chuyện và thực hiện các tác vụ mới mạnh mẽ.
Ví dụ: bạn có thể hiển thị một bức ảnh và yêu cầu Claude 3 mô tả nội dung, phân tích cảm xúc trong ảnh, hoặc thậm chí sáng tạo văn bản dựa trên hình ảnh đó.
Để tận dụng tối đa Vision mode, hãy lưu ý mẹo nhỏ: cung cấp hình ảnh trước khi đặt câu hỏi về chúng hoặc hướng dẫn thực hiện tác vụ liên quan. Nếu có nhiều ảnh, hãy giới thiệu từng ảnh với chú thích “Ảnh 1:”, “Ảnh 2:”, v.v.
Claude 3 sẽ hỗ trợ bạn tương tự như khi xử lý văn bản, giúp bạn khai thác thông tin từ hình ảnh hiệu quả hơn.
| Role | Content |
|---|---|
| User | [Image] Mô tả nội dung |
message = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=1024,
messages=[
{
"role": "user",
"content": [
{
"type": "image",
"source": {
"type": "base64",
"media_type": image1_media_type,
"data": image1_data,
},
},
{
"type": "text",
"text": "Mô tả nội dung ảnh."
}
],
}
],
)| Role | Content |
|---|---|
| User | Image 1: [Image 1] Image 2: [Image 2] Sự khác biết giữa 2 bức ảnh? |
Lưu ý: Khi sử dụng gọi nhiều hình ảnh thì thường để so sánh hơn là miêu tả nội dung.
message = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=1024,
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Image 1:"
},
{
"type": "image",
"source": {
"type": "base64",
"media_type": image1_media_type,
"data": image1_data,
},
},
{
"type": "text",
"text": "Image 2:"
},
{
"type": "image",
"source": {
"type": "base64",
"media_type": image2_media_type,
"data": image2_data,
},
},
{
"type": "text",
"text": "How are these images different?"
}
],
}
],
)| Content | |
|---|---|
| System | Bạn là chuyên ra phân tích hình ảnh. |
| User | Image 1: [Image 1] Image 2: [Image 2] Tìm ra sự khác biệt. |
message = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=1024,
system="Bạn là chuyên ra phân tích hình ảnh..",
messages=[
{
"role": "user",
"content": [
{
"type": "text",
"text": "Image 1:"
},
{
"type": "image",
"source": {
"type": "base64",
"media_type": image1_media_type,
"data": image1_data,
},
},
{
"type": "text",
"text": "Image 2:"
},
{
"type": "image",
"source": {
"type": "base64",
"media_type": image2_media_type,
"data": image2_data,
},
},
{
"type": "text",
"text": "Tìm ra sự khác biệt.?"
}
],
}
],
)Ước tính số token hình ảnh:
tokens = (chiều rộng px * chiều cao px) / 750Ví dụ:
Bảng ví dụ (không hiển thị trong văn bản này) cho thấy chi phí ước tính của việc sử dụng hình ảnh với các kích thước khác nhau trong giới hạn kích thước của API, giả sử sử dụng Claude 3 Sonnet với giá 3 USD trên một triệu token đầu vào.
Claude 3 sở hữu khả năng hiểu hình ảnh tiên tiến, nhưng cũng có một số hạn chế cần lưu ý:
Bài viết liên quan: Tìm hiểu về Claude 3 – Model AI thế hệ mới của Anthropic
Chúc các bạn thao tác thành công !
Nguồn: anthropic.com
14/03/2025
14/03/2025
12/03/2025
11/03/2025
Cảm ơn bạn
đã đăng ký thành công!
TentenAI sẽ liên hệ trong thời gian sớm nhất.
Có lỗi xảy ra vui lòng thử lại sau!
Tiếp tục khám phá