杭州 高端网站 开发,夜晚必备直播软件,东莞怎么建设网站公司,广州网站建设信科公司tl;dr#xff1a;GET、PUT、PROMPT。现在#xff0c;可以使用新的 PromptObject API 仅使用自然语言对存储在 MinIO 上的对象进行总结、交谈和提问。在本文中#xff0c;我们将探讨这个新 API 的一些用例以及代码示例。
赋予动机#xff1a;
对象存储和 S3 API 的无处不在…
tl;drGET、PUT、PROMPT。现在可以使用新的 PromptObject API 仅使用自然语言对存储在 MinIO 上的对象进行总结、交谈和提问。在本文中我们将探讨这个新 API 的一些用例以及代码示例。
赋予动机
对象存储和 S3 API 的无处不在在很大程度上可以归功于其始终如一的简单性。简单性扩展。当 S3 API 于 2006 年向世界推出时它永远改变了开发人员及其应用程序与数据交互的方式。存储被简化为两个词GET 和 PUT。通过简单的 REST API开发人员可以突然利用未来几十年的爆炸式增长的数据量。18 年后我们面临着一个新的但有趣的挑战。用户和应用程序需要越来越多地使用自然语言来与爆炸式增长的多模态数据进行交互。如果这种新型交互变得像存储和检索对象本身一样简单那会怎样输入 PromptObject。 此功能作为一个简单的函数公开可以使用您选择的客户端 SDK 调用。例如 minio_client.prompt_object(bucket, object, prompt, *kwargs) 在 Python 或 minioClient.PromptObject(bucket, object, prompt, options) Go 中。
要更深入地了解 API 和好处请务必查看简介博客文章。本文的其余部分将介绍一些真实世界的示例说明当可以编程方式提示对象时会发生什么。
PromptObject 在野外
PromptObject 的动机主要是对真实世界用例和应用程序类型的想象使用这样的 API 可以更轻松地构建这些用例和应用程序类型。以下是一些
文档问答 对象存储是非结构化数据如长 PDF、文档和幻灯片的所在地。现在可以使用简单的客户端 SDK 函数对冗长而复杂的文档提出问题。例如回答用户上传文档问题的聊天机器人应用程序只需使用用户的问题和文档调用 PromptObject然后返回答案。无需自定义 OCR、内存 RAG 或 LLM 消息构造。只需初始化 MinIO 客户端像为 GetObject 或 PutObject 指定对象一样指定对象然后提供提示
from minio import Minioclient Minio(MINIO_HOST,access_key...,secret_key...,secure...,
)client.prompt_object(“my-bucket”, “Supermicro-server-Sys-1029p-n32r.docx”, prompt“How would I install a Non-F model processor into the processor carrier?”,
)
针对多个任意对象的问题解答 PromptObject 公开一个名为 supporting_objects 的参数该参数可以接受任意对象、URL、文本和二进制数据 的列表作为 PromptObject 调用的附加上下文。这对于需要综合来自许多不同来源的信息的自动化任务特别有用。例如在前面的示例的基础上想象一下构建一个 AI 执行研究助理它可以代理地搜索 Web从对象存储中获取相关对象并从用户的笔记中获取内容。一旦收集了正确的数据源应用程序必须能够回答其中的问题。无需构建自定义工具来支持任意文件类型最重要的是将所有这些文件下载到应用程序内存中进行广泛的预处理只需将键或 URL 形式的“指针”如果需要还可以发送实际对象到 PromptObject 进行理解和问答。下面是它可能的样子
# Question Answering with Supporting Objects
client.prompt_object(bucket_namemy-bucket,object_name2024ReportAboutAI.pdf,promptBased only on the provided context, which US state has the most\ data center construction? Furthermore, which global region is investing\ the most in data center construction?,supporting_objects[https://market.us/wp-content/uploads/2022/12/Data-Center-Construction-Market-Region.jpg,client.presigned_get_object(my-bucket, LastYearsReportAboutAI.pdf),According to global consultancy McKinsey Co., U.S. market demand is\ expected to double to 35 gigawatts (GW) by 2030, up from 17 GW in 2022. As of 2023, the U.S. accounts for roughly 40 percent of the global market.,base64.b64encode(some_pdf_file.read()).decode(utf-8), # bytes as base64]
)
请注意所使用的各种支持对象源。1 Web 上的 URL2 MinIO 上另一个对象的预签名 URL3 文本4 某些文件的字节以 base64 字符串表示
卫星图像分析 存储图像通常是为了执行分析任务例如识别、分类或某种解析。例如假设有一个应用程序它可以从大量卫星图像中自动检测飞机。现在您可以在指向所需图像的“指针”存储桶和对象名称上请求自然语言提示例如“此卫星图像中可以看到多少架飞机”而不是让您的应用程序软件承担下载这些对象和构建推理请求的负担并简单地使用答案
# Satellite Image Analysis
client.prompt_object(bucket_namemy-bucket,object_namepatch_18.png,promptHow many aircraft are visible in this satellite image?
)
现在让我们尝试一个稍微高级一点的示例使用我们之前学习的 supporting_objects参数 前面我们了解了如何使用 supporting_objects 向 PromptObject 调用添加更多上下文。假设卫星图像分析应用程序的用户希望能够提供他们感兴趣的特定飞机的参考图像而不是检测任何和所有飞机。使用 supporting_objects 和 PromptObject现在只需几行代码即可实现。现在我们可以提供感兴趣飞机的图像并调整提示以便在分析之前的相同卫星图像时相应地留意该特定飞机
# Advanced Satellite Image Analysis
client.prompt_object(bucket_namemy-bucket,object_namepatch_18.png,promptBased on the image of the reference aircraft, can you count how many of the same type of aircraft are present in the satellite image? Where on the image is it? Pay close attention to the reference aircraft in order to identify the same type of aircraft in the satellite image.,supporting_objects[https://i.pinimg.com/736x/51/f4/6b/51f46b63879237f7e932601070a8525a.jpg],
)
来自非结构化数据的结构化答案 我个人最喜欢的功能是能够从非结构化数据如图像中获得结构化答案。如果您的应用程序依赖于 PromptObject 输出遵循特定架构的答案则也可以强制执行该操作。例如应用程序的任务可能是识别工厂车间图像中存在的不同汽车然后将该结果传递给另一个服务。在这种情况下遵循已知架构的结构化答案比仅使用自然语言的答案更可取。执行此操作的最佳方法是将 JSON 架构传递给 PromptObject 调用。在 Python 中为了让事情变得更简单我们可以使用 Pydantic 为结果定义一个模型类并从中生成一个 JSON 模式如下所示
from pydantic import BaseModel, Field
from typing import List# Answer Structured Query on Factory Floor Image Capture
class Car(BaseModel):The structured description of a car .color: str Field(..., descriptionColor of the car.)count: int Field(..., descriptionNumber of cars of this color.)class Cars(BaseModel):cars: List[Car] Field(..., descriptionList of distinct cars in the image and their counts.)client.prompt_object(“my-bucket”, “SNAPSHOT_028393.png”, prompt“Count the number of cars by color. Provide your answer with the provided JSON schema.”, extra_body{“guided_json”: Cars.model_json_schema()}
)
在此示例中我们使用 extra_body 和 guided_json 传递所需的 JSON 架构。extra_body 是转发到语言模型推理服务器的 kwarg。根据您使用的推理服务器此规范可能会有所不同。PromptObject 支持所有这些 PromptObject 。
结束语 从根本上说Prompt API 是为了让您的应用程序、代理和用户比以往任何时候都更容易与数据交互。使用 PromptObject 可以构建的内容实际上只受您的想象力的限制。在这篇文章中我们只探讨了几个用例希望这些用例能让您思考如何在自己的出色 AI 应用程序和项目中利用此 API。我们期待看到您构建的内容
