有哪些好的做兼职的网站有哪些,wordpress怎么样,企业门户网站的建设与实现,seo网站规划SingleStore 是专为数据密集型工作负载而设计的云原生数据库。它是一个分布式关系 SQL 数据库管理系统#xff0c;支持 ANSI SQL#xff0c;并因其在数据引入、事务处理和查询处理方面的速度而受到认可。SingleStore 可以存储关系、JSON、图形和时间序列数据#xff0c;以满…
SingleStore 是专为数据密集型工作负载而设计的云原生数据库。它是一个分布式关系 SQL 数据库管理系统支持 ANSI SQL并因其在数据引入、事务处理和查询处理方面的速度而受到认可。SingleStore 可以存储关系、JSON、图形和时间序列数据以满足 HTAP 等混合工作负载以及 OLTP 和 OLAP 用例的需求。它将 SQL 查询编译为机器代码并可以通过 Kubernetes Operator 部署在各种环境中包括本地安装、公共/私有云和容器。
现代数据湖架构
在现代 Datalake 架构中SingleStore 完全适合处理层。此层是用于转换的处理引擎、为其他工具提供数据、数据探索和其他用例的位置。处理层工具如 SingleStore可以很好地与其他工具配合使用通常多个处理层工具来自同一个数据湖。通常这种设计是在工具专用化的情况下实现的。例如具有混合矢量和全文搜索功能的超快速内存数据处理平台如 SingleStore针对 AI 工作负载进行了优化尤其是针对生成式 AI 用例。
先决条件
要完成本教程您需要设置一些软件。以下是您需要的内容的细分 **Docker 引擎**这个强大的工具允许您在称为容器的标准化软件单元中打包和运行应用程序。 **Docker Compose**它充当业务流程协调程序简化多容器应用程序的管理。它有助于轻松定义和运行复杂的应用程序。
**安装**如果您要重新开始Docker 桌面安装程序提供了一个方便的一站式解决方案用于在特定平台Windows、macOS 或 Linux上安装 Docker 和 Docker Compose。这通常被证明比单独下载和安装它们更容易。
安装 Docker Desktop 或 Docker 和 Docker Compose 的组合后可以通过在终端中运行以下命令来验证它们的存在 docker-compose --version
您还需要一个 SingleStore 许可证您可以在此处获取。 记下您的许可证密钥和 root 密码。系统将为您的帐户分配一个随机的 root 密码但您可以使用 SingleStore UI 更改您的 root 密码。
开始
本教程依赖于此存储库。将存储库克隆到所选位置。
此存储库中最重要的文件是 docker-compose.yaml 描述具有 SingleStore 数据库 singlestore 、MinIO 实例 minio 和依赖于 MinIO 服务的 mc 容器的 Docker 环境。
mc 容器包含一个 entrypoint 脚本该脚本首先等待 MinIO 可访问将 MinIO 添加为主机创建 classic-books 存储桶上传包含书籍数据 books.txt 的文件将存储桶策略设置为 public然后退出。 version: 3.7services:singlestore:image: singlestore/cluster-in-a-boxports:- 3306:3306- 8080:8080environment:LICENSE_KEY: ROOT_PASSWORD: START_AFTER_INIT: Yminio:image: minio/minio:latestports:- 9000:9000- 9001:9001volumes:- data1-1:/data1- data1-2:/data2environment:MINIO_ROOT_USER: minioadminMINIO_ROOT_PASSWORD: minioadmincommand: [server, /data1, /data2, --console-address, :9001]mc:image: minio/mc:latestdepends_on:- minioentrypoint: /bin/sh -c until (/usr/bin/mc config host add --quiet --api s3v4 local http://minio:9000 minioadmin minioadmin) do echo ...waiting... sleep 1; done;echo Title,Author,Year books.txt;echo The Catcher in the Rye,J.D. Salinger,1945 books.txt;echo Pride and Prejudice,Jane Austen,1813 books.txt;echo Of Mice and Men,John Steinbeck,1937 books.txt;echo Frankenstein,Mary Shelley,1818 books.txt;/usr/bin/mc cp books.txt local/classic-books/books.txt;/usr/bin/mc policy set public local/classic-books;exit 0;volumes:data1-1:data1-2:
使用文档编辑器将占位符替换为您的许可证密钥和 root 密码。
在终端窗口中导航到克隆存储库的位置然后运行以下命令以启动所有容器 docker-compose up
打开浏览器窗口导航到 http://localhost:8080/然后使用用户名“root”和您的root密码登录。 检查 MinIO
导航到 http://127.0.0.1:9001 以启动 MinIO WebUI。使用用户名和密码登录 minioadmin:minioadmin 。您将看到 mc 容器创建了一个调用 classic-books 的存储桶并且存储桶中有一个对象。 使用 SQL 进行探索
在 SingleStore 中导航到 SQL 编辑器并运行以下命令 -- Create a new database named books
CREATE DATABASE books;-- Switch to the books databaseUSE books;-- Create a table named classic_books to store information about classic books
CREATE TABLE classic_books
(title VARCHAR(255),author VARCHAR(255),date VARCHAR(255)
);-- Define a pipeline named minio to load data from an S3 bucket called classic-books
-- The pipeline loads data into the classic_books tableCREATE PIPELINE IF NOT EXISTS minio
AS LOAD DATA S3 classic-books
CONFIG {region: us-east-1, endpoint_url:http://minio:9000/}
CREDENTIALS {aws_access_key_id: minioadmin, aws_secret_access_key: minioadmin}
INTO TABLE classic_books
FIELDS TERMINATED BY ,;-- Start the minio pipeline to initiate data loading
START PIPELINE minio;-- Retrieve and display all records from the classic_books table
SELECT * FROM classic_books;-- Drop the minio pipeline to stop data loading
DROP PIPELINE minio;-- Drop the classic_books table to remove it from the database
DROP TABLE classic_books;-- Drop the books database to remove it entirely
DROP DATABASE books;
此 SQL 脚本启动一系列操作来处理与经典书籍相关的数据。它首先建立一个名为 books 的新数据库。在此数据库中将创建一个名为的 classic_books 表该表旨在保存标题、作者和出版日期等详细信息。
在此之后将设置一个名为 minio 的管道用于从标记 classic-books 的 S3 存储桶中提取数据并将其加载到表中 classic_books 。定义了此管道的配置参数包括区域、终端节点 URL 和身份验证凭据。
随后“minio”管道被激活开始数据检索和填充过程。成功将数据加载到表中后SELECT 查询将检索并显示存储在 classic_books 中的所有记录。
在完成数据提取和查看后 minio 管道将停止并删除 classic_books 表将从 books 数据库中删除数据库 books 本身将被删除从而确保干净的石板并结束数据管理操作。此脚本应帮助您开始在 SingleStore 的 MinIO 中处理数据。 在此堆栈上构建
本教程快速设置了一个强大的数据堆栈允许在对象存储中存储、处理和查询数据进行试验。SingleStore一个以其速度和多功能性而闻名的云原生数据库与 MinIO 的集成构成了现代数据湖堆栈中的重要一块砖。
随着行业趋势倾向于存储和计算的分解这种设置使开发人员能够探索创新的数据管理策略。无论你是对构建数据密集型应用程序、实施高级分析还是试验 AI 工作负载感兴趣本教程都可以作为启动板。
我们邀请您在此数据堆栈的基础上进行构建尝试不同的数据集和配置并释放数据驱动应用程序的全部潜力。
