淘宝网站750海报怎么做,成品网站货源1,网站公告弹窗源码,网站推广系统简介
StarRocks 是一款高性能分析型数据仓库#xff0c;使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据#xff0c;也支持直接分析数据湖上各种格式的数…简介
StarRocks 是一款高性能分析型数据仓库使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
下载
文中使用版本为3.2.4可通过官网自行下载
准备部署文件 | StarRocks
文章中使用的是存算一体架构starrocks也支持存算分离架构
解压
tar -zxvf StarRocks-3.2.4.tar.gz 目录结构 启动 Leader FE 节点
创建元数据存储路径
mkdir -p /opt/starrocks/data/fe
修改 FE 配置文件
vim fe/conf/fe.conf 启动 FE 节点
./fe/bin/start_fe.sh --daemon
查看 FE 日志
cat fe/log/fe.log | grep thrift
如果日志打印以下内容则说明该 FE 节点启动成功 启动 BE 服务
创建数据存储路径
mkdir -p /opt/starrocks/data/be
修改 BE 配置文件 be/conf/be.conf
vim be/conf/be.conf 启动 BE 节点
./be/bin/start_be.sh --daemon
查看 BE 日志
cat be/log/be.INFO | grep heartbeat 如果日志打印以下内容则说明该 BE 节点启动成功 停止命令 停止 FE 节点。 ./fe/bin/stop_fe.sh --daemon 停止 BE 节点。
./be/bin/stop_be.sh --daemon
添加BE节点至集群
通过工具连接需要在服务器预装mysql客户端
mysql -h 192.168.x.xx -P 9030 -uroot 查看 Leader FE 节点状态
SHOW PROC /frontends\G 如果字段 Alive 为 true说明该 FE 节点正常启动并加入集群。
如果字段 Role 为 FOLLOWER说明该 FE 节点有资格被选为 Leader FE 节点。
如果字段 Role 为 LEADER说明该 FE 节点为 Leader FE 节点。
添加 BE 节点至集群。
ALTER SYSTEM ADD BACKEND 192.168.x.xx:9050; 查看 BE 节点状态
SHOW PROC /backends\G 如果字段 Alive 为 true说明该 BE 节点正常启动并加入集群。 这样就可以通过工具连接跟连接mysql类似这里使用的是navicat 测试语句
CREATE DATABASE example_db; USE example_db; -- 新建用户并授权
create user testuser% IDENTIFIED by 123456;
GRANT all ON databasename.* TO testuser%; -- 仅包含一个 BE,所以需要加PROPERTIES( replication_num 1 )
CREATE TABLE user_access ( uid int, name varchar(64), age int, phone varchar(16), last_access datetime, credits double
)
PROPERTIES( replication_num 1 ); CREATE TABLE orders1 ( order_id bigint NOT NULL, dt date NOT NULL, user_id INT NOT NULL, good_id INT NOT NULL, cnt int NOT NULL, revenue int NOT NULL
)
PRIMARY KEY (order_id)
DISTRIBUTED BY HASH (order_id)
PROPERTIES( replication_num 1 )
; CREATE TABLE orders2 ( order_id bigint NOT NULL, dt date NOT NULL, merchant_id int NOT NULL, user_id int NOT NULL, good_id int NOT NULL, good_name string NOT NULL, price int NOT NULL, cnt int NOT NULL, revenue int NOT NULL, state tinyint NOT NULL
)
PRIMARY KEY (order_id,dt,merchant_id)
PARTITION BY date_trunc(day, dt)
DISTRIBUTED BY HASH (merchant_id)
ORDER BY (dt,merchant_id)
PROPERTIES ( enable_persistent_index true,
replication_num 1
); CREATE TABLE detail ( event_time DATETIME NOT NULL COMMENT datetime of event, event_type INT NOT NULL COMMENT type of event, user_id INT COMMENT id of user, device_code INT COMMENT device code, channel INT COMMENT )
ORDER BY (event_time, event_type)
PROPERTIES( replication_num 1 ); CREATE TABLE aggregate_tbl ( site_id LARGEINT NOT NULL COMMENT id of site, date DATE NOT NULL COMMENT time of event, city_code VARCHAR(20) COMMENT city_code of user, pv BIGINT SUM DEFAULT 0 COMMENT total page views
)
AGGREGATE KEY(site_id, date, city_code)
DISTRIBUTED BY HASH(site_id)
PROPERTIES( replication_num 1 ); CREATE TABLE orders4 ( create_time DATE NOT NULL COMMENT create time of an order, order_id BIGINT NOT NULL COMMENT id of an order, order_state INT COMMENT state of an order, total_price BIGINT COMMENT price of an order
)
UNIQUE KEY(create_time, order_id)
DISTRIBUTED BY HASH(order_id);
PROPERTIES( replication_num 1 ); DESCRIBE user_access; SHOW CREATE TABLE user_access; -- 从本地文件导入数据
CREATE TABLE table1
( id int(11) NOT NULL COMMENT 用户 ID, name varchar(65533) NULL COMMENT 用户姓名, score int(11) NOT NULL COMMENT 用户得分
)
ENGINEOLAP
PRIMARY KEY(id)
DISTRIBUTED BY HASH(id)
PROPERTIES( replication_num 1 ); -- 查看 FE 节点的 IP 地址和 HTTP 端口号。
SHOW FRONTENDS -- 导入作业
curl --location-trusted -u root: -H label:123 -H Expect:100-continue -H column_separator:, -H columns: id, name, score -T D:\\data\\test.csv -XPUT http://192.168.5.66:8030/api/example_db/table1/_stream_load select * from table1;
