枣庄市网站建设,shopex,营销团队公司,公司网站建设属于无形资产吗目录
1.基本概念
2.基本操作
2.1 查看 Catalog
2.2 新增 Catalog
2.3 切换 Catalog
2.4 删除 Catalog
3.元数据更新
3.1手动刷新
3.2定时刷新
3.3自动刷新
4.JDBC Catalog
4.1 上传mysql驱动包
4.2 创建mysql catalog
4.3. 读取mysql数据 1.基本概念 …目录
1.基本概念
2.基本操作
2.1 查看 Catalog
2.2 新增 Catalog
2.3 切换 Catalog
2.4 删除 Catalog
3.元数据更新
3.1手动刷新
3.2定时刷新
3.3自动刷新
4.JDBC Catalog
4.1 上传mysql驱动包
4.2 创建mysql catalog
4.3. 读取mysql数据 1.基本概念 多源数据目录Multi-Catalog功能旨在能够更方便对接外部数据目录以增强Doris的数据湖分析和联邦数据查询能力。 Multi-Catalog 功能在原有的元数据层级上新增一层Catalog构成 Catalog - Database - Table 的三层元数据层级。其中Catalog 可以直接对应到外部数据目录。Internal Catalog 是内置的默认 Catalog用户不可修改或删除。目前支持的外部数据目录包括
Apache HiveApache IcebergApache HudiElasticsearchJDBC: 对接数据库访问的标准接口(JDBC)来访问各式数据库的数据。Apache Paimon(Incubating)
2.基本操作
2.1 查看 Catalog show catalogs; 2.2 新增 Catalog create catalog jdbc_mysql_233_8 properties ( typejdbc, userroot, password123456, jdbc_url jdbc:mysql://192.168.110.233:3307/demo, driver_url mysql-connector-java-8.0.30.jar, driver_class com.mysql.cj.jdbc.Driver, metadata_refresh_interval_sec20 ); 2.3 切换 Catalog switch catalog_name 切换后可以直接通过 SHOW DATABASESUSE DB 等命令查看和切换对应 Catalog 中的 Database。Doris 会自动通过 Catalog 中的 Database 和 Table。用户可以像使用 Internal Catalog 一样对 External Catalog 中的数据进行查看和访问。 当前Doris 只支持对 External Catalog 中的数据进行只读访问。
2.4 删除 Catalog drop catalog catalog_name 3.元数据更新 默认情况下外部数据源的元数据变动如创建、删除表加减列等操作不会同步给 Doris。
用户可以通过以下几种方式刷新元数据。
3.1手动刷新 用户需要通过 REFRESH CATALOG catalog_name;命令手动刷新元数据。 3.2定时刷新 在创建catalog时在properties 中指定刷新时间参数metadata_refresh_interval_sec 以秒为单位若在创建catalog时设置了该参数FE 的master节点会根据参数值定时刷新该catalog。目前支持三种类型
hmsHive MetaStoreesElasticsearchjdbc数据库访问的标准接口(JDBC)
3.3自动刷新 自动刷新目前仅支持 Hive Catalog。该特性在 fe.conf 中有如下参数
enable_hms_events_incremental_sync: 是否开启元数据自动增量同步功能,默认关闭。hms_events_polling_interval_ms: 读取 event 的间隔时间默认值为 10000单位毫秒。hms_events_batch_size_per_rpc: 每次读取 event 的最大数量默认值为 500。
4.JDBC Catalog JDBC Catalog 通过标准 JDBC 协议连接其他数据源。连接后Doris 会自动同步数据源下的 Database 和 Table 的元数据以便快速访问这些外部数据。
4.1 上传mysql驱动包 需将 Jar 包预先存放在 FE 和 BE 部署目录的 jdbc_drivers/ 目录下。系统会自动在这个目录下寻找。该目录的位置也可以由 fe.conf 和 be.conf 中的 jdbc_drivers_dir 配置修改。 修改fe和be配置文件指定jdbc_drivers_dir目录。 4.2 创建mysql catalog ####mysql 8 CREATE CATALOG jdbc_mysql_233_8 PROPERTIES ( typejdbc, userroot, password123456, jdbc_url jdbc:mysql://192.168.110.233:3307/demo, driver_url mysql-connector-java-8.0.30.jar, driver_class com.mysql.cj.jdbc.Driver ) ####mysql 5 CREATE CATALOG jdbc_mysql_233_5 PROPERTIES ( typejdbc, userroot, password123456, jdbc_url jdbc:mysql://192.168.110.233:3306/demo, driver_url mysql-connector-java-5.1.47.jar, driver_class com.mysql.jdbc.Driver ) 4.3. 读取mysql数据 show databases; use db_name; show tables; select * from table_name limit 10;
