17zwd一起做网站广州,南充房管局官网,电商网站设计风格,西安开发网站的公司转载自#xff1a;https://developer.aliyun.com/article/700370
1. 参数设置
1.1 postgresql.conf中修改
# 1、总的可开启的WORKER足够大
max_worker_processes 128# 2、所有会话同时执行并行计算的并行度足够大
max_parallel_workers64# 3、单个QUERY中并行计算NODE开…转载自https://developer.aliyun.com/article/700370
1. 参数设置
1.1 postgresql.conf中修改
# 1、总的可开启的WORKER足够大
max_worker_processes 128# 2、所有会话同时执行并行计算的并行度足够大
max_parallel_workers64# 3、单个QUERY中并行计算NODE开启的WORKER24
max_parallel_workers_per_gather 24# 4、所有表和索引扫描允许并行
set min_parallel_table_scan_size 0
set min_parallel_index_scan_size 0# 5、并行计算优化器成本设置为0
set parallel_tuple_cost 0
set parallel_setup_cost 01.2 执行前修改
# 1、总的可开启的WORKER足够大
postgres# show max_worker_processes ; max_worker_processes
---------------------- 128
(1 row) # 2、所有会话同时执行并行计算的并行度足够大
postgres# set max_parallel_workers64;
SET # 3、单个QUERY中并行计算NODE开启的WORKER16
postgres# set max_parallel_workers_per_gather 16;
SET # 4、所有表和索引扫描允许并行
postgres# set min_parallel_table_scan_size 0;
SET
postgres# set min_parallel_index_scan_size 0;
SET # 5、并行计算优化器成本设置为0
postgres# set parallel_tuple_cost 0;
SET
postgres# set parallel_setup_cost 0;
SET # 6、设置表级并行度为2
postgres# alter table test set (parallel_workers 2);
ALTER TABLE # 7、执行结果
test# explain (analyze) select count(*) from test;QUERY PLAN ----------------------------------------------------------------------------------------------------------------------------
----Finalize Aggregate (cost107.10..107.11 rows1 width8) (actual time13.974..15.860 rows1 loops1)- Gather (cost107.08..107.09 rows2 width8) (actual time9.101..15.841 rows3 loops1)Workers Planned: 2Workers Launched: 2- Partial Aggregate (cost107.08..107.09 rows1 width8) (actual time2.609..2.610 rows1 loops3)- Parallel Seq Scan on test (cost0.00..96.67 rows4167 width0) (actual time0.026..1.645 rows3333 loops
3)Planning Time: 1.899 msExecution Time: 16.046 ms
(8 rows)max_parallel_workers_per_gather 参数控制执行节点的最大并行进程数通过以上并行计划可知开启并行后会启动两个 worker 进程即 Workers Launched: 2并行执行
2. 建表
drop table test;
create table test(a int, b int, c int);
create index ii on test(b);
insert into test values(generate_series(1, 10000), generate_series(1, 10000), generate_series(1, 10000));
analyze test;
vacuum full test;3. pg并行概述参考连接
https://developer.aliyun.com/article/684431
并行扫描的理念很朴素即启动多个 worker 并行扫描表中的数据。以前一个进程做所有的事情无人争抢也无需配合如今多个 worker 并行扫描首先需要解决如何分工的问题。
PostgreSQL 中的并行扫描分配策略也很直观即 block-by-block。多个进程间leader 和 worker维护一个全局指针 next指向下一个需要扫描的 block一旦某个进程需要获取一个 block则访问该指针获取 block 并将指针向前移动。
目前支持并行的常用扫描算子有SeqScanIndexScanBitmapHeapScan 以及 IndexOnlyScan。
下图分别是并行 SeqScan左和 并行 IndexScan右的原理示意图可见两者均维护一个 next 指针不同的是 SeqScan 指向下一个需要扫描的 block而 IndexScan 指向下一个索引叶子节点。
注意目前并行 IndexScan 仅支持 B-tree 索引。 并行 IndexOnlyScan 的原理类似只是无需根据索引页去查询数据页从索引页中即可获取到需要的数据并行 BitmapHeapScan 同样维护一个 next 指针从下层 BitmapIndexScan 节点构成的位图中依次分配需要扫描的 block。
个人理解这里实现并行的核心主要是多个线程如何处理这个全局的next指针。
后续计划对这部分的源码进行单步调试进行原理的学习。
