怎么做查询数据输入的网站,公司注销 网站备案申请表,电脑去哪里建设网站,中国购物平台问题
使用canal-adapter全量同步#xff08;参考Canal Adapter1.1.5版本API操作服务#xff0c;手动同步数据#xff08;4#xff09;#xff09;的时候
小批量数据可以正常运行#xff08;几千条#xff09;只要数据量一大#xff08;上万条#xff09;#xff0c…问题
使用canal-adapter全量同步参考Canal Adapter1.1.5版本API操作服务手动同步数据4的时候
小批量数据可以正常运行几千条只要数据量一大上万条就会内存、CPU双线爆炸ES自动被docker关闭。
数据量大的时候系统负荷如下所示用宝塔监控 docker stats监控如下所示很快其他容器全都变成--完全无法提供服务
解决方案 参考Docker部署ES增加内存限制启动 最关键的一句话启动的时候按照如下参数启动。必须得先设置single-node单节点模式然后设置ES_JAVA_OPTS-Xms64m -Xmx512m 才会成功。
docker run -d --name limit_es -p 9200:9200 -p 9300:9300 -e discovery.typesingle-node -e ES_JAVA_OPTS-Xms64m -Xmx512m elasticsearch:7.6.2ES_JAVA_OPTS的意思是设置ES中Java虚拟机环境的上下限
discovery.typesingle-node是单节点模式的意思。和集群有关的配置可以参考ElasticSearch 设置-配置一发现和集群形成设置 discovery.seed_hosts提供集群中符合主节点条件的节点列表。也可以是以逗号分隔的单个字符串。每个节点都是host:port或者host格式。host是由DNS解析出来的任意主机名称。IPV6必须用方括号括起来。如果一个主机名通过DNS解析出来多个地址ElasticSearch会使用所有被解析出来的地址。 discovery.seed_providers指定种子主机提供程序的类型来获取用于启动发现进程的种子节点的地址。默认情况下它是基于设置的种子主机提供程序它从 discovery.seed_hosts 设置中获取种子节点地址。此设置以前称为 discovery.zen.hosts_provider。 discovery.type指定 Elasticsearch 是否应形成多节点集群。默认情况下Elasticsearch 在形成集群时会发现其他节点并允许其他节点稍后加入集群。如果discovery.type 设置为single-nodeElasticsearch 会形成一个单节点集群并不支持cluster.publish.timeout 设置的超时。 cluster.initial_master_nodes设置全新群集中符合条件的主节点的初始集。默认情况下此列表为空表示此节点希望加入已引导的集群。请参阅cluster.initial_master_nodes。
解决结果
内存占用显著小了很多并且可以直接同步大批量数据
