做网站一定要买主机吗,仙桃网站制作,自己能注册网站吗,做外贸做几个网站合适【Apache Doris】周FAQ集锦#xff1a;第 1 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目#xff01; 在这个栏目中#xff0c;每周将筛选社区反馈的热门问题和话题#xff0c;重点回答并进行深入探讨。旨在为广大用户和… 【Apache Doris】周FAQ集锦第 1 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目 在这个栏目中每周将筛选社区反馈的热门问题和话题重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。 通过这个每周 FAQ 栏目希望帮助社区小伙伴更好地了解和应用 Apache Doris促进经验交流和技术共享。 SQL问题
❓Q1 替换nvl2的方式有哪些
A1 在SQL中NVL2是一个函数用于在条件成立时返回一个值在条件不成立时返回另一个值可以通过case when进行替换。
❓Q2 查询报错meet unknown column stats on table 0lapscanNode
A2 通过关闭相关变量解决set global forbid_unknown_col_stats false; forbid_unknown_col_stats参数只有在测试和跑benchmark时会打开用于防止没有收集到统计信息导致结果不理性而进行不必要的问题追查。 生产环境中建议永远设置为false。
数据操作问题
❓Q1 Doris 1.2.6数据写入过程中出现错误码[-233]异常
A1 OLAP_ERR_TOO_MANY_TRANSACTIONS 太多事务积压未完成导致。降低写入或者更新频率或调大BE参数max_runnings_transactions_per_txn_map处理。 BE参数说明可以查阅BE配置项 https://doris.apache.org/zh-CN/docs/admin-manual/config/be-config
❓Q2 查看Broker Load导入状态时Progress为50%但State为FINISHED
A2 State为FINISHED是正确的Progress进度统计存在问题但只是显示问题不会影响数据读写。 在Apache Doris 2.0.3已经修复了建议升级至2.0.3的版本。 Release 2.0.3可以查阅 https://cdnd.selectdb.com/zh-CN/docs/releasenotes/release-2.0.3
运维常见问题
❓Q1 Routine Load异常fetch failed due to requested offset not available on the broker: Broker: Offset out of range
A1 Routine Load报[broker:Offset Out of range] 原因
routine load 记录的偏移量和kafka group 已经committed的offset是一致的由于kafka的数据清理机制有没有消费都会清理记录的偏移量下一个offset被清理导致的这个异常 。kafka清理时间设置过短数据积压严重也会导致此类异常出现。 解决方案查看kafka 现阶段最小偏移量使用alter routine load job重新设置偏移量恢复routine load job即可。
❓Q2 Drop一张大表后为什么BE磁盘空间没有减少
A2 分两种情况
drop不加force时数据不会放入回收站。这个机制是为了防止误删除recoverd的时候用和 fe.conf的catalog_trash_expire_second 参数有关系默认为1天1天后会将删除的表自动放到trash中。drop加force时数据会直接放入回收站此时可以通过admin clean trash去清理。
❓Q3 FE的负载均衡怎么实现
A3 可以通过 JDBC Connector / ProxySQL / Nginx 方式实现 https://doris.apache.org/zh-CN/docs/admin-manual/cluster-management/load-balancing 1. JDBC的通信方式建议使用 JDBC Connector的loadbalance实现。 2. 代理的方式用Nginx多些也可以考虑 ProxySQL。
❓Q4 FE启动异常Try to lock process failed
A4 fe进程冲突导致jps查看是否已经存在fe进程进行排查处理。
❓Q5 Routine Load任务stop后多久会删除
A5 routine load任务stop之后默认会在三天回收删除。 由fe的label_keep_max_second参数控制该参数除了控制routine load也是job共用的参数。 FE参数说明可以查阅FE配置项 https://cdnd.selectdb.com/zh-CN/docs/admin-manual/config/fe-config
其它问题
❓Q Doris血缘分析的开源工具有哪些
A 可以参考
datahub https://datahubproject.io/docs/next/features/ apache atlas https://atlas.apache.org/api/v2/index.html基于ali的druid二开例如data-lineage-doris项目 使用ali的druid去解析sql。由于sql本身有记录在fe的审计日志里只需通过类似flume采集日志推送到kafka后端设计一个服务专门去解析这些sql生成血缘关系即可 https://github.com/eyesmoons/data-lineage-doris
关于社区 Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库以极速易用的特点被人们所熟知仅需亚秒级响应时间即可返回海量数据下的查询结果不仅可以支持高并发的点查询场景也能支持高吞吐的复杂分析场景。 如果您对 Apache Doris 感兴趣可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组
官方文档
社区论坛
GitHub
dev邮件组devdoris.apache.org
非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧或者向dev邮件组提交反馈和意见。
相信您的参与将帮助Apache Doris变得更加完善。
