【运维部署】如何完成 Doris 集群配置及验证


飞致云 发布于 2023-06-19 / 1049 阅读 / 0 评论 /
引言 Doris 在 Local 模式和 Cluster 模式下 DataEase 的安装中扮演着重要的角色,存放着 DataEase 中定时同步的数据集,是 DataEase 自身的数据仓库。 Doris 集群模式介绍 高性能:Doris采用列式存储,支持高效的数据压缩和向量化计算,能够快速处理大

引言

Doris 在 Local 模式和 Cluster 模式下 DataEase 的安装中扮演着重要的角色,存放着 DataEase 中定时同步的数据集,是 DataEase 自身的数据仓库。

Doris 集群模式介绍

  • 高性能:Doris采用列式存储,支持高效的数据压缩和向量化计算,能够快速处理大规模数据。

  • 可扩展性:Doris支持水平扩展,可以通过添加节点来增加集群容量和吞吐量。

  • 高可用性:Doris具有自动故障转移和数据复制功能,能够保证系统的高可用性和数据安全性。

  • 易用性:Doris提供了易于使用的SQL接口和可视化管理界面,方便用户进行数据查询和管理。

Doris 介绍- Apache Doris如图所示,1 fe、3 be 是 doris 集群最简易的一个场景。

Doris 集群的验证

前提条件:Doris 为1 fe,3 be 的集群模式

1 部署完 doris-fe 和 3台 doris-be后,进入 fe 节点添加 be 节点。

ALTER SYSTEM ADD BACKEND '10.1.12.65:9050';
ALTER SYSTEM ADD BACKEND '10.1.12.68:9050';
ALTER SYSTEM ADD BACKEND '10.1.12.69:9050';

2 添加完成后,通过命令来查看 be 各节点状态,

 show proc '/backends';

3 如下图所示,3个 be 节点的 Alive 均为 true 且 ErrMsg 为空,说明3个 be 节点均添加到 fe 中且状态均正常。

DataEase 中 Doris 集群的使用

DataEase 设置引擎,进入【系统管理】页面,点击左侧的【系统参数】,在 Tab 页中选择【引擎设置】,将 Doris FE 节点的相关信息填入并保存。同时需要注意,这边需要设置副本数量为3,和 be 节点数保持一致。

常见问题:

1 系统管理-系统参数-引擎设置,若配置副本数量为1

这个时候通过定时同步创建出来的数据集,从 doris-fe 中可以查到这样的创建语句,可以观察到 replication_allocation 的值为1

以此为前提,假定存放的数据在 be1 上,如果 be1 挂了,此时,数据集那边就会有如下报错。

2 系统管理-系统参数-引擎设置,若配置副本数量为3

和上面相似的,可以观察到 replication_allocation 的值为3

以此为前提,如果某一台 be 挂了,此时数据集那边显示依旧正常;但若进行数据同步,会有如下报错。



是否对你有帮助?