博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Greenplum记录(一):主体结构、master、segments节点、interconnect、performance monitor...
阅读量:5887 次
发布时间:2019-06-19

本文共 1474 字,大约阅读时间需要 4 分钟。

  结构:Client——master host——interconnect——segment host

每个节点都是单独的PG数据库,要获得最佳的性能需要对每个节点进行独立优化。

master上不包含任何的用户数据,仅保留system catalog,用户数据全部存储在segments上。

master负责处理传入的sql命令,分发到对应的segments上,组合返回的结果并返回给客户端。

Because the master does not contain any user data, it has very little disk load. The master needs a fast, dedicated CPU for data loading, connection handling, and query planning because extra space is often necessary for landing load files and backup files, especially in production environments. Customers may decide to also run ETL and reporting tools on the master, which requires more disk space and processing power.

master节点备份:When an the standby master is active, the replicated logs are used to reconstruct the state of the master host at the time of the last successfully committed transaction.

虽然用户数据存储在segments上面(每个节点存储的数据互补相同),但用户是通过master节点来操控的。每台主机的segments个数由性能决定。

镜像segments节点必须部署在不同的主机上:1.group mirroring,把每个segments节点放在另外一台主机上(已经存在segments节点);spread mirroring,讲segments节点存放在空闲主机上(要求空闲主机数量大于segments节点数)。

当master节点认为某个segments节点不可用时,会把它剔除搜索范围,自动启用备用节点。管理员可以重新将它设为启用,不论系统是否正在运行,恢复程序会自动修复丢失的数据。如果某个segments节点挂掉并且没有备用节点,系统会自动shutdown,直到管理员将所有挂掉的节点恢复(防止返回错误的数据)。

GPDB性能取决于最慢的那个segments节点(木桶原理)。为了获取最佳性能,segments节点主机应该是独立的,没有其他程序占用资源。

segments节点硬盘结构:每个cpu对应一个逻辑硬盘,一个逻辑硬盘对应一组物理硬盘。

每个节点的hosts文件需要配置其他所有的主机名及host address,这样GPDB就可以自动均衡网络使用。

性能监控是每个segments节点都有一个任务,收集节点数据及系统利用率,每隔一段时间(默认15s)返回给master,查询这些数据即可查看节点的性能。

转载于:https://www.cnblogs.com/pg-libs/p/6250347.html

你可能感兴趣的文章
《关爱码农成长计划》第一期报告
查看>>
entity framework 6 通用数据类
查看>>
读取FTP上的excel文件,并写入数据库
查看>>
vs2008快捷键极其技巧 转载
查看>>
window 7上安装Visual Studio 2017失败的解决方法
查看>>
Python数值计算:一 使用Pylab绘图(2)
查看>>
k8s集群监控布署
查看>>
JAVA DataOutputStream和DataInputStream
查看>>
系统集成项目管理(二)
查看>>
6.2实现用户登录逻辑
查看>>
JavaScript 正整数正则表达式
查看>>
单元测试之Stub和Mock
查看>>
solr
查看>>
IOS7 viewDidLoad中调用 pushViewController 的问题
查看>>
oracle merge into 用法详解
查看>>
tf.concat&tf.gather&tf.gather_nd&tf.greater&tf.cast&tf.expand_dims&tf.squeeze
查看>>
VBA基础之Excel 工作表(Sheet)的操作(二)
查看>>
js 日期转换 strToDate
查看>>
空间索引格网大小无效
查看>>
C_数据结构_数组的修改和删除
查看>>