博客
关于我
如何设计好分布式数据库,这个策略很重要不信你点开!
阅读量:134 次
发布时间:2019-02-26

本文共 1490 字,大约阅读时间需要 4 分钟。

GaussDB(for openGauss)是一款分布式架构,核心数据分布在各个数据节点(DN)上。优秀的数据分布策略是分布式数据库设计中最关键的环节。

数据库是应用和计算机系统的核心组成部分。就像人类的大脑没有了记忆一样,没有数据库,信息也无法共享。这使得设计一款高效易用的数据库变得尤为重要。

GaussDB(for openGauss)作为一款企业级分布式数据库,具备分布式强一致、有效降低容灾成本、支持PB级海量数据、智能诊断等特点,是当前备受关注的主流数据库。如何更好地设计分布式数据库的数据分布策略?首先了解GaussDB的基本架构有助于后续分析。

GaussDB的架构采用了典型的“share nothing”分布式架构。数据通过一定规则(如hash、list或range等)分散存储到不同的数据节点上,查询时多个节点协同参与计算。数据节点可以通过扩展来支持更多需求,上层由协调节点(CN)负责SQL解析和转发。

从架构图可以看出,主要包括协调节点、数据节点和集群类节点(其中全局事务管理器最为重要)。协调节点负责SQL解析和转发,类似于proxy角色;数据节点负责数据存储和计算;全局事务管理器则负责全局事务的读一致性保证。

接下来探讨分布式SQL执行过程。GaussDB的执行过程通过分片和分布式查询优化性能。以下是具体流程:

  • SQL解析与分片:协调节点解析SQL,根据分片规则将查询分配到相应的数据节点。
  • 数据节点执行:每个数据节点执行对应的分片,利用本地索引加速查询。
  • 结果汇总:协调节点收集各数据节点的结果,进行排序、合并,最终返回给客户端。
  • 在电子商城场景中,订单、支付方式、快递公司等信息的存储和关联是一个典型的分布式数据库应用。以下是具体设计步骤:

  • 逻辑模型设计:定义表结构,明确各表之间的关系。
  • 功能设计:根据业务需求编写SQL查询,例如查看子订单列表或详情。
  • 物理模型设计:根据数据特点选择合适的存储策略。电子商城订单数据量大,传统主备库模式难以满足需求。GaussDB支持跨节点扩展,能够处理PB级数据。
  • 订单表(A类数据)与支付方式表(B类数据)之间存在关联。A类数据同客户数、时间相关,B类数据变化较小。如何在分布式环境中实现高效关联?答案在于选择合适的分布策略。

    GaussDB支持两种主要分布策略:复制表和分布表。

    • 复制表:每个数据节点都保留完整表副本,适用于需要全局关联的场景。
    • 分布表:每个数据节点仅存储表的一部分分片,适用于高并发读写和分布式查询。

    以下是具体操作示例:

  • 创建复制表:
  • create table region1(ctid_value int) distribute by replication;
    1. 创建分布表:
    2. create table region2(ctid_value int) distribute by hash(ctid_value);

      在电子商城中,订单表和子订单表适合用分布表,支付方式表和快递公司表适合用复制表。这种选择基于以下原则:

      • 分布键选择:选择distinct值多的列,避免木桶效应。优先选择Join或Group列作为分布列,减少数据节点间通信。
      • 避免数据广播:通过合理选择分布列,减少不同数据节点之间的交互,提升性能。

      在实际操作中,需注意以下问题:

      • 数据倾斜:通过检查元组分布,及时调整分布列。
      • 表结构优化:不支持在线调整分布列,需重新创建表。

      总之,GaussDB的数据分布策略设计需要结合业务需求和数据特点,通过合理选择分布策略和分布键,避免数据广播和倾斜,确保数据库性能最大化。

    转载地址:http://mlqu.baihongyu.com/

    你可能感兴趣的文章
    npm学习(十一)之package-lock.json
    查看>>
    npm安装 出现 npm ERR! code ETIMEDOUT npm ERR! syscall connect npm ERR! errno ETIMEDOUT npm ERR! 解决方法
    查看>>
    npm安装crypto-js 如何安装crypto-js, python爬虫安装加解密插件 找不到模块crypto-js python报错解决丢失crypto-js模块
    查看>>
    npm安装教程
    查看>>
    npm报错Cannot find module ‘webpack‘ Require stack
    查看>>
    npm报错Failed at the node-sass@4.14.1 postinstall script
    查看>>
    npm报错fatal: Could not read from remote repository
    查看>>
    npm报错File to import not found or unreadable: @/assets/styles/global.scss.
    查看>>
    npm报错unable to access ‘https://github.com/sohee-lee7/Squire.git/‘
    查看>>
    npm淘宝镜像过期npm ERR! request to https://registry.npm.taobao.org/vuex failed, reason: certificate has ex
    查看>>
    npm版本过高问题
    查看>>
    npm的“--force“和“--legacy-peer-deps“参数
    查看>>
    npm的安装和更新---npm工作笔记002
    查看>>
    npm的常用配置项---npm工作笔记004
    查看>>
    npm的问题:config global `--global`, `--local` are deprecated. Use `--location=global` instead 的解决办法
    查看>>
    npm编译报错You may need an additional loader to handle the result of these loaders
    查看>>
    npm设置淘宝镜像、升级等
    查看>>
    npm设置源地址,npm官方地址
    查看>>
    npm设置镜像如淘宝:http://npm.taobao.org/
    查看>>
    npm配置安装最新淘宝镜像,旧镜像会errror
    查看>>