- 在GaussDB数据库分布式架构中，排查数据倾斜的表数据可以通过以下方法：存储层数据倾斜排查使用系统视图查询：GaussDB提供了pgxc_get_table_skewness视图，可以查询各表的数据倾斜情况。通过执行SELECT * FROM pgxc_get_table_skewness;语句，可以获取表名、倾斜节点、倾斜节点的数据量以及倾斜率等信息，从而找出存在数据倾斜的表。分析表分布... 在GaussDB数据库分布式架构中，排查数据倾斜的表数据可以通过以下方法：存储层数据倾斜排查使用系统视图查询：GaussDB提供了pgxc_get_table_skewness视图，可以查询各表的数据倾斜情况。通过执行SELECT * FROM pgxc_get_table_skewness;语句，可以获取表名、倾斜节点、倾斜节点的数据量以及倾斜率等信息，从而找出存在数据倾斜的表。分析表分布...
- 1. 单体的问题微服务：把应用程序功能性分解为一组服务的架构风格。每个服务是一组专注的、内聚的功能职责组成。 每个服务是松耦合的，有自己的私有数据库，通过 API 通信。每个服务可以独立开发，部署，测试和扩展。好处：持续交付和部署容易维护独立部署，扩展团队自治实现和采纳新技术更好的容错性缺点：服务拆分和定义是一项挑战（糟糕的是搞成了分布式单体应用）分布式系统带来的各种复杂性，使开发、部署和测... 1. 单体的问题微服务：把应用程序功能性分解为一组服务的架构风格。每个服务是一组专注的、内聚的功能职责组成。 每个服务是松耦合的，有自己的私有数据库，通过 API 通信。每个服务可以独立开发，部署，测试和扩展。好处：持续交付和部署容易维护独立部署，扩展团队自治实现和采纳新技术更好的容错性缺点：服务拆分和定义是一项挑战（糟糕的是搞成了分布式单体应用）分布式系统带来的各种复杂性，使开发、部署和测...
- 引言在电商业务中，库存超卖问题就如同一颗定时炸弹，随时可能在高并发的环境下引爆。对于后端工程师来说，就需要为这颗炸弹加上防止爆炸的保险，从而避免因为超卖导致的资损问题。本系列文章就将从这个场景入手，一步步地为各位读者引入分布式锁的各种实现，从而让大家可以掌握分布式锁在常见场景的使用。 需求背景背景非常简单，就是在电商项目中，用户购买商品和数量后后，系统会对商品的库存进行相应数量的扣减。因此... 引言在电商业务中，库存超卖问题就如同一颗定时炸弹，随时可能在高并发的环境下引爆。对于后端工程师来说，就需要为这颗炸弹加上防止爆炸的保险，从而避免因为超卖导致的资损问题。本系列文章就将从这个场景入手，一步步地为各位读者引入分布式锁的各种实现，从而让大家可以掌握分布式锁在常见场景的使用。 需求背景背景非常简单，就是在电商项目中，用户购买商品和数量后后，系统会对商品的库存进行相应数量的扣减。因此...
- 引子随着移动互联网时代的到来，大数据时代 也随之而至。无数的信息流与数据流在各种系统和设备中涌动，如何高效地存储与处理这些海量数据，成为了当今技术领域的一大挑战。作为Apache旗下的分布式存储与计算框架，Hadoop 一直在大数据处理领域占有重要地位，凭借其强大的扩展性和可靠性，广泛应用于各类大规模数据处理任务。本文将借鉴Hadoop的设计思想，使用Java实现其一大核心功能：MapRe... 引子随着移动互联网时代的到来，大数据时代 也随之而至。无数的信息流与数据流在各种系统和设备中涌动，如何高效地存储与处理这些海量数据，成为了当今技术领域的一大挑战。作为Apache旗下的分布式存储与计算框架，Hadoop 一直在大数据处理领域占有重要地位，凭借其强大的扩展性和可靠性，广泛应用于各类大规模数据处理任务。本文将借鉴Hadoop的设计思想，使用Java实现其一大核心功能：MapRe...
- 引子在上文的结尾中我提到了redis分布式锁在“主从架构”下失效的情况：比如当redis执行相应命令时，主节点挂掉了，从节点被选为新的主节点，但命令还没来得及同步到从节点，因此高并发场景下，新的请求又会拿到锁，但前一个锁并没有手动释放掉，到过期时间后，就把新请求的锁给释放掉了，那么就又出现并发问题了，本篇文章就将以解决这个问题作为开端来展开。 解决问题在解决问题之前，我们先要认识一个名词-... 引子在上文的结尾中我提到了redis分布式锁在“主从架构”下失效的情况：比如当redis执行相应命令时，主节点挂掉了，从节点被选为新的主节点，但命令还没来得及同步到从节点，因此高并发场景下，新的请求又会拿到锁，但前一个锁并没有手动释放掉，到过期时间后，就把新请求的锁给释放掉了，那么就又出现并发问题了，本篇文章就将以解决这个问题作为开端来展开。 解决问题在解决问题之前，我们先要认识一个名词-...
- 引子在文章的开始前，我们先来看一段代码：@Autowiredprivate StringRedisTemplate stringRedisTemplate;@PostMapping("/deduct_stock")public String deductStock() { int stock = Integer.parseInt(stringRedisTemplate.opsForV... 引子在文章的开始前，我们先来看一段代码：@Autowiredprivate StringRedisTemplate stringRedisTemplate;@PostMapping("/deduct_stock")public String deductStock() { int stock = Integer.parseInt(stringRedisTemplate.opsForV...
- Spring Security 和 Shiro 的对比分析Spring Security 和 Apache Shiro 都是 Java 生态中常用的安全框架，它们都提供了身份验证、授权、加密等安全功能，但在设计理念、功能特性、集成能力等方面存在一些差异。以下是两者的详细对比： 1. 设计理念和定位Spring Security定位：Spring Security 是 Spring 生态中的... Spring Security 和 Shiro 的对比分析Spring Security 和 Apache Shiro 都是 Java 生态中常用的安全框架，它们都提供了身份验证、授权、加密等安全功能，但在设计理念、功能特性、集成能力等方面存在一些差异。以下是两者的详细对比： 1. 设计理念和定位Spring Security定位：Spring Security 是 Spring 生态中的...
- 本文深入探讨了消息中间件的核心功能实现与高并发、高可用设计。在生产者设计中，涵盖消息构造、序列化、路由策略及可靠性保障（如ACK机制）。消费者部分分析了拉取/推送模式、分区分配与消息确认机制。同时，Broker作为核心组件，负责消息路由、存储和投递，并通过索引技术实现快速检索。 高并发设计方面，重点讨论了文件存储（顺序写入、分段存储）、日志结构存储及负载均衡策略（如哈希分区、轮询分区）。为确保高可 本文深入探讨了消息中间件的核心功能实现与高并发、高可用设计。在生产者设计中，涵盖消息构造、序列化、路由策略及可靠性保障（如ACK机制）。消费者部分分析了拉取/推送模式、分区分配与消息确认机制。同时，Broker作为核心组件，负责消息路由、存储和投递，并通过索引技术实现快速检索。 高并发设计方面，重点讨论了文件存储（顺序写入、分段存储）、日志结构存储及负载均衡策略（如哈希分区、轮询分区）。为确保高可
- 消息中间件是一种基于异步消息传递的分布式系统通信工具，核心功能包括消息传输、存储、路由与投递，能够实现系统解耦、异步处理和流量削峰。其主要组件包括生产者、消费者、Broker、主题/队列等，支持点对点和发布-订阅两种消息模型。主流中间件如Kafka（高吞吐）、RabbitMQ（灵活路由）、RocketMQ（事务支持）各有特色，适用于不同场景。此外，中间件还涉及多种协议（AMQP、MQTT等）、可靠 消息中间件是一种基于异步消息传递的分布式系统通信工具，核心功能包括消息传输、存储、路由与投递，能够实现系统解耦、异步处理和流量削峰。其主要组件包括生产者、消费者、Broker、主题/队列等，支持点对点和发布-订阅两种消息模型。主流中间件如Kafka（高吞吐）、RabbitMQ（灵活路由）、RocketMQ（事务支持）各有特色，适用于不同场景。此外，中间件还涉及多种协议（AMQP、MQTT等）、可靠
- TiDB 中新 Hash Join 的设计与性能优化引言Hash Join 是数据库系统中最重要的连接操作之一，在 TiDB 分布式数据库系统中扮演着关键角色。随着数据量的增长和查询复杂度的提升，传统的 Hash Join 实现面临着性能瓶颈。本文将深入探讨 TiDB 中新 Hash Join 的设计理念、核心优化技术及其在不同场景下的实现细节。技术背景传统 Hash Join 的局限性内存... TiDB 中新 Hash Join 的设计与性能优化引言Hash Join 是数据库系统中最重要的连接操作之一，在 TiDB 分布式数据库系统中扮演着关键角色。随着数据量的增长和查询复杂度的提升，传统的 Hash Join 实现面临着性能瓶颈。本文将深入探讨 TiDB 中新 Hash Join 的设计理念、核心优化技术及其在不同场景下的实现细节。技术背景传统 Hash Join 的局限性内存...
- 在实际业务场景中，我们可能会碰到需要短时间批量执行的定时任务，此时如果我们不做任何处理，只是像前面那样去执行，可能出现上一批的任务还没执行完，定时的时间就到了，那么势必会对业务产生影响，所以就需要我们对批量任务进行分片处理，本节就让我们看看Xxl-job如何做分片处理。 一、环境准备 1.mock数据首先在数据库里建一个测试的表，并mock一些数据进去，模拟业务中的“大表”。因为本身就是在模... 在实际业务场景中，我们可能会碰到需要短时间批量执行的定时任务，此时如果我们不做任何处理，只是像前面那样去执行，可能出现上一批的任务还没执行完，定时的时间就到了，那么势必会对业务产生影响，所以就需要我们对批量任务进行分片处理，本节就让我们看看Xxl-job如何做分片处理。 一、环境准备 1.mock数据首先在数据库里建一个测试的表，并mock一些数据进去，模拟业务中的“大表”。因为本身就是在模...
- 在上节中，我们成功地配置了执行器并且执行了我们设定的定时任务。在本节中，将带大家感受下XXL-JOB的一个特别的运行模式-GLUE模式以及感受下集群模式下的不同路由策略。 一、什么是GLUE模式？我们先来回顾下我们现在的定时任务是怎么应用的，我们先在调度中心里配置个任务，接着在项目里对需要定时执行的方法加上XXL-JOB的注解，也就是说我们如果现在需要对某个方法改成定时任务是需要重新发版部署... 在上节中，我们成功地配置了执行器并且执行了我们设定的定时任务。在本节中，将带大家感受下XXL-JOB的一个特别的运行模式-GLUE模式以及感受下集群模式下的不同路由策略。 一、什么是GLUE模式？我们先来回顾下我们现在的定时任务是怎么应用的，我们先在调度中心里配置个任务，接着在项目里对需要定时执行的方法加上XXL-JOB的注解，也就是说我们如果现在需要对某个方法改成定时任务是需要重新发版部署...
- 在上节中，我们部署了调度中心，并且认识了调度中心，那么让它与我们的项目相结合呢？就需要用到“执行器”，通过调度中心配置的“执行器”，再在我们的项目里使用，就可以实现定时任务的控制了。 一、新建项目要使用执行器，一方面要在调度中心里配置，另一方面就需要在项目中使用了，所以我们先新建一个SpringBoot的项目，如下：输入项目的基本信息后引入依赖，这里只是个简单demo，所以导入个Spring... 在上节中，我们部署了调度中心，并且认识了调度中心，那么让它与我们的项目相结合呢？就需要用到“执行器”，通过调度中心配置的“执行器”，再在我们的项目里使用，就可以实现定时任务的控制了。 一、新建项目要使用执行器，一方面要在调度中心里配置，另一方面就需要在项目中使用了，所以我们先新建一个SpringBoot的项目，如下：输入项目的基本信息后引入依赖，这里只是个简单demo，所以导入个Spring...
- 一、获取源码使用的第一步自然就是获取源码，这里我分别贴出Github的地址:https://github.com/xuxueli/xxl-job/ 和Gitee的地址：https://gitee.com/xuxueli0323/xxl-job ，我使用Github去下载，如图： 二、初始化数据库下载源码下来之后，要不用着急启动项目，在源码目录下的 \doc\db可以看到tables_xxl... 一、获取源码使用的第一步自然就是获取源码，这里我分别贴出Github的地址:https://github.com/xuxueli/xxl-job/ 和Gitee的地址：https://gitee.com/xuxueli0323/xxl-job ，我使用Github去下载，如图： 二、初始化数据库下载源码下来之后，要不用着急启动项目，在源码目录下的 \doc\db可以看到tables_xxl...
- 一、什么是XXL-JOB？先来看看官方文档的定义：XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。先来理解一下任务调度：就是在一个约定的特定时刻去执行任务的过程。举一个常见的场景：银行需要在每个用户的信用卡还款日前3天发送短信通知。而任务调度平台则可以让我们对这些任务进行统一的管理，比如开启或关闭... 一、什么是XXL-JOB？先来看看官方文档的定义：XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。先来理解一下任务调度：就是在一个约定的特定时刻去执行任务的过程。举一个常见的场景：银行需要在每个用户的信用卡还款日前3天发送短信通知。而任务调度平台则可以让我们对这些任务进行统一的管理，比如开启或关闭...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签