- 定时任务框架太多了,选个简单高可用的以为就安心用就完了,结果哈,最先发现这个问题是去年的12月31日,我以为是我们的业务有bug了,当天提了问题,发现只有我们的没执行,就不自信了,不了了之了,最近又发生了那总的给个原因吧,这次连带的是其他小分队的也没有执行,是2月26日那么下午运维给出了原因。原因如下:1.运维人员发现 xxx机器上 (数据库磁盘 /home 超过90% ),进入数据库中查看... 定时任务框架太多了,选个简单高可用的以为就安心用就完了,结果哈,最先发现这个问题是去年的12月31日,我以为是我们的业务有bug了,当天提了问题,发现只有我们的没执行,就不自信了,不了了之了,最近又发生了那总的给个原因吧,这次连带的是其他小分队的也没有执行,是2月26日那么下午运维给出了原因。原因如下:1.运维人员发现 xxx机器上 (数据库磁盘 /home 超过90% ),进入数据库中查看...
- 下午想试试能不能把mq搞死,就试了下模拟并发10000个请求,最高时等待队列数量为53,也就是说高并发时必然会出现实际业务与数据库的数据不一致的情况,搭配redis使用时,尽可能的应当(必须)从redis里面取数据。图片此时发现一条死信队列的消息,具体产生原因不详,分析和解决下此问题。死信队列的产生activemq默认使用异步发送模式,如果设置了持久化但没开启事务的话,会发生消息丢失的情况,... 下午想试试能不能把mq搞死,就试了下模拟并发10000个请求,最高时等待队列数量为53,也就是说高并发时必然会出现实际业务与数据库的数据不一致的情况,搭配redis使用时,尽可能的应当(必须)从redis里面取数据。图片此时发现一条死信队列的消息,具体产生原因不详,分析和解决下此问题。死信队列的产生activemq默认使用异步发送模式,如果设置了持久化但没开启事务的话,会发生消息丢失的情况,...
- 前几天整理到redis的一些特性,顺便跟着公开课看了下源码,说到redis的时候,我说redis有几个库,小伙伴说有16个,我说HashMap的初始容量是多少?小伙伴说是16,我说redis抄HashMap的作业你们同不同意,他们说还有点意思,还挺方便记,另外,同为K,V形式存储数据,底层数据结构从维度上讲,1.8之前都是数组+链表,redis的数据结构组成了hashtable,redis的... 前几天整理到redis的一些特性,顺便跟着公开课看了下源码,说到redis的时候,我说redis有几个库,小伙伴说有16个,我说HashMap的初始容量是多少?小伙伴说是16,我说redis抄HashMap的作业你们同不同意,他们说还有点意思,还挺方便记,另外,同为K,V形式存储数据,底层数据结构从维度上讲,1.8之前都是数组+链表,redis的数据结构组成了hashtable,redis的...
- 前几天不是整理那个字节跳动的问题么,整理到了分布式锁,自己看了看有点无感,趁着业务需要,就问了下组长,并解释了情景及解决办法。kk问:在忙吗?组长答:不忙,在看昨天的问题。kk问:我看**那业务那你写了个分布式锁,能讲下实现思路吗?组长答:那个啊,那都写了好久了,我看下...kk小声bb:我想问下咱们业务场景组长答:这个就是咱们业务线在**业务这,以前没有定时任务,拉取热数据的时候,防止多服... 前几天不是整理那个字节跳动的问题么,整理到了分布式锁,自己看了看有点无感,趁着业务需要,就问了下组长,并解释了情景及解决办法。kk问:在忙吗?组长答:不忙,在看昨天的问题。kk问:我看**那业务那你写了个分布式锁,能讲下实现思路吗?组长答:那个啊,那都写了好久了,我看下...kk小声bb:我想问下咱们业务场景组长答:这个就是咱们业务线在**业务这,以前没有定时任务,拉取热数据的时候,防止多服...
- 一、Redis的常见问题和解决方案1.缓存预热场景:“宕机”服务器启动后迅速宕机问题排查:1.请求数量较高,大量的请求过来之后都需要去从缓存中获取数据,但是缓存中又没有,此时从数据库中查找数据然后将数据再存入缓存,造成了短期内对redis的高强度操作从而导致问题2.主从之间数据吞吐量较大,数据同步操作频度较高解决方案:• 前置准备工作:1.日常例行统计数据访问记录,统计访问频度较高的热点数据... 一、Redis的常见问题和解决方案1.缓存预热场景:“宕机”服务器启动后迅速宕机问题排查:1.请求数量较高,大量的请求过来之后都需要去从缓存中获取数据,但是缓存中又没有,此时从数据库中查找数据然后将数据再存入缓存,造成了短期内对redis的高强度操作从而导致问题2.主从之间数据吞吐量较大,数据同步操作频度较高解决方案:• 前置准备工作:1.日常例行统计数据访问记录,统计访问频度较高的热点数据...
- 一、集群cluster现状问题:业务发展过程中遇到的峰值瓶颈• redis提供的服务OPS可以达到10万/秒,当前业务OPS已经达到10万/秒• 内存单机容量达到256G,当前业务需求内存容量1T• 使用集群的方式可以快速解决上述问题1.集群简介集群就是使用网络将若干台计算机联通起来,并提供统一的管理方式,使其对外呈现单机的服务效果![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存... 一、集群cluster现状问题:业务发展过程中遇到的峰值瓶颈• redis提供的服务OPS可以达到10万/秒,当前业务OPS已经达到10万/秒• 内存单机容量达到256G,当前业务需求内存容量1T• 使用集群的方式可以快速解决上述问题1.集群简介集群就是使用网络将若干台计算机联通起来,并提供统一的管理方式,使其对外呈现单机的服务效果![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存...
- 一、主从复制1.主从复制简介1.1 高可用首先我们要理解互联网应用因为其独有的特性我们演化出的三高架构• 高并发 应用要提供某一业务要能支持很多客户端同时访问的能力,我们称为并发,高并发意思就很明确了• 高性能 性能带给我们最直观的感受就是:速度快,时间短• 高可用可用性:一年中应用服务正常运行的时间占全年时间的百分比,如下图:表示了应用服务在全年宕机的时间我们把这些时间加在一起就是全年应用... 一、主从复制1.主从复制简介1.1 高可用首先我们要理解互联网应用因为其独有的特性我们演化出的三高架构• 高并发 应用要提供某一业务要能支持很多客户端同时访问的能力,我们称为并发,高并发意思就很明确了• 高性能 性能带给我们最直观的感受就是:速度快,时间短• 高可用可用性:一年中应用服务正常运行的时间占全年时间的百分比,如下图:表示了应用服务在全年宕机的时间我们把这些时间加在一起就是全年应用...
- 一、JedisJedis是一个Java语言编写的Redis客户端,它允许Java应用程序通过Redis数据库执行各种操作。Jedis提供了简单、直观的API,可以使用Java代码轻松地与Redis数据存储进行交互。Jedis支持多个数据类型和命令,包括字符串、哈希表、列表、集合、有序集合等。Jedis还提供了一些高级功能,例如连接池、数据分片和事务处理等。Jedis源码网址:https://... 一、JedisJedis是一个Java语言编写的Redis客户端,它允许Java应用程序通过Redis数据库执行各种操作。Jedis提供了简单、直观的API,可以使用Java代码轻松地与Redis数据存储进行交互。Jedis支持多个数据类型和命令,包括字符串、哈希表、列表、集合、有序集合等。Jedis还提供了一些高级功能,例如连接池、数据分片和事务处理等。Jedis源码网址:https://...
- 微服务架构(Microservices Architecture)概述在当今的软件开发领域,微服务架构(Microservices Architecture)已经成为一种非常流行的设计模式。它将一个大型应用程序拆分成多个独立的、可独立部署的服务,每个服务都负责处理特定的业务功能。这种架构模式具有许多优点,如提高开发效率、降低维护成本和提高系统可扩展性等。本文将详细介绍微服务架构的概念、特点... 微服务架构(Microservices Architecture)概述在当今的软件开发领域,微服务架构(Microservices Architecture)已经成为一种非常流行的设计模式。它将一个大型应用程序拆分成多个独立的、可独立部署的服务,每个服务都负责处理特定的业务功能。这种架构模式具有许多优点,如提高开发效率、降低维护成本和提高系统可扩展性等。本文将详细介绍微服务架构的概念、特点...
- 分布式缓存的概念和原理 什么是分布式缓存?分布式缓存是一种用于存储和提供数据的系统,它通过将数据存储在内存中以提高访问速度,并将数据分布在多个节点上来实现高可用性和可扩展性。它在大型网络应用中起着至关重要的作用,可以显著降低数据库和后端系统的负载,提供更好的性能和可伸缩性。 分布式缓存的原理分布式缓存系统通常由多个节点组成,每个节点都具有一定的存储容量和处理能力。当一个请求到达系统时,分布... 分布式缓存的概念和原理 什么是分布式缓存?分布式缓存是一种用于存储和提供数据的系统,它通过将数据存储在内存中以提高访问速度,并将数据分布在多个节点上来实现高可用性和可扩展性。它在大型网络应用中起着至关重要的作用,可以显著降低数据库和后端系统的负载,提供更好的性能和可伸缩性。 分布式缓存的原理分布式缓存系统通常由多个节点组成,每个节点都具有一定的存储容量和处理能力。当一个请求到达系统时,分布...
- Redis中过期时间的设置与应用引言:随着互联网的快速发展,数据量的爆炸式增长使得数据存储和访问成为了一大挑战。为解决这个问题,缓存技术逐渐成为了常用的解决方案之一。Redis作为一个高性能的内存缓存数据库,拥有强大的功能和灵活的配置选项,其中过期时间的设置是其重要的特性之一。本文将深入探讨Redis中过期时间的设置方法和其应用。一、Redis过期时间的概念在Redis中,过期时间的设置是用... Redis中过期时间的设置与应用引言:随着互联网的快速发展,数据量的爆炸式增长使得数据存储和访问成为了一大挑战。为解决这个问题,缓存技术逐渐成为了常用的解决方案之一。Redis作为一个高性能的内存缓存数据库,拥有强大的功能和灵活的配置选项,其中过期时间的设置是其重要的特性之一。本文将深入探讨Redis中过期时间的设置方法和其应用。一、Redis过期时间的概念在Redis中,过期时间的设置是用...
- 随着互联网的发展和应用场景的不断扩大,对于高并发、高可用性的需求也越来越高。在这种情况下,线程并发的处理方式已经无法满足需求,因此需要采用更加高效、可靠的方式进行处理。在这里,我们将讨论如何通过 Redis、Nginx 和锁来解决线程并发的问题。一、RedisRedis 是一种基于内存的键值数据库,它具有快速读写、高性能和高并发的特点,因此被广泛应用于缓存、消息队列、计数器等场景中。在高并发... 随着互联网的发展和应用场景的不断扩大,对于高并发、高可用性的需求也越来越高。在这种情况下,线程并发的处理方式已经无法满足需求,因此需要采用更加高效、可靠的方式进行处理。在这里,我们将讨论如何通过 Redis、Nginx 和锁来解决线程并发的问题。一、RedisRedis 是一种基于内存的键值数据库,它具有快速读写、高性能和高并发的特点,因此被广泛应用于缓存、消息队列、计数器等场景中。在高并发...
- 缓存是现代互联网系统中不可或缺的组件,它提高了数据的访问速度,减轻了数据库的压力,提高了系统的性能和可扩展性。Redis 是一个高性能的内存数据结构存储系统,它支持多种数据结构,包括字符串、哈希表、列表、集合和有序集合等。Redis 也可以作为缓存系统使用,它的高速读写能力和持久化机制使得它成为缓存的理想选择。在互联网系统中,分布式锁是一个常见的问题。当多个节点需要访问同一个资源时,需要使用... 缓存是现代互联网系统中不可或缺的组件,它提高了数据的访问速度,减轻了数据库的压力,提高了系统的性能和可扩展性。Redis 是一个高性能的内存数据结构存储系统,它支持多种数据结构,包括字符串、哈希表、列表、集合和有序集合等。Redis 也可以作为缓存系统使用,它的高速读写能力和持久化机制使得它成为缓存的理想选择。在互联网系统中,分布式锁是一个常见的问题。当多个节点需要访问同一个资源时,需要使用...
- 跳跃表redis的有序集合,使用的是hash字典+跳跃表实现的typedef struct zskiplist { struct zskiplistNode *header, *tail; unsigned long length; int level;} zskiplist;typedef struct zset { dict *dict; zskiplist... 跳跃表redis的有序集合,使用的是hash字典+跳跃表实现的typedef struct zskiplist { struct zskiplistNode *header, *tail; unsigned long length; int level;} zskiplist;typedef struct zset { dict *dict; zskiplist...
- sds在redis中,存储字符串的结构称为 sds (Simple Dynamic String) 简单动态字符串在源码sds.h中定义如下:typedef char *sds;/* Note: sdshdr5 is never used, we just access the flags byte directly. * However is here to document the la... sds在redis中,存储字符串的结构称为 sds (Simple Dynamic String) 简单动态字符串在源码sds.h中定义如下:typedef char *sds;/* Note: sdshdr5 is never used, we just access the flags byte directly. * However is here to document the la...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢
2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考
2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本
2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签