- scrapy_redis概念作用和流程 学习目标 了解 分布式的概念及特点了解 scarpy_redis的概念了解 scrapy_redis的作用了解 scrapy_redis的工作流程 在前面scrapy框架中我们已经能够使用框架实现爬虫爬取网站数据,如果当前网站的数据比较庞大, 我们就需要使用分布式来更快的爬取数据 1. 分布式是什么 ... scrapy_redis概念作用和流程 学习目标 了解 分布式的概念及特点了解 scarpy_redis的概念了解 scrapy_redis的作用了解 scrapy_redis的工作流程 在前面scrapy框架中我们已经能够使用框架实现爬虫爬取网站数据,如果当前网站的数据比较庞大, 我们就需要使用分布式来更快的爬取数据 1. 分布式是什么 ...
- sync虽然解决了数据同步问题，但是在数据量比较大情况下，从库断线从来依然采用全量复制机制，无论是从数据恢复、宽带占用来说，sync所带来的问题还是很多的。于是redis从2.8开始，引入新的命令psync。 psync有两种模式：完整重同步和部分重同步。 部分重同步主要依赖三个方面来实现，依次介绍。 offset（复制偏移量）： 主库和从库分别各自维护一个复制偏移量... sync虽然解决了数据同步问题，但是在数据量比较大情况下，从库断线从来依然采用全量复制机制，无论是从数据恢复、宽带占用来说，sync所带来的问题还是很多的。于是redis从2.8开始，引入新的命令psync。 psync有两种模式：完整重同步和部分重同步。 部分重同步主要依赖三个方面来实现，依次介绍。 offset（复制偏移量）： 主库和从库分别各自维护一个复制偏移量...
- 频道的订阅和退订 当一个客户端执行 SUBSCRIBE 命令， 订阅某个或某些频道的时候， 这个客户端与被订阅频道之间就建立起了一种订阅关系。 Redis 将所有频道的订阅关系都保存在服务器状态的 pubsub_channels 字典里面， 这个字典的键是某个被订阅的频道， 而键的值则是一个链表， 链表里面记录了所有订阅这个频道的客... 频道的订阅和退订 当一个客户端执行 SUBSCRIBE 命令， 订阅某个或某些频道的时候， 这个客户端与被订阅频道之间就建立起了一种订阅关系。 Redis 将所有频道的订阅关系都保存在服务器状态的 pubsub_channels 字典里面， 这个字典的键是某个被订阅的频道， 而键的值则是一个链表， 链表里面记录了所有订阅这个频道的客...
- redis服务器将所有数据库都保存在redis/redisServer中，数组db存放所有数据库，每一项是一个redisdb结构。dbnum代表数据库数量。 客户端有一个指针指向当前数据库，可以切换，也就是移动指针。 键空间 现在稍微介绍一下redisdb结构，它的字典保存了所有键值对 键空间的键也就是数据库的键， 每个键都是一个字符串对象。 键空间的值也就是数据库... redis服务器将所有数据库都保存在redis/redisServer中，数组db存放所有数据库，每一项是一个redisdb结构。dbnum代表数据库数量。 客户端有一个指针指向当前数据库，可以切换，也就是移动指针。 键空间 现在稍微介绍一下redisdb结构，它的字典保存了所有键值对 键空间的键也就是数据库的键， 每个键都是一个字符串对象。 键空间的值也就是数据库...
- 点赞功能随处可见，我们都知道点赞是一个非常高频的操作，redis就非常适合做这种工作。 实现效果： 分析：三种类型：给帖子点赞，给评论点赞，给回复点赞 我们只实现查看点赞数量的话，只要一个int记录一下就可以，但是我们之后还想查看点赞的人，所以要把每一个点赞的信息都记录好，方便后面的功能继续做出来。 思路： 点赞：把点赞的信息放进去。 取消：把点赞的信息删除。... 点赞功能随处可见，我们都知道点赞是一个非常高频的操作，redis就非常适合做这种工作。 实现效果： 分析：三种类型：给帖子点赞，给评论点赞，给回复点赞 我们只实现查看点赞数量的话，只要一个int记录一下就可以，但是我们之后还想查看点赞的人，所以要把每一个点赞的信息都记录好，方便后面的功能继续做出来。 思路： 点赞：把点赞的信息放进去。 取消：把点赞的信息删除。...
- Redis 的复制功能分为同步（sync）和命令传播（command propagate）两个操作： 同步操作用于将从服务器的数据库状态更新至主服务器当前所处的数据库状态。命令传播操作用于在主服务器的数据库状态被修改， 导致主从服务器的数据库状态出现不一致时， 让主从服务器的数据库重新回到一致状态。 同步 当客户端向从服务器发送 SLAVEOF 命令，... Redis 的复制功能分为同步（sync）和命令传播（command propagate）两个操作： 同步操作用于将从服务器的数据库状态更新至主服务器当前所处的数据库状态。命令传播操作用于在主服务器的数据库状态被修改， 导致主从服务器的数据库状态出现不一致时， 让主从服务器的数据库重新回到一致状态。 同步 当客户端向从服务器发送 SLAVEOF 命令，...
- 1 字符串 redis并未使用传统的c语言字符串表示，它自己构建了一种简单的动态字符串抽象类型。 在redis里，c语言字符串只会作为字符串字面量出现，用在无需修改的地方。 当需要一个可以被修改的字符串时，redis就会使用自己实现的SDS（simple dynamic string）。比如在redis数据库里，包含字符串的键值对底层都是SDS实现的，不止如此，SDS还... 1 字符串 redis并未使用传统的c语言字符串表示，它自己构建了一种简单的动态字符串抽象类型。 在redis里，c语言字符串只会作为字符串字面量出现，用在无需修改的地方。 当需要一个可以被修改的字符串时，redis就会使用自己实现的SDS（simple dynamic string）。比如在redis数据库里，包含字符串的键值对底层都是SDS实现的，不止如此，SDS还...
- 最近遇到一个比较紧急的任务，要求统计在线用户，目的是配合性能测评，要求证明自己系统的在线用户能够达标，不过系统因为历史原因，并没有这个功能，所以只能去springSession官网和网上搜资料，想到通过统计redis里缓存的数据 因为系统原先的逻辑是使用Spring Session加上Redis做的会话共享实现的单点登录，登录之后会在session设置一个key值表示... 最近遇到一个比较紧急的任务，要求统计在线用户，目的是配合性能测评，要求证明自己系统的在线用户能够达标，不过系统因为历史原因，并没有这个功能，所以只能去springSession官网和网上搜资料，想到通过统计redis里缓存的数据 因为系统原先的逻辑是使用Spring Session加上Redis做的会话共享实现的单点登录，登录之后会在session设置一个key值表示...
- 幂等性+ack-1+事务 Kafka数据重复，可以再下一级：SparkStreaming、redis或者hive中dwd层去重，去重的手段：分组、按照id开窗只取第一个值； Kafka数据重复怎么处理? 在下一级消费者中去重。（redis、SparkStreaming） 二、重复消费问题： 即上述 消费方第1种情况—consumer在从broker读取消息后等消费完再comm... 幂等性+ack-1+事务 Kafka数据重复，可以再下一级：SparkStreaming、redis或者hive中dwd层去重，去重的手段：分组、按照id开窗只取第一个值； Kafka数据重复怎么处理? 在下一级消费者中去重。（redis、SparkStreaming） 二、重复消费问题： 即上述 消费方第1种情况—consumer在从broker读取消息后等消费完再comm...
- 因为redis有去重功能，可以保证数据仅仅消费一次。 方案一）通过zookeeper提供的API，自己编写代码，将offset提交到zookeeper；服务启动时，从zookeeper读取offset，并作为"KafkaUtils.createDirectStream"的输入参数 优点：可与基于zookeeper的监控系统融合，对消费情况进行监控 缺点：频繁的读写offset可... 因为redis有去重功能，可以保证数据仅仅消费一次。 方案一）通过zookeeper提供的API，自己编写代码，将offset提交到zookeeper；服务启动时，从zookeeper读取offset，并作为"KafkaUtils.createDirectStream"的输入参数 优点：可与基于zookeeper的监控系统融合，对消费情况进行监控 缺点：频繁的读写offset可...
- 前言 阅读本文之后读者将会学习到如何使用java调用redis。 开发环境包括idea、maven、jdk1.8、redis。 本文假设读者已经在本机搭建好了redis服务器，并开放端口为6379，如果还未完成该操作请参考相关文档搭建redis服务器。 redis可以使用docker快速使用，命令: docker run --name some-redis -p 6379:... 前言 阅读本文之后读者将会学习到如何使用java调用redis。 开发环境包括idea、maven、jdk1.8、redis。 本文假设读者已经在本机搭建好了redis服务器，并开放端口为6379，如果还未完成该操作请参考相关文档搭建redis服务器。 redis可以使用docker快速使用，命令: docker run --name some-redis -p 6379:...
- redis的持久化有哪两种，分别的优点和缺点,默认是哪种机制? 在redis中已经提供了两种持久化的方案: RDB:redis提供的一种基于快照机制实现的持久化方案,而快照就类似于照相机，会将一个服务器某个时刻的一个状态整体保存下来，快照文件一般都非常的小，只有几kb左右。 优点:由于持久化的文件非常小，适合做灾难恢复。 缺点:由于redis中持久化的时机问题，会存在数据丢失... redis的持久化有哪两种，分别的优点和缺点,默认是哪种机制? 在redis中已经提供了两种持久化的方案: RDB:redis提供的一种基于快照机制实现的持久化方案,而快照就类似于照相机，会将一个服务器某个时刻的一个状态整体保存下来，快照文件一般都非常的小，只有几kb左右。 优点:由于持久化的文件非常小，适合做灾难恢复。 缺点:由于redis中持久化的时机问题，会存在数据丢失...
- 这段时间，温故了一下Linux的后端编程。 但是由于东西太杂了，一时之间我也不好界定，到底要不要把那些中间件（数据库、缓存、以后会写的消息队列和负载均衡等）一起加进来。还有一些问题解决方案。 文章目录 Linux网络编程专区数据库专区redis缓存专区消息队列专区负载均衡专区项目日报专区解决方案专区待挖掘技术专区虚拟机相关专区我封装的动态链接库 ... 这段时间，温故了一下Linux的后端编程。 但是由于东西太杂了，一时之间我也不好界定，到底要不要把那些中间件（数据库、缓存、以后会写的消息队列和负载均衡等）一起加进来。还有一些问题解决方案。 文章目录 Linux网络编程专区数据库专区redis缓存专区消息队列专区负载均衡专区项目日报专区解决方案专区待挖掘技术专区虚拟机相关专区我封装的动态链接库 ...
- 文章目录 跳表跳表的搜索跳表的插入抛硬币 跳表的删除 跳表的代码实现跳表数据结构初始化跳表插入节点删除节点销毁跳表 为什么Redis要用跳表来实现有序集合？ 跳表 让你现场手写一棵红黑树、AVL树、伸展树之类的，你行吗？ 要不让我查资料，我估计只能扯皮。 跳表就不一样了，看懂它的原理很简单，根据它的原理直接手写也是可以实现的。 为什么？ 跳表... 文章目录 跳表跳表的搜索跳表的插入抛硬币 跳表的删除 跳表的代码实现跳表数据结构初始化跳表插入节点删除节点销毁跳表 为什么Redis要用跳表来实现有序集合？ 跳表 让你现场手写一棵红黑树、AVL树、伸展树之类的，你行吗？ 要不让我查资料，我估计只能扯皮。 跳表就不一样了，看懂它的原理很简单，根据它的原理直接手写也是可以实现的。 为什么？ 跳表...
- 前言 对于Web来说，用户量和访问量增一定程度上推动项目技术和架构的更迭和进步。可能会有以下的一些状况： 页面并发量和访问量并不多，MySQL足以支撑自己逻辑业务的发展。那么其实可以不加缓存。最多对静态页面进行缓存即可。页面的并发量显著增多，数据库有些压力，并且有些数据更新频率较低反复被查询或者查询速度较慢。那么就可以考虑使用缓存技术优化。对高命中的对象存到key-... 前言 对于Web来说，用户量和访问量增一定程度上推动项目技术和架构的更迭和进步。可能会有以下的一些状况： 页面并发量和访问量并不多，MySQL足以支撑自己逻辑业务的发展。那么其实可以不加缓存。最多对静态页面进行缓存即可。页面的并发量显著增多，数据库有些压力，并且有些数据更新频率较低反复被查询或者查询速度较慢。那么就可以考虑使用缓存技术优化。对高命中的对象存到key-...
上滑加载中
推荐直播
-
华为云软件开发生产线（CodeArts）1月&2月新特性解读2025/03/18 周二 19:00-20:00
阿星 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线1月&2月发布的新特性，并在直播过程中为您答疑解惑。
回顾中 -
基于能力图谱的openGauss项目闯关2025/03/20 周四 19:00-20:30
华为开发者布道师
想成为顶级数据库开发者吗？本次直播将从银行业务系统的数据库设计出发，带你逐步掌握openGauss的建库表、数据封装、密态技术、性能调优及AI应用。通过实战案例，全面展示openGauss的强大功能，助你提升技能，为未来的职业发展打下坚实基础。立即报名，开启你的数据库进阶之旅！
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签