- 用 Splash 做页面抓取时，如果爬取的量非常大，任务非常多，用一个 Splash 服务来处理的话，未免压力太大了，此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理，可以减小单个 Splash 服务的压力。 1. 配置 Splash 服务 要搭建 Splash 负载均衡，首先要有多个 Splash 服务。假如这里在 4 ... 用 Splash 做页面抓取时，如果爬取的量非常大，任务非常多，用一个 Splash 服务来处理的话，未免压力太大了，此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理，可以减小单个 Splash 服务的压力。 1. 配置 Splash 服务 要搭建 Splash 负载均衡，首先要有多个 Splash 服务。假如这里在 4 ...
- 基于集群的动态反馈负载均衡策略 基于动态反馈机制的集群负载均衡算法研究 目前应用最为广泛的集群计算技术主要分为三大类：高可用性集群技术、高性能计算集群技术和负载均衡集群技术。 德国的CarlAdamPetri于1962年在他的博士论文《自动机通信》中提出了Petri网的概念,它是一种适合于描述异步、并发、分布式系统的图形数学工具... 基于集群的动态反馈负载均衡策略 基于动态反馈机制的集群负载均衡算法研究 目前应用最为广泛的集群计算技术主要分为三大类：高可用性集群技术、高性能计算集群技术和负载均衡集群技术。 德国的CarlAdamPetri于1962年在他的博士论文《自动机通信》中提出了Petri网的概念,它是一种适合于描述异步、并发、分布式系统的图形数学工具...
- 此篇博文讲的是Flume的负载均衡和故障转移。 目录 1. 需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume-netcat-flume.conf3. 创建flume-flume-console1.conf4. 创建flume-flume-console2.conf5. 执行配置文件6. 使用netcat工具向本机的44444端口发送内容7... 此篇博文讲的是Flume的负载均衡和故障转移。 目录 1. 需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume-netcat-flume.conf3. 创建flume-flume-console1.conf4. 创建flume-flume-console2.conf5. 执行配置文件6. 使用netcat工具向本机的44444端口发送内容7...
- 1. 什么是负载均衡？ 负载均衡是一种基础的网络服务，它的核心原理是按照指定的负载均衡算法，将请求分配到后端服务集群上，从而为系统提供并行处理和高可用的能力。提到负载均衡，你可能想到nginx。对于负载均衡，一般分为服务端负载均衡和客户端负载均衡 服务端负载均衡：在消费者和服务提供方中间使用独立的代理方式进行负载，有硬件的负载均衡器，比如 F5，也有软件，比如... 1. 什么是负载均衡？ 负载均衡是一种基础的网络服务，它的核心原理是按照指定的负载均衡算法，将请求分配到后端服务集群上，从而为系统提供并行处理和高可用的能力。提到负载均衡，你可能想到nginx。对于负载均衡，一般分为服务端负载均衡和客户端负载均衡 服务端负载均衡：在消费者和服务提供方中间使用独立的代理方式进行负载，有硬件的负载均衡器，比如 F5，也有软件，比如...
- 本书摘自《云计算与虚拟化技术丛书 Service Mesh实战：基于Linkerd和Kubernetes的微服务实践》一文中的第2章，第2.2节，作者是杨彰显。 本书摘自《云计算与虚拟化技术丛书 Service Mesh实战：基于Linkerd和Kubernetes的微服务实践》一文中的第2章，第2.2节，作者是杨彰显。
- 本书摘自《云计算技术系列丛书 云原生分布式存储基石： etcd深入解析》一文中的第2章，第2.3.3节，作者是华为云容器服务团队、杜军等编著。 本书摘自《云计算技术系列丛书 云原生分布式存储基石： etcd深入解析》一文中的第2章，第2.3.3节，作者是华为云容器服务团队、杜军等编著。
- 本书摘自《云数据中心网络与SDN： 技术架构与实现》——书中第1章，第1.10.2节，作者是张晨。 本书摘自《云数据中心网络与SDN： 技术架构与实现》——书中第1章，第1.10.2节，作者是张晨。
- 原本是打算搭建个小博客站点做实验，突然想起之前遇到的一次负载均衡失效的经历，便打算做一次实验重现当初的情况并记录下来，防止日后再遇到类似的情况懵逼。 原本是打算搭建个小博客站点做实验，突然想起之前遇到的一次负载均衡失效的经历，便打算做一次实验重现当初的情况并记录下来，防止日后再遇到类似的情况懵逼。
- 开头先理解一下所谓的“均衡”不能狭义地理解为分配给所有实际服务器一样多的工作量，因为多台服务器的承载能力各不相同，这可能体现在硬件配置、网络带宽的差异，也可能因为某台服务器身兼多职，我们所说的“均衡”，也就是希望所有服务器都不要过载，并且能够最大程序地发挥作用。一、http重定向当http代理（比如浏览器）向web服务器请求某个URL后，web服务器可以通过http响应头信息中的Location标 开头先理解一下所谓的“均衡”不能狭义地理解为分配给所有实际服务器一样多的工作量，因为多台服务器的承载能力各不相同，这可能体现在硬件配置、网络带宽的差异，也可能因为某台服务器身兼多职，我们所说的“均衡”，也就是希望所有服务器都不要过载，并且能够最大程序地发挥作用。一、http重定向当http代理（比如浏览器）向web服务器请求某个URL后，web服务器可以通过http响应头信息中的Location标
上滑加载中
推荐直播
-
华为云软件开发生产线（CodeArts）1月&2月新特性解读2025/03/18 周二 19:00-20:00
阿星 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线1月&2月发布的新特性，并在直播过程中为您答疑解惑。
回顾中 -
基于能力图谱的openGauss项目闯关2025/03/20 周四 19:00-20:30
华为开发者布道师
想成为顶级数据库开发者吗？本次直播将从银行业务系统的数据库设计出发，带你逐步掌握openGauss的建库表、数据封装、密态技术、性能调优及AI应用。通过实战案例，全面展示openGauss的强大功能，助你提升技能，为未来的职业发展打下坚实基础。立即报名，开启你的数据库进阶之旅！
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签