- 近日，华为云擎天架构调度算法团队打破了51项由全球优化算法领域权威机构SINTEF维护的PDPTW榜单纪录[1]，成为中国研究机构中最多纪录的保持者。这是继今年GECCO国际会议摘得运筹优化算法赛道双榜首后，华为云在分布式云资源调度、智能决策与优化等技术领域的再一次突破。SINTEF PDPTW榜单纪录举例（其中HW指代挑战：如何离理论最优解再近一步科技工业研究院（SINTEF）是欧洲最大的... 近日，华为云擎天架构调度算法团队打破了51项由全球优化算法领域权威机构SINTEF维护的PDPTW榜单纪录[1]，成为中国研究机构中最多纪录的保持者。这是继今年GECCO国际会议摘得运筹优化算法赛道双榜首后，华为云在分布式云资源调度、智能决策与优化等技术领域的再一次突破。SINTEF PDPTW榜单纪录举例（其中HW指代挑战：如何离理论最优解再近一步科技工业研究院（SINTEF）是欧洲最大的...
- 0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析，以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章，笔者将会每周... 0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析，以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章，笔者将会每周...
- 背景Crawlab自第一版发布已经几个月了，其中经历了好几次迭代：版本从v0.1到了v0.3.0；后端语言从Python到了Golang；从最初使用Celery作为任务调度引擎，到自己开发分布式任务调度引擎；从只能运行自定义爬虫到可以运行可配置爬虫（虽然还没迁移到最新版本）；从手动部署爬虫到自动部署爬虫；从自己搭建环境到Docker部署；从手动执行任务到定时任务；等等（详情见CHANGELO... 背景Crawlab自第一版发布已经几个月了，其中经历了好几次迭代：版本从v0.1到了v0.3.0；后端语言从Python到了Golang；从最初使用Celery作为任务调度引擎，到自己开发分布式任务调度引擎；从只能运行自定义爬虫到可以运行可配置爬虫（虽然还没迁移到最新版本）；从手动部署爬虫到自动部署爬虫；从自己搭建环境到Docker部署；从手动执行任务到定时任务；等等（详情见CHANGELO...
- 您将学习Java电商平台开发技能图谱，探秘双十一百万PV分享内容企业级Java开发技能图谱从宏观到微观，Java到底怎么学为了支撑双十一，我们对Java程序做了什么你将认识热爱分享的常乐君开源组织javagrowing成员、CSDN博客专家、华为云专家Thoughtworks咨询师，华东区Tech Lead5年Java开发经验，1年培训新人经验喜欢leetcode打野，偶尔出现在周赛前排年少... 您将学习Java电商平台开发技能图谱，探秘双十一百万PV分享内容企业级Java开发技能图谱从宏观到微观，Java到底怎么学为了支撑双十一，我们对Java程序做了什么你将认识热爱分享的常乐君开源组织javagrowing成员、CSDN博客专家、华为云专家Thoughtworks咨询师，华东区Tech Lead5年Java开发经验，1年培训新人经验喜欢leetcode打野，偶尔出现在周赛前排年少...
- 用户需要将分散在各个系统的数据统一处理，将源中的数据统一传输到大数据平台。 需要将不同的数据汇聚、清洗、转换。此时就需要一款支持hadoop和与关系型数据库之间的数据的导入导出工具，即数据迁移工具。此时sqoop(sql to hadoop)就诞生了,sqoop是一个在结构化数据、半结构化数据、和非结构非数据的高效的数据转换工具，其构建起传统db和hadoop之间的桥梁。主要用于批量数据处理。 用户需要将分散在各个系统的数据统一处理，将源中的数据统一传输到大数据平台。 需要将不同的数据汇聚、清洗、转换。此时就需要一款支持hadoop和与关系型数据库之间的数据的导入导出工具，即数据迁移工具。此时sqoop(sql to hadoop)就诞生了,sqoop是一个在结构化数据、半结构化数据、和非结构非数据的高效的数据转换工具，其构建起传统db和hadoop之间的桥梁。主要用于批量数据处理。
- 2020-10-29：使用redis实现分布式限流组件，要求高并发场景同一IP一分钟内只能访问100次，超过限制返回异常，写出实现思路或伪代码均可。福哥答案2020-10-29：简单回答：固定窗口：string。key存ip，value存次数。滑动窗口：list。key存ip，value=list，存每次访问的时间。中级回答：固定窗口：用redis的string进行存储，IP为key，val... 2020-10-29：使用redis实现分布式限流组件，要求高并发场景同一IP一分钟内只能访问100次，超过限制返回异常，写出实现思路或伪代码均可。福哥答案2020-10-29：简单回答：固定窗口：string。key存ip，value存次数。滑动窗口：list。key存ip，value=list，存每次访问的时间。中级回答：固定窗口：用redis的string进行存储，IP为key，val...
- 数据库分布式计划的主要特点在于执行算子在不同的节点（逻辑节点/物理节点）上执行，在保证最终执行结果正确性的前提下，如何更好的利用各节点资源是生成最优分布式计划以及性能调优均需面对的首要问题。 数据库分布式计划的主要特点在于执行算子在不同的节点（逻辑节点/物理节点）上执行，在保证最终执行结果正确性的前提下，如何更好的利用各节点资源是生成最优分布式计划以及性能调优均需面对的首要问题。
- 0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析，以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章，笔者将会每周... 0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析，以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章，笔者将会每周...
- 10 分钟快速入门云原生存储组件 Etcd ，掌握常见的概念及操作。 10 分钟快速入门云原生存储组件 Etcd ，掌握常见的概念及操作。
- 0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析，以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章，笔者将会每周... 0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析，以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章，笔者将会每周...
- 配置内外网不同网段IP访问Kafka集群 配置内外网不同网段IP访问Kafka集群
- 福哥答案2020-10-12：#福大大架构师每日一题#1.并发性。加锁解决。2.缺乏全局时钟。3.通信异常。引起数据丢失或者接收数据延迟的问题。4.网络分区，也叫脑裂。5.三态。成功和失败以外的第三种状态，叫超时态。6.节点故障。节点越多，发生故障的几率越大。7.cap不能同时满足。8.一致性问题。9.资源倾斜问题。忙的忙死，闲的闲死。10.扩容和缩容问题。11.分布式幂等性问题。12.se... 福哥答案2020-10-12：#福大大架构师每日一题#1.并发性。加锁解决。2.缺乏全局时钟。3.通信异常。引起数据丢失或者接收数据延迟的问题。4.网络分区，也叫脑裂。5.三态。成功和失败以外的第三种状态，叫超时态。6.节点故障。节点越多，发生故障的几率越大。7.cap不能同时满足。8.一致性问题。9.资源倾斜问题。忙的忙死，闲的闲死。10.扩容和缩容问题。11.分布式幂等性问题。12.se...
- 时间、窗口、状态、容错可以称为是flink的四大基石，本文将介绍下flink中的状态和容错。 本文会介绍flink状态的类型、状态后端、状态扩缩容、持久化、实现有状态算子以及结合max算子讲内置状态。 容错方面介绍基于jm、tm、rm三个组件上的组件级容错。 介绍分布式异步快照的实现以及如何做到at least once和exactly once、end to end exactly。 时间、窗口、状态、容错可以称为是flink的四大基石，本文将介绍下flink中的状态和容错。 本文会介绍flink状态的类型、状态后端、状态扩缩容、持久化、实现有状态算子以及结合max算子讲内置状态。 容错方面介绍基于jm、tm、rm三个组件上的组件级容错。 介绍分布式异步快照的实现以及如何做到at least once和exactly once、end to end exactly。
- 一个分布式系统是一组计算机系统一起工作，在终端用户看来，就像一台计算机在工作一样。 一个分布式系统是一组计算机系统一起工作，在终端用户看来，就像一台计算机在工作一样。
- 分布式计算是计算机科学中研究分布式系统的一个领域。分布式系统组件位于不同的联网计算机上，它们通过相互传递消息来进行通信和协调行动，组件之间相互作用以实现共同的目标。 分布式计算是计算机科学中研究分布式系统的一个领域。分布式系统组件位于不同的联网计算机上，它们通过相互传递消息来进行通信和协调行动，组件之间相互作用以实现共同的目标。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签