- 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS ... 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。 HDFS HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS ...
- Git 笔记 Git是分布式版本控制系统集中式VS分布式： 集中式版本控制系统，版本库集中存放在中央服务器，必须要联网才能工作,没有历史版本库。分布式版本控制系统，版本控制系统没有“中央服务器”，每个人电脑上都是一个完整的版本库。分布式系统优势：安全性更高，不需要联网，如果中央服务器故障，任何其他一个开发人员的本地都有最新的带有历史记录的版本库。主要区别在于历史版本库的存放... Git 笔记 Git是分布式版本控制系统集中式VS分布式： 集中式版本控制系统，版本库集中存放在中央服务器，必须要联网才能工作,没有历史版本库。分布式版本控制系统，版本控制系统没有“中央服务器”，每个人电脑上都是一个完整的版本库。分布式系统优势：安全性更高，不需要联网，如果中央服务器故障，任何其他一个开发人员的本地都有最新的带有历史记录的版本库。主要区别在于历史版本库的存放...
- 目录 1、服务器架构演变的最主要的原因是 2、典型的服务器架构介绍 3、流行的服务器介绍 4、关于服务器架构分布式的看法 5、总结 今天写一下游戏服务器的架构，主要还是还是分析下服务器架构的原理，以及解决的问题 1、服务器架构演变的最主要的原因是 1、解决压力的问题，想用较低的价值组合完成任务，也就是一堆垃圾服务器组成集群完成任务。 2、解决业务需求... 目录 1、服务器架构演变的最主要的原因是 2、典型的服务器架构介绍 3、流行的服务器介绍 4、关于服务器架构分布式的看法 5、总结 今天写一下游戏服务器的架构，主要还是还是分析下服务器架构的原理，以及解决的问题 1、服务器架构演变的最主要的原因是 1、解决压力的问题，想用较低的价值组合完成任务，也就是一堆垃圾服务器组成集群完成任务。 2、解决业务需求...
- 什么是集群 在了解什么是集群之前，我们先来聊聊与集群相关的术语 服务硬件： 承载服务的硬件系统，比如PC机，Linux服务器 服务实体： 服务软件本身和服务硬件本身 节点： 与构成集群相关联的连接点，节点这个词被应用于不同的领域。 比如在网络拓扑中，节点就是网络任何支路的 终端。 比如运行Heartbeat进程的一个独立主机我们可以称为一个节点。 资源： 资... 什么是集群 在了解什么是集群之前，我们先来聊聊与集群相关的术语 服务硬件： 承载服务的硬件系统，比如PC机，Linux服务器 服务实体： 服务软件本身和服务硬件本身 节点： 与构成集群相关联的连接点，节点这个词被应用于不同的领域。 比如在网络拓扑中，节点就是网络任何支路的 终端。 比如运行Heartbeat进程的一个独立主机我们可以称为一个节点。 资源： 资...
- torch.distributed 包支持 Pytorch 分布式目前只支持 Linux Pytorch 中通过 torch.distributed 包提供分布式支持，包括 GPU 和 CPU 的分布式训练支持。。 在此之前，torch.nn.DataParalle... torch.distributed 包支持 Pytorch 分布式目前只支持 Linux Pytorch 中通过 torch.distributed 包提供分布式支持，包括 GPU 和 CPU 的分布式训练支持。。 在此之前，torch.nn.DataParalle...
- PyTorch分布式训练 PyTorch 是一个 Python 优先的深度学习框架，能够在强大的 GPU 加速基础上实现张量和动态神经网络。PyTorch的一大优势就是它的动态图计算特性。 License ：MIT License 官网：http://pytorch.org/ GitHub： PyTorch分布式训练 PyTorch 是一个 Python 优先的深度学习框架，能够在强大的 GPU 加速基础上实现张量和动态神经网络。PyTorch的一大优势就是它的动态图计算特性。 License ：MIT License 官网：http://pytorch.org/ GitHub：
- 1 是什么 在分布式系统中有时候某些服务出现故障很正常。 Hystrix可以让我们在分布式系统中对服务间的调用进行控制，加入一些调用延迟或者依赖故障的容错机制。 Hystrix通过将依赖服务进行资源隔离，进而组织某个依赖服务出现故障的时候，这种故障在整个系统所有的依赖服务调用中进行蔓延，同时Hystrix还提供故障时的fallback降级机制 总而言之，Hyst... 1 是什么 在分布式系统中有时候某些服务出现故障很正常。 Hystrix可以让我们在分布式系统中对服务间的调用进行控制，加入一些调用延迟或者依赖故障的容错机制。 Hystrix通过将依赖服务进行资源隔离，进而组织某个依赖服务出现故障的时候，这种故障在整个系统所有的依赖服务调用中进行蔓延，同时Hystrix还提供故障时的fallback降级机制 总而言之，Hyst...
- 全是干货的技术号： 本文已收录在github仓库 Java-Interview-Tutorial，欢迎 star/fork： https://github.com/Wasabi1234/Java-Interview-Tutorial 1 Scale Out 即Scale horizontally，横向扩展，向外扩展 。 称为集群系统。指由多个节点组成的系统... 全是干货的技术号： 本文已收录在github仓库 Java-Interview-Tutorial，欢迎 star/fork： https://github.com/Wasabi1234/Java-Interview-Tutorial 1 Scale Out 即Scale horizontally，横向扩展，向外扩展 。 称为集群系统。指由多个节点组成的系统...
- 1 缓存技术掌握不够，会对发展带来了哪些阻碍 1.1 工作中 如果你这块技术掌握不够，然后你的公司的项目遇到了一些相关的难题，高并发+高性能的场景，hold不住类似的这种高并发的系统 因为缓存架构做得不好，不到位，实际在公司的项目里，出了一些大case，导致系统崩溃，巨大的经济损失 1.2 职业发展中 redis，memcached，activemq，zook... 1 缓存技术掌握不够，会对发展带来了哪些阻碍 1.1 工作中 如果你这块技术掌握不够，然后你的公司的项目遇到了一些相关的难题，高并发+高性能的场景，hold不住类似的这种高并发的系统 因为缓存架构做得不好，不到位，实际在公司的项目里，出了一些大case，导致系统崩溃，巨大的经济损失 1.2 职业发展中 redis，memcached，activemq，zook...
- 2.1 高性能 MySQL太久，受不了! 假设一个请求，各种操作MySQL，半天才查出来一个结果，但这结果可能接下来几个小时都不会再变，或变了也可不用立即返给用户。 使用缓存！ 折腾半天查出来的结果，扔缓存里，一个key对应一个value，下次再有人查，别走MySQL折腾600ms了。 直接从缓存里，通过一个key查出来一个value，2ms搞定。性能提升300... 2.1 高性能 MySQL太久，受不了! 假设一个请求，各种操作MySQL，半天才查出来一个结果，但这结果可能接下来几个小时都不会再变，或变了也可不用立即返给用户。 使用缓存！ 折腾半天查出来的结果，扔缓存里，一个key对应一个value，下次再有人查，别走MySQL折腾600ms了。 直接从缓存里，通过一个key查出来一个value，2ms搞定。性能提升300...
- 本文学习目标 ➢ 了解dubbo的用途 ➢ 掌握dubbo的架构 ➢ 掌握dubbo的使用 1 背景 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 1.1 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。 ... 本文学习目标 ➢ 了解dubbo的用途 ➢ 掌握dubbo的架构 ➢ 掌握dubbo的使用 1 背景 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 1.1 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。 ...
- 1 现在常见的Java工程师/架构师对缓存技术的了解和掌握程度 工作中都会用到一些缓存技术，redis/memcached基础使用，初步的集群知识 我面试过的人里，能掌握到很少的缓存架构的人，屈指可数，个位数，而且都是在大公司有过类似的大型复杂系统架构经验的人 2 缓存架构/技术掌握的不够，对你的发展带来了哪些阻碍？ 2.1 工作中 如果你这块技术掌握不够，然... 1 现在常见的Java工程师/架构师对缓存技术的了解和掌握程度 工作中都会用到一些缓存技术，redis/memcached基础使用，初步的集群知识 我面试过的人里，能掌握到很少的缓存架构的人，屈指可数，个位数，而且都是在大公司有过类似的大型复杂系统架构经验的人 2 缓存架构/技术掌握的不够，对你的发展带来了哪些阻碍？ 2.1 工作中 如果你这块技术掌握不够，然...
- 1 秒杀场景下的数据一致性问题 某商品库存10，A想买6，B想买5。 1.1 做梦 A先买走6，库存剩4，此时B应该无法购买5，给出数量不足提示 1.2 现实 AB获取到商品都剩10，A买走6，在A更新库存前，B又买走5，此时B更新库存，商品还剩5。 1.3 想当然地解决方案 给共享资源或对共享资源的操作加锁，来保证对资源的访问互斥。利用Reentran... 1 秒杀场景下的数据一致性问题 某商品库存10，A想买6，B想买5。 1.1 做梦 A先买走6，库存剩4，此时B应该无法购买5，给出数量不足提示 1.2 现实 AB获取到商品都剩10，A买走6，在A更新库存前，B又买走5，此时B更新库存，商品还剩5。 1.3 想当然地解决方案 给共享资源或对共享资源的操作加锁，来保证对资源的访问互斥。利用Reentran...
- Kafka是分布式的，基于发布订阅的消息系统。 1 特点 同时为发布和订阅提供高吞吐量 Kafka每秒可生产约25万条消息（50 MB），每秒处理55万条消息（110 MB）持久化 默认就将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及防止数据丢失。以O(1)时间复杂度提供消息持久化能力，即使对TB级以上数据也能保证常... Kafka是分布式的，基于发布订阅的消息系统。 1 特点 同时为发布和订阅提供高吞吐量 Kafka每秒可生产约25万条消息（50 MB），每秒处理55万条消息（110 MB）持久化 默认就将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及防止数据丢失。以O(1)时间复杂度提供消息持久化能力，即使对TB级以上数据也能保证常...
- 已经学到的东西 hystrix的核心知识 1、hystrix内部工作原理：8大执行步骤和流程 2、资源隔离：你如果有很多个依赖服务，高可用性，先做资源隔离，任何一个依赖服务的故障不会导致你的服务的资源耗尽，不会崩溃 3、请求缓存：对于一个request context内的多个相同command，使用request cache，提升性能 4、熔断：基于短路器，采集各种... 已经学到的东西 hystrix的核心知识 1、hystrix内部工作原理：8大执行步骤和流程 2、资源隔离：你如果有很多个依赖服务，高可用性，先做资源隔离，任何一个依赖服务的故障不会导致你的服务的资源耗尽，不会崩溃 3、请求缓存：对于一个request context内的多个相同command，使用request cache，提升性能 4、熔断：基于短路器，采集各种...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
苏州工业园区“华为云杯”2025人工智能应用创新大赛赛中直播2025/08/21 周四 16:00-17:00
Vz 华为云AIoT技术布道师
本期直播将与您一起探讨如何基于华为云IoT平台全场景云服务，结合AI、鸿蒙、大数据等技术，打造有创新性，有竞争力的方案和产品。
回顾中
热门标签