- Hadoop主要由HDFS和MapReduce 两个核心部分组成。其中最底部就是HDFS，它被用来存储Hadoop 集群中所有存储节点上的文件。 Hadoop主要由HDFS和MapReduce 两个核心部分组成。其中最底部就是HDFS，它被用来存储Hadoop 集群中所有存储节点上的文件。
- Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照，方便后期搭建分布式集群时多台Linux虚拟机的准备。一、如何为虚拟机做快照? 1、什么是快照？ 快照就是对当前的虚拟机状态进行拍照，保留虚拟机当前状态的操作信息。 2、为什么要为虚拟机做快照？ 第一：为克隆不同状态的虚拟机提前做准备。 ... Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照，方便后期搭建分布式集群时多台Linux虚拟机的准备。一、如何为虚拟机做快照? 1、什么是快照？ 快照就是对当前的虚拟机状态进行拍照，保留虚拟机当前状态的操作信息。 2、为什么要为虚拟机做快照？ 第一：为克隆不同状态的虚拟机提前做准备。 ...
- 1、要学Java，java跨平台，并且很多大数据的框架都是java开发。2、hadoop 虽然现在好多都用spark，但了解 hadoop 有利于对其他的了解，并且现在也有很多是用的hadoop+spark3、Linux 这个就不用说了4、Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为M... 1、要学Java，java跨平台，并且很多大数据的框架都是java开发。2、hadoop 虽然现在好多都用spark，但了解 hadoop 有利于对其他的了解，并且现在也有很多是用的hadoop+spark3、Linux 这个就不用说了4、Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为M...
- 分布式系统背景说分布式系统必须要说集中式系统，集中式系统中整个项目就是一个独立的应用，整个应用也就是整个项目，所有的东西都在一个应用里面。如下图所示如一个网站就是一个应用，最后是多个增加多台服务器或者多个容器来达到负载均衡的避免单点故障的目的，当然，数据库是可以分开部署的。集中式很明显的优点就是开发测试运维会比较方便，不用为考虑复杂的分布式环境。集中式很明显的弊端就是不易扩展，每次更新都必须... 分布式系统背景说分布式系统必须要说集中式系统，集中式系统中整个项目就是一个独立的应用，整个应用也就是整个项目，所有的东西都在一个应用里面。如下图所示如一个网站就是一个应用，最后是多个增加多台服务器或者多个容器来达到负载均衡的避免单点故障的目的，当然，数据库是可以分开部署的。集中式很明显的优点就是开发测试运维会比较方便，不用为考虑复杂的分布式环境。集中式很明显的弊端就是不易扩展，每次更新都必须...
- 一个系统中包含有各种各样的配置信息，如一个日志文件需要配置以下几个信息。日志文件生成主目录日志文件名称，不同的日志级别对应不同的文件当前日志级别还有其他各种业务参数、系统参数等，大多单一系统是直接把这些配置写死在配置文件中，当部署到测试、生产环境就再修改下配置文件，这样很容易出错，也不能灵活修改。还有就是系统变成分布式系统后，子系统越来越多，你要维护这些配置就变得越来越困难。我觉得至少要能解... 一个系统中包含有各种各样的配置信息，如一个日志文件需要配置以下几个信息。日志文件生成主目录日志文件名称，不同的日志级别对应不同的文件当前日志级别还有其他各种业务参数、系统参数等，大多单一系统是直接把这些配置写死在配置文件中，当部署到测试、生产环境就再修改下配置文件，这样很容易出错，也不能灵活修改。还有就是系统变成分布式系统后，子系统越来越多，你要维护这些配置就变得越来越困难。我觉得至少要能解...
- 在许多场景中，数据一致性是一个比较重要的话题，在单机环境中，我们可以通过Java提供的并发API来解决；而在分布式环境(会遇到网络故障、消息重复、消息丢失等各种问题)下要复杂得多，常见的解决方案是分布式事务、分布式锁等。本文主要探讨如何利用Zookeeper来实现分布式锁。关于分布式锁分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在实现分布式锁的过程中需要注意的：锁的可重入性(递归... 在许多场景中，数据一致性是一个比较重要的话题，在单机环境中，我们可以通过Java提供的并发API来解决；而在分布式环境(会遇到网络故障、消息重复、消息丢失等各种问题)下要复杂得多，常见的解决方案是分布式事务、分布式锁等。本文主要探讨如何利用Zookeeper来实现分布式锁。关于分布式锁分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在实现分布式锁的过程中需要注意的：锁的可重入性(递归...
- 存储虚拟化 存储虚拟化
- 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成... 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成...
- 作者：大闲人柴毛毛链接：https://www.zhihu.com/question/20004877/answer/282033178来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。单机结构我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就... 作者：大闲人柴毛毛链接：https://www.zhihu.com/question/20004877/answer/282033178来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。单机结构我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就...
- MapReduce作为一个面向海量数据分布式处理的计算模型、框架和平台，具备以下三个特点：1、易于编程：程序员仅需描述Map阶段和Reduce阶段要如何解析、处理数据，具体怎么读取数据并对处理结果进行排序、分区、组合、合并等等，都可以交由系统的执行框架处理。2、良好的扩展性：可通过添加节点以扩展集群运算能力。3、高容错性：在程序运行过程中，当某些节点发生故障时，通过计算迁移或数据迁移等策略在... MapReduce作为一个面向海量数据分布式处理的计算模型、框架和平台，具备以下三个特点：1、易于编程：程序员仅需描述Map阶段和Reduce阶段要如何解析、处理数据，具体怎么读取数据并对处理结果进行排序、分区、组合、合并等等，都可以交由系统的执行框架处理。2、良好的扩展性：可通过添加节点以扩展集群运算能力。3、高容错性：在程序运行过程中，当某些节点发生故障时，通过计算迁移或数据迁移等策略在...
- 上一篇文章讲述了一个服务如何从配置中心读取文件，配置中心如何从远程git读取配置文件，当服务实例很多时，都从配置中心读取文件，这时可以考虑将配置中心做成一个微服务，将其集群化，从而达到高可用 上一篇文章讲述了一个服务如何从配置中心读取文件，配置中心如何从远程git读取配置文件，当服务实例很多时，都从配置中心读取文件，这时可以考虑将配置中心做成一个微服务，将其集群化，从而达到高可用
- 在分布式系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组件。在Spring Cloud中，有分布式配置中心组件spring cloud config ，它支持配置服务放在配置服务的内存中（即本地），也支持放在远程Git仓库中。在spring cloud config 组件中，分两个角色，一是config server，二是config client。 在分布式系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组件。在Spring Cloud中，有分布式配置中心组件spring cloud config ，它支持配置服务放在配置服务的内存中（即本地），也支持放在远程Git仓库中。在spring cloud config 组件中，分两个角色，一是config server，二是config client。
- 分布式存储简单的来说，就是将数据分散存储到多个数据存储存储服务器上。分布式存储目前多借鉴Google的经验，在众多的服务器搭建一个分布式文件系统，再在这个分布式文件系统上实现相关的数据存储业务，甚至是再实现二级存储业务如Bigtable。分布式存储具有可扩展性、可用性、可靠性、 高性能、易维护、低成本等特性。分布式存储系统中面临着的首要问题就是如何将大量的数据分布在不同的存储节点上，无论上层... 分布式存储简单的来说，就是将数据分散存储到多个数据存储存储服务器上。分布式存储目前多借鉴Google的经验，在众多的服务器搭建一个分布式文件系统，再在这个分布式文件系统上实现相关的数据存储业务，甚至是再实现二级存储业务如Bigtable。分布式存储具有可扩展性、可用性、可靠性、 高性能、易维护、低成本等特性。分布式存储系统中面临着的首要问题就是如何将大量的数据分布在不同的存储节点上，无论上层...
- Masstransit作为.Net平台下的一款优秀的开源产品却没有得到应有的关注，这段时间有机会阅读了Masstransit的源码，我觉得我有必要普及一下这个框架的使用。值得一提的是Masstransit的源码写的非常优秀，值得每个想提高自己编程能力的.Net选手阅读，整个代码看起来赏心悦目。反之，每次打开自己公司项目的时候心情都异常沉重。所以不是.Net不行，还是咱们水平不行。学会了Mas... Masstransit作为.Net平台下的一款优秀的开源产品却没有得到应有的关注，这段时间有机会阅读了Masstransit的源码，我觉得我有必要普及一下这个框架的使用。值得一提的是Masstransit的源码写的非常优秀，值得每个想提高自己编程能力的.Net选手阅读，整个代码看起来赏心悦目。反之，每次打开自己公司项目的时候心情都异常沉重。所以不是.Net不行，还是咱们水平不行。学会了Mas...
- YARN调度资源的介绍 YARN调度资源的介绍
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中 -
一个AI团队帮你写代码：华为云码道Agent Space实战2026/06/25 周四 19:00-21:00
张翰文-华为云码道工程师/郭英旭-青软创新科技集团股份有限公司 软件架构师
本场直播聚焦华为云码道Agent Space两大模式：研发办公、代码开发，亲身体验从需求到代码的AI自动化能力。实操演示基于华为 CodeArts CLI，依托 OpenSpec 规格体系从零搭建业务项目。
即将直播
热门标签