- SFS具备很好的并发性，每个物理节点都可以同时接入很多的客户端；这些客户端可以并发的进行文件访问操作。 SFS适合应用于高带宽场景，SFS将一个文件切分为分条，每个分条交给不同的节点，不同的硬盘来存储，并通过高效的布局，使得即使同一个文件的不同分条也分布在不同的硬盘上，可以充分的发挥集群中多节点多硬盘的能力，大大增强文件访问的性能。 SFS具备很好的并发性，每个物理节点都可以同时接入很多的客户端；这些客户端可以并发的进行文件访问操作。 SFS适合应用于高带宽场景，SFS将一个文件切分为分条，每个分条交给不同的节点，不同的硬盘来存储，并通过高效的布局，使得即使同一个文件的不同分条也分布在不同的硬盘上，可以充分的发挥集群中多节点多硬盘的能力，大大增强文件访问的性能。
- Spark存储管理机制 Spark存储管理机制
- 随着科技的发展与社会的进步，电子合同已逐步进入愈来愈多的行业。人力资源行业作为“合同密集型”行业，也逐渐开始接受电子劳动合同。但仍有部分人力资源企业对电子合同存在疑虑，认为传统的纸质合同行之有效，并无推行电子合同的必要。 随着科技的发展与社会的进步，电子合同已逐步进入愈来愈多的行业。人力资源行业作为“合同密集型”行业，也逐渐开始接受电子劳动合同。但仍有部分人力资源企业对电子合同存在疑虑，认为传统的纸质合同行之有效，并无推行电子合同的必要。
- Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
- HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。
- Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的
- ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。 ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。
- HDFS的HA机制 HDFS的HA机制
- 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益... 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益...
- 对于分布式存储，将机器按照IP或其他标示做Hash，散列至一个环形的hash表，对key进行Hash得到value，在该value的下一个节点存储改key。当增加或删除机器时，只有该机器的下一个节点存储的数据需要更新。 对于分布式存储，将机器按照IP或其他标示做Hash，散列至一个环形的hash表，对key进行Hash得到value，在该value的下一个节点存储改key。当增加或删除机器时，只有该机器的下一个节点存储的数据需要更新。
- 1. 恢复时间目标 (RTO， recovery time objective)灾难发生后，信息系统从停顿到必须恢复的时间要求。2. 恢复点目标 (RPO， recovery point objective)灾难发生后，数据必须恢复到的时间点要求。3. 系统可用性（system availability）指在要求的外部资源得到保证的前提下，云服... 1. 恢复时间目标 (RTO， recovery time objective)灾难发生后，信息系统从停顿到必须恢复的时间要求。2. 恢复点目标 (RPO， recovery point objective)灾难发生后，数据必须恢复到的时间点要求。3. 系统可用性（system availability）指在要求的外部资源得到保证的前提下，云服...
- 很多小伙伴在使用华为云DAS数据管理服务、其他工具软件（Navicat, Mysql Workbench, Dbeaver等）访问mysql数据库（5.5, 5.6, 5.7版本）时都遇到过如下情况：单库表数量比较多的时候，移动滚动条查看左侧树表列表时会出现列表刷新过慢，不同程度的卡顿，甚至卡死的情况，针对该问题我们来分析下原因。 Mysql有四个系统库：information_sch... 很多小伙伴在使用华为云DAS数据管理服务、其他工具软件（Navicat, Mysql Workbench, Dbeaver等）访问mysql数据库（5.5, 5.6, 5.7版本）时都遇到过如下情况：单库表数量比较多的时候，移动滚动条查看左侧树表列表时会出现列表刷新过慢，不同程度的卡顿，甚至卡死的情况，针对该问题我们来分析下原因。 Mysql有四个系统库：information_sch...
- 弹性文件服务SFS的数据存储技术，是建立在分布式、节点间冗余的基础上的。数据进入系统之后，首先被切分为N个数据条带，然后计算出M个冗余条带，并最终保存在N+M个不同的节点中。由于同一条带的数据保存在不同节点中，所以SFS中的数据不仅能支持硬盘级的故障，而且能够支持节点级的故障，保证数据不丢失。只要系统中同时故障的节点数不超过M，系统就可以持续提供服务。 弹性文件服务SFS的数据存储技术，是建立在分布式、节点间冗余的基础上的。数据进入系统之后，首先被切分为N个数据条带，然后计算出M个冗余条带，并最终保存在N+M个不同的节点中。由于同一条带的数据保存在不同节点中，所以SFS中的数据不仅能支持硬盘级的故障，而且能够支持节点级的故障，保证数据不丢失。只要系统中同时故障的节点数不超过M，系统就可以持续提供服务。
- 说到云上的对象存储，大家都认可它几个主要的特点：“存储费用很低，1GB一个月才3分多啊”，“使用起来很方便”，“容量很大，根本不用操心容量限制”等等，但是大家也有个共同的顾虑：“我的数据会不会丢，丢了能不能找回来”。其实业界对象存储的厂家在数据可靠性上都进行了大量的设计，如数据冗余，数据静默校验，各类故障的容错处理等等。今天针对这个顾虑，我们分析下对象存储OBS的几个增值特性，看怎么针对... 说到云上的对象存储，大家都认可它几个主要的特点：“存储费用很低，1GB一个月才3分多啊”，“使用起来很方便”，“容量很大，根本不用操心容量限制”等等，但是大家也有个共同的顾虑：“我的数据会不会丢，丢了能不能找回来”。其实业界对象存储的厂家在数据可靠性上都进行了大量的设计，如数据冗余，数据静默校验，各类故障的容错处理等等。今天针对这个顾虑，我们分析下对象存储OBS的几个增值特性，看怎么针对...
- 块存储适用于数据库、ERP等企业核心应用的存储，具有三大存储中最低的时延。 文件存储适用于HPC、企业OA等需要存储数据被多个计算机点共享的场景，具备PB级别的容量，ms级别的时延。 对象存储适用于大数据、IOT、备份归档等场景，具有EB级别的容量和3大存储中最高的数据可靠性。 块存储适用于数据库、ERP等企业核心应用的存储，具有三大存储中最低的时延。 文件存储适用于HPC、企业OA等需要存储数据被多个计算机点共享的场景，具备PB级别的容量，ms级别的时延。 对象存储适用于大数据、IOT、备份归档等场景，具有EB级别的容量和3大存储中最高的数据可靠性。
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签