- FastDFS 介绍 FastDFS 是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS 服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储... FastDFS 介绍 FastDFS 是一个开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS 服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储...
- SFS具备很好的并发性，每个物理节点都可以同时接入很多的客户端；这些客户端可以并发的进行文件访问操作。 SFS适合应用于高带宽场景，SFS将一个文件切分为分条，每个分条交给不同的节点，不同的硬盘来存储，并通过高效的布局，使得即使同一个文件的不同分条也分布在不同的硬盘上，可以充分的发挥集群中多节点多硬盘的能力，大大增强文件访问的性能。 SFS具备很好的并发性，每个物理节点都可以同时接入很多的客户端；这些客户端可以并发的进行文件访问操作。 SFS适合应用于高带宽场景，SFS将一个文件切分为分条，每个分条交给不同的节点，不同的硬盘来存储，并通过高效的布局，使得即使同一个文件的不同分条也分布在不同的硬盘上，可以充分的发挥集群中多节点多硬盘的能力，大大增强文件访问的性能。
- Spark存储管理机制 Spark存储管理机制
- 随着科技的发展与社会的进步，电子合同已逐步进入愈来愈多的行业。人力资源行业作为“合同密集型”行业，也逐渐开始接受电子劳动合同。但仍有部分人力资源企业对电子合同存在疑虑，认为传统的纸质合同行之有效，并无推行电子合同的必要。 随着科技的发展与社会的进步，电子合同已逐步进入愈来愈多的行业。人力资源行业作为“合同密集型”行业，也逐渐开始接受电子劳动合同。但仍有部分人力资源企业对电子合同存在疑虑，认为传统的纸质合同行之有效，并无推行电子合同的必要。
- Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
- HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。
- Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的
- ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。 ZooKeeper 是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper 已经成为 Hadoop 生态系统中的基础组件。
- HDFS的HA机制 HDFS的HA机制
- 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益... 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益...
- 对于分布式存储，将机器按照IP或其他标示做Hash，散列至一个环形的hash表，对key进行Hash得到value，在该value的下一个节点存储改key。当增加或删除机器时，只有该机器的下一个节点存储的数据需要更新。 对于分布式存储，将机器按照IP或其他标示做Hash，散列至一个环形的hash表，对key进行Hash得到value，在该value的下一个节点存储改key。当增加或删除机器时，只有该机器的下一个节点存储的数据需要更新。
- 1. 恢复时间目标 (RTO， recovery time objective)灾难发生后，信息系统从停顿到必须恢复的时间要求。2. 恢复点目标 (RPO， recovery point objective)灾难发生后，数据必须恢复到的时间点要求。3. 系统可用性（system availability）指在要求的外部资源得到保证的前提下，云服... 1. 恢复时间目标 (RTO， recovery time objective)灾难发生后，信息系统从停顿到必须恢复的时间要求。2. 恢复点目标 (RPO， recovery point objective)灾难发生后，数据必须恢复到的时间点要求。3. 系统可用性（system availability）指在要求的外部资源得到保证的前提下，云服...
- 很多小伙伴在使用华为云DAS数据管理服务、其他工具软件（Navicat, Mysql Workbench, Dbeaver等）访问mysql数据库（5.5, 5.6, 5.7版本）时都遇到过如下情况：单库表数量比较多的时候，移动滚动条查看左侧树表列表时会出现列表刷新过慢，不同程度的卡顿，甚至卡死的情况，针对该问题我们来分析下原因。 Mysql有四个系统库：information_sch... 很多小伙伴在使用华为云DAS数据管理服务、其他工具软件（Navicat, Mysql Workbench, Dbeaver等）访问mysql数据库（5.5, 5.6, 5.7版本）时都遇到过如下情况：单库表数量比较多的时候，移动滚动条查看左侧树表列表时会出现列表刷新过慢，不同程度的卡顿，甚至卡死的情况，针对该问题我们来分析下原因。 Mysql有四个系统库：information_sch...
- 弹性文件服务SFS的数据存储技术，是建立在分布式、节点间冗余的基础上的。数据进入系统之后，首先被切分为N个数据条带，然后计算出M个冗余条带，并最终保存在N+M个不同的节点中。由于同一条带的数据保存在不同节点中，所以SFS中的数据不仅能支持硬盘级的故障，而且能够支持节点级的故障，保证数据不丢失。只要系统中同时故障的节点数不超过M，系统就可以持续提供服务。 弹性文件服务SFS的数据存储技术，是建立在分布式、节点间冗余的基础上的。数据进入系统之后，首先被切分为N个数据条带，然后计算出M个冗余条带，并最终保存在N+M个不同的节点中。由于同一条带的数据保存在不同节点中，所以SFS中的数据不仅能支持硬盘级的故障，而且能够支持节点级的故障，保证数据不丢失。只要系统中同时故障的节点数不超过M，系统就可以持续提供服务。
- 说到云上的对象存储，大家都认可它几个主要的特点：“存储费用很低，1GB一个月才3分多啊”，“使用起来很方便”，“容量很大，根本不用操心容量限制”等等，但是大家也有个共同的顾虑：“我的数据会不会丢，丢了能不能找回来”。其实业界对象存储的厂家在数据可靠性上都进行了大量的设计，如数据冗余，数据静默校验，各类故障的容错处理等等。今天针对这个顾虑，我们分析下对象存储OBS的几个增值特性，看怎么针对... 说到云上的对象存储，大家都认可它几个主要的特点：“存储费用很低，1GB一个月才3分多啊”，“使用起来很方便”，“容量很大，根本不用操心容量限制”等等，但是大家也有个共同的顾虑：“我的数据会不会丢，丢了能不能找回来”。其实业界对象存储的厂家在数据可靠性上都进行了大量的设计，如数据冗余，数据静默校验，各类故障的容错处理等等。今天针对这个顾虑，我们分析下对象存储OBS的几个增值特性，看怎么针对...
上滑加载中
推荐直播
-
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
回顾中 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名 -
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
去报名
热门标签