- 介绍了 机架感知（通过HDFS网络拓扑图介绍）、副本冗余存储策略及其优点， HDFS文件读取、写入的详细过程（HDFS数据上传 、 下载 过程的分析），FSDataInputStream 类、FSDataOutputStream 类的常用方法，以及 数据容错 的有关知识。 介绍了 机架感知（通过HDFS网络拓扑图介绍）、副本冗余存储策略及其优点， HDFS文件读取、写入的详细过程（HDFS数据上传 、 下载 过程的分析），FSDataInputStream 类、FSDataOutputStream 类的常用方法，以及 数据容错 的有关知识。
- 大数据容器化，大势所趋。头部玩家在进行大数据容器化后，尝到了甜头？ 大数据容器化，大势所趋。头部玩家在进行大数据容器化后，尝到了甜头？
- 前言现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。随着中国经济的快速发展，汽车行业空前繁荣，私人小汽车拥有量迅速增加，居民出行总量稳步增长，出行距离快速增加。然而，交通拥堵已成为许多大中城市的一种通病，并逐渐成为阻碍、制约城市社会经济发展的负面因素，成为城市管理的热点和难点。为切实提升公安交通管理水平，构建安全... 前言现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。随着中国经济的快速发展，汽车行业空前繁荣，私人小汽车拥有量迅速增加，居民出行总量稳步增长，出行距离快速增加。然而，交通拥堵已成为许多大中城市的一种通病，并逐渐成为阻碍、制约城市社会经济发展的负面因素，成为城市管理的热点和难点。为切实提升公安交通管理水平，构建安全...
- 前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！ 历史文章[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS[hadoop3.x系列]HDFS REST HTTP API的使用(二)HttpFS 🍑Hadoop常用文件存储格式 传统系统常见文件存储格式在Windows有... 前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！ 历史文章[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS[hadoop3.x系列]HDFS REST HTTP API的使用(二)HttpFS 🍑Hadoop常用文件存储格式 传统系统常见文件存储格式在Windows有...
- linux系列第八课 linux系列第八课
- 在上节云计算行业应用—大数据@音视频（一）中，我们探讨了随着企业业务发展和产生消费数据量级的增加，大数据技术不断打破原有极限，相关技术不断演进，新的大数据架构层出不穷。本节我们将深入大数据行业应用，从上节讨论到的数据湖出发，结合音视频行业相关业务场景和相关大数据架构，更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据... 在上节云计算行业应用—大数据@音视频（一）中，我们探讨了随着企业业务发展和产生消费数据量级的增加，大数据技术不断打破原有极限，相关技术不断演进，新的大数据架构层出不穷。本节我们将深入大数据行业应用，从上节讨论到的数据湖出发，结合音视频行业相关业务场景和相关大数据架构，更进一步的理解大数据技术和华为云相关服务的应用。1. 数据湖基本架构 数据湖是伴随企业业余和数据...
- 随着通信、互联网及物联网等技术的不断发展，企业所提供的互联网服务能够被越来越多的接入方式诸如：网页、手机终端、电视终端、家庭智能终端设备等进行访问。越来越细致多样的数据统计、收集方式的应用，使得越来越大规模的数据被生产出来。据IDC发布《数据时代2025》的报告显示，全球每年产生的数据将从2018年的33ZB增长到175ZB，相当于每天产生491EB的数据。 大规模... 随着通信、互联网及物联网等技术的不断发展，企业所提供的互联网服务能够被越来越多的接入方式诸如：网页、手机终端、电视终端、家庭智能终端设备等进行访问。越来越细致多样的数据统计、收集方式的应用，使得越来越大规模的数据被生产出来。据IDC发布《数据时代2025》的报告显示，全球每年产生的数据将从2018年的33ZB增长到175ZB，相当于每天产生491EB的数据。 大规模...
- MySQL流程控制语句概述 MySQL流程控制语句概述
- 大数据之路顺应人类科技的进步而诞生，一直顺风顺水，不到20年时间，已渗透到社会生产和人们生活的方方面面。然而，伴随着信息量的指数级增长，大数据也开始面临存储资源告急、算力吃紧、数据处理效率无法满足业务增长诉求等一系列问题，导致唱衰之声此起彼伏。而近年来兴起的容器技术，以其轻量化、易迁移、扩容快等优势，结合计算存储分离的分布式架构，可以更好地发挥大数据平台在海量数据集、高并发、实时分析等应用场... 大数据之路顺应人类科技的进步而诞生，一直顺风顺水，不到20年时间，已渗透到社会生产和人们生活的方方面面。然而，伴随着信息量的指数级增长，大数据也开始面临存储资源告急、算力吃紧、数据处理效率无法满足业务增长诉求等一系列问题，导致唱衰之声此起彼伏。而近年来兴起的容器技术，以其轻量化、易迁移、扩容快等优势，结合计算存储分离的分布式架构，可以更好地发挥大数据平台在海量数据集、高并发、实时分析等应用场...
- 今天为大家推荐的故事是新当选的 ASF Member，来自华为 今天为大家推荐的故事是新当选的 ASF Member，来自华为
- 个人练习前端技术使用Bootstrap、JQuery、thymeleaf 个人练习前端技术使用Bootstrap、JQuery、thymeleaf
- 最近在 Win10 系统上配置了ubuntu-18.04.3，在配置集群的 ssh 无秘钥登录时，经常能碰到 ssh: connect to host master port 22: Connection timed out 的问题。 最近在 Win10 系统上配置了ubuntu-18.04.3，在配置集群的 ssh 无秘钥登录时，经常能碰到 ssh: connect to host master port 22: Connection timed out 的问题。
- 费时费力的花钱举办了一场打折优惠促销活动，可是零售商家如何知道活动办得好不好？ 费时费力的花钱举办了一场打折优惠促销活动，可是零售商家如何知道活动办得好不好？
- 虚拟化，作为云计算的核心技术，实质上是在单一的物理服务器上同时运行多个“虚拟服务器”的过程。这些虚拟服务器，亦被称为虚拟机（VM，Virtual Machine），虽然表面上看来彼此独立，但它们却共享着物理服务器的CPU、内存、硬件设备以及网卡等资源。在虚拟化环境中，物理服务器通常被称作“宿主机（Host）”，而虚拟机则相应地被称为“客户机（Guest）”。随着信息技术的飞速发展，服务器虚拟... 虚拟化，作为云计算的核心技术，实质上是在单一的物理服务器上同时运行多个“虚拟服务器”的过程。这些虚拟服务器，亦被称为虚拟机（VM，Virtual Machine），虽然表面上看来彼此独立，但它们却共享着物理服务器的CPU、内存、硬件设备以及网卡等资源。在虚拟化环境中，物理服务器通常被称作“宿主机（Host）”，而虚拟机则相应地被称为“客户机（Guest）”。随着信息技术的飞速发展，服务器虚拟...
- hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户(程序员)书写的SQL语句翻译成MapReduce代码，然后发布任务给Yarn执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类... hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户(程序员)书写的SQL语句翻译成MapReduce代码，然后发布任务给Yarn执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签