- 1. 背景介绍传统的Hadoop和Spark大数据生态，是以本地硬盘或云硬盘承载HDFS文件系统，存放计算源数据、中间计算结果或最终计算结果。但是本地硬盘的成本高，扩容困难，而云硬盘的成本较高，扩容较方便。华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务，具有高性能、低成本的优势，无扩容问题。同时可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据... 1. 背景介绍传统的Hadoop和Spark大数据生态，是以本地硬盘或云硬盘承载HDFS文件系统，存放计算源数据、中间计算结果或最终计算结果。但是本地硬盘的成本高，扩容困难，而云硬盘的成本较高，扩容较方便。华为云对象存储服务可以提供稳定、安全、高效、易用的云存储服务，具有高性能、低成本的优势，无扩容问题。同时可以与Hadoop和Spark大数据生态进行对接，为用户提供计算存储分离的大数据...
- 近日，基于对中国IT基础设施市场的调研与分析，弗若斯特沙利文（以下简称“沙利文”）发布了最新的《中国IT基础设施行业白皮书》。白皮书指出，2018年，随着华为云在云基础设施领先的实践和创新，华为云以21.3%的市场份额获得中国云基础设施市场领导者的地位。 在Cloud 2.0时代，大中型企业成为上云的主角，AI成为基本生产力，将改变每个组织和行业，智能化成为驱动行业应用上云的最强动力之一。... 近日，基于对中国IT基础设施市场的调研与分析，弗若斯特沙利文（以下简称“沙利文”）发布了最新的《中国IT基础设施行业白皮书》。白皮书指出，2018年，随着华为云在云基础设施领先的实践和创新，华为云以21.3%的市场份额获得中国云基础设施市场领导者的地位。 在Cloud 2.0时代，大中型企业成为上云的主角，AI成为基本生产力，将改变每个组织和行业，智能化成为驱动行业应用上云的最强动力之一。...
- 目前华为主要使用的批处理和流处理引擎主要有 MapReduce、Spark、Streaming、Flink. 其中批处理引擎的代表是MapReduce,流处理引擎是Streaming,它源于Storm,混合引擎（既可以批处理又可以流处理）是Spark、Flink. 下面会根据各个引擎的特性来介绍什么样的场景用什么类型的引擎更为合适，MapReduce,基于Hadoop的批处... 目前华为主要使用的批处理和流处理引擎主要有 MapReduce、Spark、Streaming、Flink. 其中批处理引擎的代表是MapReduce,流处理引擎是Streaming,它源于Storm,混合引擎（既可以批处理又可以流处理）是Spark、Flink. 下面会根据各个引擎的特性来介绍什么样的场景用什么类型的引擎更为合适，MapReduce,基于Hadoop的批处...
- 当你发现生活超市里出现了自助结账台当你停下来扫个脸就可以打卡办公当机器人客服24小时在线，随时解答你的问题...Believe it or not云计算、人工智能等技术已经逐渐融入到我们的生活里并且这类人才俨然成为当下求职岗位中紧俏的“香饽饽”作为当下最有前景和“钱景”的行业，国家持续的政策支持、企业AI场景应用和遍地开花的人工智能课程都在述说着这一个事实。云计算是一个蕴含巨大机会的领域。与... 当你发现生活超市里出现了自助结账台当你停下来扫个脸就可以打卡办公当机器人客服24小时在线，随时解答你的问题...Believe it or not云计算、人工智能等技术已经逐渐融入到我们的生活里并且这类人才俨然成为当下求职岗位中紧俏的“香饽饽”作为当下最有前景和“钱景”的行业，国家持续的政策支持、企业AI场景应用和遍地开花的人工智能课程都在述说着这一个事实。云计算是一个蕴含巨大机会的领域。与...
- 数据发布/订阅所谓的数据发布/订阅，意思是发布者将数据发布到Zookeeper上的一个或一系列节点上，通过watcher机制，客户端可以监听(订阅)这些数据节点，当这些节点发生变化时，Zookeeper及时地通知客户端，从而达到动态获取数据的目的。一种常见的场景就是配置中心。随着应用越来越多，功能越来越复杂，机器也越来越多，对于一些公共的程序配置，譬如各种功能的开关、数据库的配置、服务器的地... 数据发布/订阅所谓的数据发布/订阅，意思是发布者将数据发布到Zookeeper上的一个或一系列节点上，通过watcher机制，客户端可以监听(订阅)这些数据节点，当这些节点发生变化时，Zookeeper及时地通知客户端，从而达到动态获取数据的目的。一种常见的场景就是配置中心。随着应用越来越多，功能越来越复杂，机器也越来越多，对于一些公共的程序配置，譬如各种功能的开关、数据库的配置、服务器的地...
- 城市交通大脑是深圳交警与华为公司联合创新的产物从顶层设计入手全面规划深圳城市交通体系并以视频云、大数据、人工智能为技术核心建立了一个统一、开放、智能的交通管控系统。 城市交通大脑是深圳交警与华为公司联合创新的产物从顶层设计入手全面规划深圳城市交通体系并以视频云、大数据、人工智能为技术核心建立了一个统一、开放、智能的交通管控系统。
- 2018年6月20日，成都虚谷伟业科技有限公司(简称：虚谷伟业公司)在华为云市场发布了虚谷数据库产品，为大数据的安全存储提供完整解决方案和综合技术服务,为用户提供虚谷标准版数据库、虚谷企业版数据库、虚谷大型分布式关系型数据库、大数据整体解决方案。虚谷数据库具有独创的全新架构是一款分布式架构关系型数据库，具备分布式运算、分布式存储、自动扩展能力，完整的SQL、PL/SQL和事务ACID特性支持。 2018年6月20日，成都虚谷伟业科技有限公司(简称：虚谷伟业公司)在华为云市场发布了虚谷数据库产品，为大数据的安全存储提供完整解决方案和综合技术服务,为用户提供虚谷标准版数据库、虚谷企业版数据库、虚谷大型分布式关系型数据库、大数据整体解决方案。虚谷数据库具有独创的全新架构是一款分布式架构关系型数据库，具备分布式运算、分布式存储、自动扩展能力，完整的SQL、PL/SQL和事务ACID特性支持。
- 为了方面数据分析人员能够更加方便的使用DLI的SQL查询功能，DLI现在提供多编辑器的界面，现在该功能正处于灰度测试的阶段，只有部分用户能通过URL访问该功能。需要说明的是该功能可能存在一定的缺陷，欢迎大家在试用的过程中在博客下方面提出建议。 为了方面数据分析人员能够更加方便的使用DLI的SQL查询功能，DLI现在提供多编辑器的界面，现在该功能正处于灰度测试的阶段，只有部分用户能通过URL访问该功能。需要说明的是该功能可能存在一定的缺陷，欢迎大家在试用的过程中在博客下方面提出建议。
- Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。与Hive的关系 Impala 与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，... Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。与Hive的关系 Impala 与Hive都是构建在Hadoop之上的数据查询工具各有不同的侧重适应面，...
- 1. 近期 BugFix 汇总2. 近期重要 BugFix 分析——本期更新内容1近期 Bug Fix 数据汇总Kubernetes 1.17 已于一个月前发布，针对此版本的 bug fix 相对较少，且到现在为止仍然只有 1.17.0 一个小版本。笔者通过分析发现绝大多数的 Bug Fix 都是一些小的或者冷门特性的修复，不影响正常使用。下面会挑选用户可能比较关心的 Bug 进行解读。1近... 1. 近期 BugFix 汇总2. 近期重要 BugFix 分析——本期更新内容1近期 Bug Fix 数据汇总Kubernetes 1.17 已于一个月前发布，针对此版本的 bug fix 相对较少，且到现在为止仍然只有 1.17.0 一个小版本。笔者通过分析发现绝大多数的 Bug Fix 都是一些小的或者冷门特性的修复，不影响正常使用。下面会挑选用户可能比较关心的 Bug 进行解读。1近...
- Kubernetes 集群的几种访问方式在实际开发过程中，若想要获取 Kubernetes 中某个资源（比如 pod）的所有对象，可以使用 kubectl、k8s REST API、client-go(ClientSet、Dynamic Client、RESTClient 三种方式) 等多种方式访问 K8s 集群获取资源。在笔者的开发过程中，最初都是直接调用 K8s 的 REST API 来... Kubernetes 集群的几种访问方式在实际开发过程中，若想要获取 Kubernetes 中某个资源（比如 pod）的所有对象，可以使用 kubectl、k8s REST API、client-go(ClientSet、Dynamic Client、RESTClient 三种方式) 等多种方式访问 K8s 集群获取资源。在笔者的开发过程中，最初都是直接调用 K8s 的 REST API 来...
- 国际大科学工程——平方公里阵列射电望远镜（SKA）是国际天文界计划建造的世界最大综合孔径射电望远镜，涉及天文、天线、数据处理与传输等多个高新技术与基础领域。项目总占地面积将超过100万平方米，近期已在澳大利亚西部和南非启动初步部署。人类解答宇宙及其起源问题的能力将大幅提升， 而人工智能（AI）将在其中发挥关键作用。我们能获得哪些新知？自20世纪30年代Karl Jansky首次探测到来自太空... 国际大科学工程——平方公里阵列射电望远镜（SKA）是国际天文界计划建造的世界最大综合孔径射电望远镜，涉及天文、天线、数据处理与传输等多个高新技术与基础领域。项目总占地面积将超过100万平方米，近期已在澳大利亚西部和南非启动初步部署。人类解答宇宙及其起源问题的能力将大幅提升， 而人工智能（AI）将在其中发挥关键作用。我们能获得哪些新知？自20世纪30年代Karl Jansky首次探测到来自太空...
- 在说分词之前，笔者先来介绍下何为分词：分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。英文中，单词之间是以空格作为自然分界符的，但是中文的分词就复杂多了，要涉及一些算法，对于初学者来说，还是有很多难度的。这里笔者只介绍一种最简单的方式，有兴趣的朋友可以看下，直接上代码： python实现方式# -*- coding: utf-8 -*-# flake8: noqa__author... 在说分词之前，笔者先来介绍下何为分词：分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。英文中，单词之间是以空格作为自然分界符的，但是中文的分词就复杂多了，要涉及一些算法，对于初学者来说，还是有很多难度的。这里笔者只介绍一种最简单的方式，有兴趣的朋友可以看下，直接上代码： python实现方式# -*- coding: utf-8 -*-# flake8: noqa__author...
- 双11刚刚过去，双12即将到来，不知大家的手是否还在？经历过某猫某东某宝拼杀的各位买家，大概都有过被这些平台猜透小心思，“看了又看、买了又买”的经历。它们在偷看你的生活吗，为什么总能直击你的心房，让你不由自主的献出积蓄呢？今天，我们深扒一下那些“猜你喜欢”背后的势力——推荐系统算法中的元老级算法：基于物品的协同过滤算法。基于物品的协同过滤算法不管你在“双11”还是“618”这样的“商造节日”... 双11刚刚过去，双12即将到来，不知大家的手是否还在？经历过某猫某东某宝拼杀的各位买家，大概都有过被这些平台猜透小心思，“看了又看、买了又买”的经历。它们在偷看你的生活吗，为什么总能直击你的心房，让你不由自主的献出积蓄呢？今天，我们深扒一下那些“猜你喜欢”背后的势力——推荐系统算法中的元老级算法：基于物品的协同过滤算法。基于物品的协同过滤算法不管你在“双11”还是“618”这样的“商造节日”...
- 在生产中部署深度学习模型可能很有挑战性，因为这远远不仅是训练出具有良好性能的模型就足够了。为了部署生产级深度学习系统，还需要正确设计和开发一众组件。本文介绍了 GitHub 上的一个工程指南，用于构建将部署在实际应用程序中的生产级深度学习系统。 在生产中部署深度学习模型可能很有挑战性，因为这远远不仅是训练出具有良好性能的模型就足够了。为了部署生产级深度学习系统，还需要正确设计和开发一众组件。本文介绍了 GitHub 上的一个工程指南，用于构建将部署在实际应用程序中的生产级深度学习系统。
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签