- GaussDB(DWS)数据仓库:从数据库到MPP,再到大数据时代的数据仓库在大数据时代,数据量爆炸式增长。为了管理和利用这些海量数据,数据仓库成为了不可或缺的工具。GaussDB(DWS)作为一种高度可扩展的数据仓库解决方案,提供了从数据库到MPP再到大数据时代的全方位支持。什么是GaussDB(DWS)?GaussDB(DWS)是一种基于分布式架构的关系型数据库,被广泛应用于大数据场景下... GaussDB(DWS)数据仓库:从数据库到MPP,再到大数据时代的数据仓库在大数据时代,数据量爆炸式增长。为了管理和利用这些海量数据,数据仓库成为了不可或缺的工具。GaussDB(DWS)作为一种高度可扩展的数据仓库解决方案,提供了从数据库到MPP再到大数据时代的全方位支持。什么是GaussDB(DWS)?GaussDB(DWS)是一种基于分布式架构的关系型数据库,被广泛应用于大数据场景下...
- 本实验使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务,完成了Spark集群搭建任务、HDFS环境配置和系统功能验证等实验任务;同时安装Spark集群,并使Spark能够读取OBS数据,通过该实验使Spark集群能够实现存算分离,提高计算性能。实验结束后,成功在4个ECS服务器节点上部署运行了HDFS和PySpark,成功跑出了单词计数算法WordCount和豆瓣影评数据 本实验使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务,完成了Spark集群搭建任务、HDFS环境配置和系统功能验证等实验任务;同时安装Spark集群,并使Spark能够读取OBS数据,通过该实验使Spark集群能够实现存算分离,提高计算性能。实验结束后,成功在4个ECS服务器节点上部署运行了HDFS和PySpark,成功跑出了单词计数算法WordCount和豆瓣影评数据
- 前言 随着数据科技的进步,数据分析师早已不再满足于传统的T+1式报表或需要提前设置好维度与指标的OLAP查询。数据分析师更希望... 前言 随着数据科技的进步,数据分析师早已不再满足于传统的T+1式报表或需要提前设置好维度与指标的OLAP查询。数据分析师更希望...
- Elasticsearch Relevance Engine---为AI变革提供高级搜索能力[ES向量搜索、常用配置参数、聚合功能等详解] Elasticsearch Relevance Engine---为AI变革提供高级搜索能力[ES向量搜索、常用配置参数、聚合功能等详解]
- 在处理海量数据时,高效地查找所需信息是一项重要的任务。布隆过滤器(Bloom Filter)作为一种快速而高效的数据结构,可以帮助我们在海量数据中轻松地找到我们需要的答案。本文将详细解析布隆过滤器的原理和工作方式。首先,我们将介绍布隆过滤器的背景和应用场景,然后深入探讨它是如何在海量数据中快速判断元素是否存在的。我们将解释布隆过滤器的数据结构和算法,并探讨其在大规模数据处理中的优势。 在处理海量数据时,高效地查找所需信息是一项重要的任务。布隆过滤器(Bloom Filter)作为一种快速而高效的数据结构,可以帮助我们在海量数据中轻松地找到我们需要的答案。本文将详细解析布隆过滤器的原理和工作方式。首先,我们将介绍布隆过滤器的背景和应用场景,然后深入探讨它是如何在海量数据中快速判断元素是否存在的。我们将解释布隆过滤器的数据结构和算法,并探讨其在大规模数据处理中的优势。
- 在诞生之初,Trino是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Trino的核心目标就是提供交互式查询,也就是我们常说的 Ad-Hoc Query,很多公司都使用它作为 OLAP 计算引擎。近年来业务场景越来越复杂,除了交互式查询场景,很多公司也需要兼顾批处理作业,技术大佬们开始思考如何用Trino来进行大数据集的批加工处理。 在诞生之初,Trino是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Trino的核心目标就是提供交互式查询,也就是我们常说的 Ad-Hoc Query,很多公司都使用它作为 OLAP 计算引擎。近年来业务场景越来越复杂,除了交互式查询场景,很多公司也需要兼顾批处理作业,技术大佬们开始思考如何用Trino来进行大数据集的批加工处理。
- 摘要... 5一、引言... 61.1 研究背景和意义... 61.2 系统亮点... 61.3 主要贡献... 7二、相关技术和理论... 82.1 推荐系统的发展历程和研究现状... 82.2 推荐算法的分类及其优缺点... 82.3 物品协同过滤算法的原理和应用... 92.4 Hadoop框架的架构、特点和应用场景... 102.4.1 Hadoop的架构... 102.4.2 Ha... 摘要... 5一、引言... 61.1 研究背景和意义... 61.2 系统亮点... 61.3 主要贡献... 7二、相关技术和理论... 82.1 推荐系统的发展历程和研究现状... 82.2 推荐算法的分类及其优缺点... 82.3 物品协同过滤算法的原理和应用... 92.4 Hadoop框架的架构、特点和应用场景... 102.4.1 Hadoop的架构... 102.4.2 Ha...
- 在鲲鹏产业源头创新中心的支持下,天冕科技数据中台全面基于华为云鲲鹏云服务,开展平台端到端的适配。 在鲲鹏产业源头创新中心的支持下,天冕科技数据中台全面基于华为云鲲鹏云服务,开展平台端到端的适配。
- 强化学习从基础到进阶-案例与实践[5]:梯度策略、添加基线(baseline)、优势函数、动作分配合适的分数(credit) 强化学习从基础到进阶-案例与实践[5]:梯度策略、添加基线(baseline)、优势函数、动作分配合适的分数(credit)
- 强化学习从基础到进阶-案例与实践[4]:深度Q网络-DQN、double DQN、经验回放、rainbow、分布式DQN 强化学习从基础到进阶-案例与实践[4]:深度Q网络-DQN、double DQN、经验回放、rainbow、分布式DQN
- 强化学习从基础到进阶-案例与实践[4.1]:深度Q网络-DQN项目实战CartPole-v0 强化学习从基础到进阶-案例与实践[4.1]:深度Q网络-DQN项目实战CartPole-v0
- 大神文章的总结。整理人: pierre@[toc]机器异常、代码Bug、业务逻辑不当、开源组件使用姿势不对等等都会造成我们的现网后台服务不稳定,甚至是出现严重的服务挂掉的情况。当面对如此复杂的现网环境时,我们需要有一个清晰的问题排查思路,有章可循方能行之有度。总结一些问题排查的思路。 一、备份现场问题出现的前后几分钟往往比较关键要全:尽可能地把对问题分析有帮助的现场信息都保留备份要快:系统在... 大神文章的总结。整理人: pierre@[toc]机器异常、代码Bug、业务逻辑不当、开源组件使用姿势不对等等都会造成我们的现网后台服务不稳定,甚至是出现严重的服务挂掉的情况。当面对如此复杂的现网环境时,我们需要有一个清晰的问题排查思路,有章可循方能行之有度。总结一些问题排查的思路。 一、备份现场问题出现的前后几分钟往往比较关键要全:尽可能地把对问题分析有帮助的现场信息都保留备份要快:系统在...
- 强化学习从基础到进阶-案例与实践[3]:表格型方法:Sarsa、Qlearning;蒙特卡洛策略、时序差分等以及Qlearning项目实战 强化学习从基础到进阶-案例与实践[3]:表格型方法:Sarsa、Qlearning;蒙特卡洛策略、时序差分等以及Qlearning项目实战
- 强化学习从基础到进阶-案例与实践[2]:马尔科夫决策、贝尔曼方程、动态规划、策略价值迭代 强化学习从基础到进阶-案例与实践[2]:马尔科夫决策、贝尔曼方程、动态规划、策略价值迭代
- 全国大数据与计算智能挑战赛:面向低资源的命名实体识别baseline,排名13/64。第一名:0.68962791,基线:0.67902593 ,感兴趣小伙伴可以刷刷榜。 国防科技大学系统工程学院(大数据与决策实验室) 全国大数据与计算智能挑战赛:面向低资源的命名实体识别baseline,排名13/64。第一名:0.68962791,基线:0.67902593 ,感兴趣小伙伴可以刷刷榜。 国防科技大学系统工程学院(大数据与决策实验室)
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签