- 首先先看下任务计划书 ，大概了解了下这个任务的主要工作是通过flink读取paimon写入GaussDB并且数据的验证工作。主要是需要花时间熟悉paimon和flink的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料： https://paimon.apache.org/ /和 https://flink.apa... 首先先看下任务计划书 ，大概了解了下这个任务的主要工作是通过flink读取paimon写入GaussDB并且数据的验证工作。主要是需要花时间熟悉paimon和flink的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料： https://paimon.apache.org/ /和 https://flink.apa...
- 摘要在智能数据时代，GaussDB(DWS)数据仓库的湖仓融合技术成为企业应对数据爆发式增长和形态多样化的关键。该技术不仅实现了与大数据生态的快速对接，更高效地访问开源数据，还助力企业从海量、多样化的数据中挖掘更多业务价值。本期直播将深入解析GaussDB(DWS)湖仓融合技术的原理、优势及应用，为企业提供更全面、深入的数据洞察。 一、数据湖简介1.数据湖的概念与理解 数据湖，是一个集中式存... 摘要在智能数据时代，GaussDB(DWS)数据仓库的湖仓融合技术成为企业应对数据爆发式增长和形态多样化的关键。该技术不仅实现了与大数据生态的快速对接，更高效地访问开源数据，还助力企业从海量、多样化的数据中挖掘更多业务价值。本期直播将深入解析GaussDB(DWS)湖仓融合技术的原理、优势及应用，为企业提供更全面、深入的数据洞察。 一、数据湖简介1.数据湖的概念与理解 数据湖，是一个集中式存...
- Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，从 3.0 版本开始，Apache Doris 引入了 Trino Connector 兼容框架。Tr... Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，从 3.0 版本开始，Apache Doris 引入了 Trino Connector 兼容框架。Tr...
- 湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括 Hudi、Paimon、Iceberg、OSS、D... 湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括 Hudi、Paimon、Iceberg、OSS、D...
- 作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的... 作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的...
- 导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张，目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次，整体查询性能得到 10-20 倍提升。内容共建：胡彪，网易游戏高级大数据开发... 导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张，目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次，整体查询性能得到 10-20 倍提升。内容共建：胡彪，网易游戏高级大数据开发...
- 亲爱的社区小伙伴们，Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性，欢迎大家下载体验。GitHub 下载：https://github.com/apache/doris/releases官网下载：https://doris.apache.org/download行为变更禁止在具有同步物化视图的 MOW 表上进行... 亲爱的社区小伙伴们，Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性，欢迎大家下载体验。GitHub 下载：https://github.com/apache/doris/releases官网下载：https://doris.apache.org/download行为变更禁止在具有同步物化视图的 MOW 表上进行...
- 某全球领先网络解决方案提供商采用了多系统架构（包括 Trino、Pinot、Iceberg 、 Kyuubi 等），面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此，引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈，依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力，统一数据湖... 某全球领先网络解决方案提供商采用了多系统架构（包括 Trino、Pinot、Iceberg 、 Kyuubi 等），面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此，引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈，依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力，统一数据湖...
- 作者：MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker导读：早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案，并基于 Apache Doris 升级了日志系统，新系统已接入 MiniMax 内部所有业务线日志数据，数据规模为 PB 级， 整体可用性达... 作者：MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker导读：早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案，并基于 Apache Doris 升级了日志系统，新系统已接入 MiniMax 内部所有业务线日志数据，数据规模为 PB 级， 整体可用性达...
- 导读：快手 OLAP 系统为内外多个场景提供数据服务，每天承载近 10 亿的查询请求。原有湖仓分离架构，由离线数据湖和实时数仓组成，面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力，替换了 Clickhouse ，升级为湖仓一体架构，并结合 Doris 的物化视图改写能力和自动物化服务，实现高性能的数据查询以及灵活的数据治理。作者｜快手大数... 导读：快手 OLAP 系统为内外多个场景提供数据服务，每天承载近 10 亿的查询请求。原有湖仓分离架构，由离线数据湖和实时数仓组成，面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力，替换了 Clickhouse ，升级为湖仓一体架构，并结合 Doris 的物化视图改写能力和自动物化服务，实现高性能的数据查询以及灵活的数据治理。作者｜快手大数...
- 亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。官网下载页：https://doris.apache.org/download/GitH... 亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。官网下载页：https://doris.apache.org/download/GitH...
- 1.Mongodb数据库包括介绍、mongodb简单使用（mongodb服务端启动、启动mongodb客户端进入mongo shell）。2. scrapy爬虫框架涵盖代理ip使用、启动爬虫、停止爬虫、scrapyd webapi。3. Gerapy包含通过Gerapy配置管理scrapy项目。4. appium移动端抓取涉及appium自动控制移动设备、appium-pyth 1.Mongodb数据库包括介绍、mongodb简单使用（mongodb服务端启动、启动mongodb客户端进入mongo shell）。2. scrapy爬虫框架涵盖代理ip使用、启动爬虫、停止爬虫、scrapyd webapi。3. Gerapy包含通过Gerapy配置管理scrapy项目。4. appium移动端抓取涉及appium自动控制移动设备、appium-pyth
- MRS帮助中心持续提升信息体验，提供高效易用的帮助文档，为您的安全上云保驾护航！ MRS帮助中心持续提升信息体验，提供高效易用的帮助文档，为您的安全上云保驾护航！
- Mongodb数据库 介绍 内容 mongodb的简单使用 1. mongodb服务端的启动 2. 启动mongodb的客户端：进入mongo shell 小结 scrapy爬虫框架 人民币玩家的代码(使用abuyun提供的代理ip) 启动爬虫 停止爬虫 5. 了解scrapyd的其他webapi 13.Gerapy 4.通过Gerapy配置管理scrapy项目 补充: 利用a Mongodb数据库 介绍 内容 mongodb的简单使用 1. mongodb服务端的启动 2. 启动mongodb的客户端：进入mongo shell 小结 scrapy爬虫框架 人民币玩家的代码(使用abuyun提供的代理ip) 启动爬虫 停止爬虫 5. 了解scrapyd的其他webapi 13.Gerapy 4.通过Gerapy配置管理scrapy项目 补充: 利用a
- Mongodb数据库 介绍 内容 mongodb的简单使用 1. mongodb服务端的启动 2. 启动mongodb的客户端：进入mongo shell 小结 scrapy爬虫框架 人民币玩家的代码(使用abuyun提供的代理ip) 启动爬虫 停止爬虫 5. 了解scrapyd的其他webapi 13.Gerapy 4.通过Gerapy配置管理scrapy项目 补充: 利用a Mongodb数据库 介绍 内容 mongodb的简单使用 1. mongodb服务端的启动 2. 启动mongodb的客户端：进入mongo shell 小结 scrapy爬虫框架 人民币玩家的代码(使用abuyun提供的代理ip) 启动爬虫 停止爬虫 5. 了解scrapyd的其他webapi 13.Gerapy 4.通过Gerapy配置管理scrapy项目 补充: 利用a
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
去报名 -
苏州工业园区“华为云杯”2025人工智能应用创新大赛赛中直播2025/08/21 周四 16:00-17:00
Vz 华为云AIoT技术布道师
本期直播将与您一起探讨如何基于华为云IoT平台全场景云服务，结合AI、鸿蒙、大数据等技术，打造有创新性，有竞争力的方案和产品。
即将直播
热门标签