- 首先先看下任务计划书 ，大概了解了下这个任务的主要工作是通过flink读取paimon写入GaussDB并且数据的验证工作。主要是需要花时间熟悉paimon和flink的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料： https://paimon.apache.org/ /和 https://flink.apa... 首先先看下任务计划书 ，大概了解了下这个任务的主要工作是通过flink读取paimon写入GaussDB并且数据的验证工作。主要是需要花时间熟悉paimon和flink的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料： https://paimon.apache.org/ /和 https://flink.apa...
- 摘要在智能数据时代，GaussDB(DWS)数据仓库的湖仓融合技术成为企业应对数据爆发式增长和形态多样化的关键。该技术不仅实现了与大数据生态的快速对接，更高效地访问开源数据，还助力企业从海量、多样化的数据中挖掘更多业务价值。本期直播将深入解析GaussDB(DWS)湖仓融合技术的原理、优势及应用，为企业提供更全面、深入的数据洞察。 一、数据湖简介1.数据湖的概念与理解 数据湖，是一个集中式存... 摘要在智能数据时代，GaussDB(DWS)数据仓库的湖仓融合技术成为企业应对数据爆发式增长和形态多样化的关键。该技术不仅实现了与大数据生态的快速对接，更高效地访问开源数据，还助力企业从海量、多样化的数据中挖掘更多业务价值。本期直播将深入解析GaussDB(DWS)湖仓融合技术的原理、优势及应用，为企业提供更全面、深入的数据洞察。 一、数据湖简介1.数据湖的概念与理解 数据湖，是一个集中式存...
- Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，从 3.0 版本开始，Apache Doris 引入了 Trino Connector 兼容框架。Tr... Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，从 3.0 版本开始，Apache Doris 引入了 Trino Connector 兼容框架。Tr...
- 湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括 Hudi、Paimon、Iceberg、OSS、D... 湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括 Hudi、Paimon、Iceberg、OSS、D...
- 作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的... 作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的...
- 导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张，目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次，整体查询性能得到 10-20 倍提升。内容共建：胡彪，网易游戏高级大数据开发... 导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张，目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次，整体查询性能得到 10-20 倍提升。内容共建：胡彪，网易游戏高级大数据开发...
- 亲爱的社区小伙伴们，Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性，欢迎大家下载体验。GitHub 下载：https://github.com/apache/doris/releases官网下载：https://doris.apache.org/download行为变更禁止在具有同步物化视图的 MOW 表上进行... 亲爱的社区小伙伴们，Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性，欢迎大家下载体验。GitHub 下载：https://github.com/apache/doris/releases官网下载：https://doris.apache.org/download行为变更禁止在具有同步物化视图的 MOW 表上进行...
- 某全球领先网络解决方案提供商采用了多系统架构（包括 Trino、Pinot、Iceberg 、 Kyuubi 等），面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此，引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈，依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力，统一数据湖... 某全球领先网络解决方案提供商采用了多系统架构（包括 Trino、Pinot、Iceberg 、 Kyuubi 等），面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此，引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈，依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力，统一数据湖...
- 作者：MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker导读：早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案，并基于 Apache Doris 升级了日志系统，新系统已接入 MiniMax 内部所有业务线日志数据，数据规模为 PB 级， 整体可用性达... 作者：MiniMax 基础架构研发工程师 Koyomi、香克斯、Tinker导读：早期 MiniMax 基于 Grafana Loki 构建了日志系统，在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案，并基于 Apache Doris 升级了日志系统，新系统已接入 MiniMax 内部所有业务线日志数据，数据规模为 PB 级， 整体可用性达...
- 导读：快手 OLAP 系统为内外多个场景提供数据服务，每天承载近 10 亿的查询请求。原有湖仓分离架构，由离线数据湖和实时数仓组成，面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力，替换了 Clickhouse ，升级为湖仓一体架构，并结合 Doris 的物化视图改写能力和自动物化服务，实现高性能的数据查询以及灵活的数据治理。作者｜快手大数... 导读：快手 OLAP 系统为内外多个场景提供数据服务，每天承载近 10 亿的查询请求。原有湖仓分离架构，由离线数据湖和实时数仓组成，面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力，替换了 Clickhouse ，升级为湖仓一体架构，并结合 Doris 的物化视图改写能力和自动物化服务，实现高性能的数据查询以及灵活的数据治理。作者｜快手大数...
- 亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。官网下载页：https://doris.apache.org/download/GitH... 亲爱的社区小伙伴们，Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。官网下载页：https://doris.apache.org/download/GitH...
- 导读：网易云信引入 Apache Doris 统一了原有 Elasticsearch、InfluxDB 和 Hive 多技术栈系统。凭借其高性能和易扩展的特点，提供一站式的数据存储和分析服务。实现机器成本降低 70%、实时场景查询提速 11 倍、离线任务耗时缩短 80% 的显著收益。网易云信是网易旗下 ToB 的通信与视频云服务品牌，依托网易 20 多年的技术沉淀，为企业和开发者提供稳定、安... 导读：网易云信引入 Apache Doris 统一了原有 Elasticsearch、InfluxDB 和 Hive 多技术栈系统。凭借其高性能和易扩展的特点，提供一站式的数据存储和分析服务。实现机器成本降低 70%、实时场景查询提速 11 倍、离线任务耗时缩短 80% 的显著收益。网易云信是网易旗下 ToB 的通信与视频云服务品牌，依托网易 20 多年的技术沉淀，为企业和开发者提供稳定、安...
- SelectDB 及 Apache Doris 现已支持 AWS Graviton，结合 ARM 处理器的低能耗及高性能特点，使其在处理大规模数据时，不仅能提供强劲的性能，还能保持较低的能耗，极大提升了性价比。 SelectDB 及 Apache Doris 现已支持 AWS Graviton，结合 ARM 处理器的低能耗及高性能特点，使其在处理大规模数据时，不仅能提供强劲的性能，还能保持较低的能耗，极大提升了性价比。
- 亲爱的社区小伙伴们，Apache Doris 2.1.10 版本已正式发布。2.1.10 版本对湖仓一体、半结构化数据类型、查询优化器、执行引擎、存储管理进行了若干改进优化。欢迎大家下载使用。 亲爱的社区小伙伴们，Apache Doris 2.1.10 版本已正式发布。2.1.10 版本对湖仓一体、半结构化数据类型、查询优化器、执行引擎、存储管理进行了若干改进优化。欢迎大家下载使用。
- 爬虫概述 1. 爬虫的概念  爬虫基础 http协议复习 1. http以及https的概念和区别 2. 爬虫特别关注的请求头和响应头 3. 常见的响应状态码 4. 浏览器的运行过程 5. 关于http协议的其它参考阅读 Mongodb数据库 介绍 内容 mongodb的聚合操作 2 mongodb的常用管道和表达式 3 管道命令之`$g 爬虫概述 1. 爬虫的概念  爬虫基础 http协议复习 1. http以及https的概念和区别 2. 爬虫特别关注的请求头和响应头 3. 常见的响应状态码 4. 浏览器的运行过程 5. 关于http协议的其它参考阅读 Mongodb数据库 介绍 内容 mongodb的聚合操作 2 mongodb的常用管道和表达式 3 管道命令之`$g
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签