- 来源：数据社 作者：数据一哥 编辑：数据一哥 全文共1404个字，建议阅读4分钟 大家好，我是一哥。 今天跟大家聊一聊数仓为什么分层？ 01 经典的数仓分层 首先跟大家聊一个经典的数仓分层结构，主要包括ODS、DWS、DW、APP四层。 ODS：抽取的原始业务数据，结构一般和原始业务数据库表结构或者抽取的业务... 来源：数据社 作者：数据一哥 编辑：数据一哥 全文共1404个字，建议阅读4分钟 大家好，我是一哥。 今天跟大家聊一聊数仓为什么分层？ 01 经典的数仓分层 首先跟大家聊一个经典的数仓分层结构，主要包括ODS、DWS、DW、APP四层。 ODS：抽取的原始业务数据，结构一般和原始业务数据库表结构或者抽取的业务...
- 数据质量监控背景 当我们把数据导入数据仓库时，ETL中的每个步骤中都可能会遇到数据质量错误。比如与源系统的连接错误，抽取数据可能会失败。由于记录类型冲突，数据转换可能会失败。即使的ETL任务成功，提取的... 数据质量监控背景 当我们把数据导入数据仓库时，ETL中的每个步骤中都可能会遇到数据质量错误。比如与源系统的连接错误，抽取数据可能会失败。由于记录类型冲突，数据转换可能会失败。即使的ETL任务成功，提取的...
- 来源：网络 编辑：数据一哥 全文共5469个字，建议阅读14分钟 大家好，我是一哥，元数据管理是企业数据治理的基础，是数据仓库建设的关键。作为一名数据人，首要任务就是理解元数据管理。 本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及实践工具。 01 什么是元数据管理 1、什么是元数据？ 元... 来源：网络 编辑：数据一哥 全文共5469个字，建议阅读14分钟 大家好，我是一哥，元数据管理是企业数据治理的基础，是数据仓库建设的关键。作为一名数据人，首要任务就是理解元数据管理。 本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及实践工具。 01 什么是元数据管理 1、什么是元数据？ 元...
- 作者：暮角 编辑：数据社 全文共2845个字，建议5分钟阅读 大家好，我是一哥，今天跟大家分享一下怎么理解建模方法和分层架构？ 分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来，我会从数据研发与建模的角度，演进一下分层架构的设计原因与层次的意义。 01 分层的演进 ... 作者：暮角 编辑：数据社 全文共2845个字，建议5分钟阅读 大家好，我是一哥，今天跟大家分享一下怎么理解建模方法和分层架构？ 分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来，我会从数据研发与建模的角度，演进一下分层架构的设计原因与层次的意义。 01 分层的演进 ...
- 数据库 说到数据库，我们一般是指传统的关系型数据库，也就是“联机事务处理”(OLTP)，主要用户在线交易处理。比如银行业务、电信业务之前很多都是Oracle或者DB2(可能现在很多开发者没再用过)，到后... 数据库 说到数据库，我们一般是指传统的关系型数据库，也就是“联机事务处理”(OLTP)，主要用户在线交易处理。比如银行业务、电信业务之前很多都是Oracle或者DB2(可能现在很多开发者没再用过)，到后...
- 作者：何永灿 来源：网络 编辑：数据一哥 全文共9017个字，建议阅读20分钟 01 数据质量保障原则 如何评估数据质量的好坏，业界有不同的标准，阿里主要从 4 个方面进行评估：完整性、准确性、一致性、及时性； 1、完整性 数据完整性是数据最基础的保障； 完整性：指数据的记录和信息是否完整，是否存在缺失... 作者：何永灿 来源：网络 编辑：数据一哥 全文共9017个字，建议阅读20分钟 01 数据质量保障原则 如何评估数据质量的好坏，业界有不同的标准，阿里主要从 4 个方面进行评估：完整性、准确性、一致性、及时性； 1、完整性 数据完整性是数据最基础的保障； 完整性：指数据的记录和信息是否完整，是否存在缺失...
- 小A以前是一名数据仓库工程师，有一天收到了一个仓库管理员的职位邀请…… &... 小A以前是一名数据仓库工程师，有一天收到了一个仓库管理员的职位邀请…… &...
- 公众号推文规则变了，点击上方 "数据社", 设为星标 后台回复【加群】，申请加入数据学习交流群 大家好，我是一哥，今天是假期的第一天，国内疫情有所缓和，大家应该都忙着到处逛吃吧。有小伙伴私聊我，放假这几天有没有什么书籍推荐，我感觉看书你得随身带着，不方便，我推荐他几个小视频看看~ 1 数据质... 公众号推文规则变了，点击上方 "数据社", 设为星标 后台回复【加群】，申请加入数据学习交流群 大家好，我是一哥，今天是假期的第一天，国内疫情有所缓和，大家应该都忙着到处逛吃吧。有小伙伴私聊我，放假这几天有没有什么书籍推荐，我感觉看书你得随身带着，不方便，我推荐他几个小视频看看~ 1 数据质...
- 来源：网络 全文共8672个字，建议收藏阅读 什么是ETL ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统... 来源：网络 全文共8672个字，建议收藏阅读 什么是ETL ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统...
- 公众号推文规则变了，点击上方 "数据社", 设为星标 后台回复【加群】，申请加入数据学习交流群 大家好，我是一哥，今天是假期的第一天，国内疫情有所缓和，大家应该都忙着到处逛吃吧。有小伙伴私聊我，放假这几天有没有什么书籍推荐，我感觉看书你得随身带着，不方便，我推荐他几个小视频看看~ 1 数据质... 公众号推文规则变了，点击上方 "数据社", 设为星标 后台回复【加群】，申请加入数据学习交流群 大家好，我是一哥，今天是假期的第一天，国内疫情有所缓和，大家应该都忙着到处逛吃吧。有小伙伴私聊我，放假这几天有没有什么书籍推荐，我感觉看书你得随身带着，不方便，我推荐他几个小视频看看~ 1 数据质...
- 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ... 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ...
- 作者 l 李朋波 编辑 l 李朋波 本文目录CONTENTS ☞ 数据质量管理流程 ☞ 数据质量管理工具设计思路 上篇我们主要介绍了以下三部分内容。 第一部分，介绍了五种常见的数据管理知识体系，数据... 作者 l 李朋波 编辑 l 李朋波 本文目录CONTENTS ☞ 数据质量管理流程 ☞ 数据质量管理工具设计思路 上篇我们主要介绍了以下三部分内容。 第一部分，介绍了五种常见的数据管理知识体系，数据...
- 作者：数据一哥 来源：数据社 全文共1700个字，建议6分钟阅读 大家好，我是一哥。 ETL 和 ELT 有很多共同点，从本质上讲，每种集成方法都可以将数据从源端抽取到数据仓库中，两者的区别在于数据在哪里进行转换。 接下来，我们一起详细地分析一下 ETL 和 ELT各自的优缺点，看看在你们现在的业务中用哪种方式... 作者：数据一哥 来源：数据社 全文共1700个字，建议6分钟阅读 大家好，我是一哥。 ETL 和 ELT 有很多共同点，从本质上讲，每种集成方法都可以将数据从源端抽取到数据仓库中，两者的区别在于数据在哪里进行转换。 接下来，我们一起详细地分析一下 ETL 和 ELT各自的优缺点，看看在你们现在的业务中用哪种方式...
- 🍅 作者主页：不吃西红柿 🍅 简介：CSDN博客专家🏆、HDZ核心组成员💪、C站周榜第一✌ 欢迎点赞、收藏、评论 🍅 粉丝专属福利（包邮送书4本，书单里自己选）：简历模板、PPT模板、学习资料、面试题库。直接去文末领取 目录 🍅 西红柿-半年文章汇总 🍅 【粉丝福利... 🍅 作者主页：不吃西红柿 🍅 简介：CSDN博客专家🏆、HDZ核心组成员💪、C站周榜第一✌ 欢迎点赞、收藏、评论 🍅 粉丝专属福利（包邮送书4本，书单里自己选）：简历模板、PPT模板、学习资料、面试题库。直接去文末领取 目录 🍅 西红柿-半年文章汇总 🍅 【粉丝福利...
- 从本篇文章开始，笔者打算写一个系列的《clickhouse专栏》，其全称是Click Stream,Data WareHouse，简称ClickHouse。从其全称中的“Data WareHouse”，我... 从本篇文章开始，笔者打算写一个系列的《clickhouse专栏》，其全称是Click Stream,Data WareHouse，简称ClickHouse。从其全称中的“Data WareHouse”，我...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签