- 大家好，我是一哥~ 之前很多人在群里问大数据的几个岗位有什么区别，也写过一篇文章说明每个岗位的工作和技能「原创」大数据岗位总结和相关书籍推荐。今天在知乎上看到一个不出的帖子，也给大家分享一下~ 关于BI工程师、数据仓库工程师、ETL工程师、数据开发工程师（大数据开发工程师） ，到底有什么区别？ 01 从工作内容来说 BI... 大家好，我是一哥~ 之前很多人在群里问大数据的几个岗位有什么区别，也写过一篇文章说明每个岗位的工作和技能「原创」大数据岗位总结和相关书籍推荐。今天在知乎上看到一个不出的帖子，也给大家分享一下~ 关于BI工程师、数据仓库工程师、ETL工程师、数据开发工程师（大数据开发工程师） ，到底有什么区别？ 01 从工作内容来说 BI...
- 编辑：数据社，作者：数据一哥 全文共2531个字，建议阅读7分钟 大家好， 我是一哥 ，曾经那一晚经历过一次大数据平台迁移，回想起来历历在目！ 01 背景 大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务... 编辑：数据社，作者：数据一哥 全文共2531个字，建议阅读7分钟 大家好， 我是一哥 ，曾经那一晚经历过一次大数据平台迁移，回想起来历历在目！ 01 背景 大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务...
- 作者：明哥 来源：明哥的IT随笔 全文共2468个字，建议7分钟阅读 1. CDH/HDP/CDP 等大数据平台中如何快速应对 LOG4J2 的JNDI系列漏洞 在前段时间发表的博文 “CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞” 中，我们描述了 CDH/HDP/CDP 等大数据平台中如... 作者：明哥 来源：明哥的IT随笔 全文共2468个字，建议7分钟阅读 1. CDH/HDP/CDP 等大数据平台中如何快速应对 LOG4J2 的JNDI系列漏洞 在前段时间发表的博文 “CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞” 中，我们描述了 CDH/HDP/CDP 等大数据平台中如...
- 大家好，我是峰哥~ 上上周日给大家做了第二次直播，数据看着比第一次有提升！总计用467人观看，比第一次直播人数增加了100人，这个增长还是很满意的，同时在本次直播中送了书籍和红包~ 直播回放已经上传，点击可以观看！ 本次直播完整版的PPT如下： ... 大家好，我是峰哥~ 上上周日给大家做了第二次直播，数据看着比第一次有提升！总计用467人观看，比第一次直播人数增加了100人，这个增长还是很满意的，同时在本次直播中送了书籍和红包~ 直播回放已经上传，点击可以观看！ 本次直播完整版的PPT如下： ...
- 引言：大家好，我是小枣君。今天这篇文章，我们来聊聊存储。说到存储，大家都会想到硬盘。硬盘其实，存储既是一个微观的概念，也是一个宏观的概念。微观上来说，它就是指的数据存储、计算机存储、硬盘存储。而宏观上呢，所有物品、信息的保管和保存，皆可称为存储。人类文明的发展史，其实就是建立在存储技术的演进之上的。在远古时期，早期人类通过结绳记事、龟甲兽骨，点燃了人类文明的火种。后来，随着工艺... 引言：大家好，我是小枣君。今天这篇文章，我们来聊聊存储。说到存储，大家都会想到硬盘。硬盘其实，存储既是一个微观的概念，也是一个宏观的概念。微观上来说，它就是指的数据存储、计算机存储、硬盘存储。而宏观上呢，所有物品、信息的保管和保存，皆可称为存储。人类文明的发展史，其实就是建立在存储技术的演进之上的。在远古时期，早期人类通过结绳记事、龟甲兽骨，点燃了人类文明的火种。后来，随着工艺...
- 初级工程师的困惑 曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工作，主要是搭建CDH周边产品，并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作，但就是离业务太远了，很少了解用户到底需要怎么的BI产品和... 初级工程师的困惑 曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工作，主要是搭建CDH周边产品，并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作，但就是离业务太远了，很少了解用户到底需要怎么的BI产品和...
- 作者：数据一哥 来源：数据社 全文共3547个字，建议10分钟阅读 大家好，我是一哥。 最近有几个群友问我大数据怎么入门，作为一个零基础大数据入门学习者该看哪些书呢？我结合自己看过的书和了解到的比较好的数据，给大家分享一下。 01 大数据有哪些相关岗位 要学习大数据，首先我们得了解一下都有哪些大数据相... 作者：数据一哥 来源：数据社 全文共3547个字，建议10分钟阅读 大家好，我是一哥。 最近有几个群友问我大数据怎么入门，作为一个零基础大数据入门学习者该看哪些书呢？我结合自己看过的书和了解到的比较好的数据，给大家分享一下。 01 大数据有哪些相关岗位 要学习大数据，首先我们得了解一下都有哪些大数据相...
- 作者：数据一哥 来源：数据社 全文共1629个字，建议5分钟阅读 01 什么是大数据采集 数据采集是大数据的基石，不论是现在的互联网公司，物联网公司或者传统的IT公司，每个业务流程环节都会产生大量的数据，同时用户操作的日志也会产生大量的数据，为了将这些结构化和非结构化的数据进行采集，我们必须要有一套完整的数据采集方... 作者：数据一哥 来源：数据社 全文共1629个字，建议5分钟阅读 01 什么是大数据采集 数据采集是大数据的基石，不论是现在的互联网公司，物联网公司或者传统的IT公司，每个业务流程环节都会产生大量的数据，同时用户操作的日志也会产生大量的数据，为了将这些结构化和非结构化的数据进行采集，我们必须要有一套完整的数据采集方...
- 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发... 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发...
- 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻... 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻...
- 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据... 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据...
- 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ... 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ...
- 效果演示 今天是中秋佳节，正想测试一下最近比较热门的AI绘画算法Stable Diffusion，于是打算利用它来重现苏轼当年在中秋之夜写下的词《水调歌头·明月几时有》中的场景，先看效果。 ... 效果演示 今天是中秋佳节，正想测试一下最近比较热门的AI绘画算法Stable Diffusion，于是打算利用它来重现苏轼当年在中秋之夜写下的词《水调歌头·明月几时有》中的场景，先看效果。 ...
- 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答... 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答...
- 作者：明哥 来源：明哥的IT随笔 编辑：数据一哥 全文共2988个字，建议8分钟阅读 01 Ambari 正式退役 正所谓几家欢乐几家愁，2022 年初，又一款顶级 Apache 大数据项目，正式宣告退役：Apache Ambari 于 2022-01 悄然宣布，项目不再维护，正式进入退役阶段！... 作者：明哥 来源：明哥的IT随笔 编辑：数据一哥 全文共2988个字，建议8分钟阅读 01 Ambari 正式退役 正所谓几家欢乐几家愁，2022 年初，又一款顶级 Apache 大数据项目，正式宣告退役：Apache Ambari 于 2022-01 悄然宣布，项目不再维护，正式进入退役阶段！...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签