- 引言：大家好，我是小枣君。今天这篇文章，我们来聊聊存储。说到存储，大家都会想到硬盘。硬盘其实，存储既是一个微观的概念，也是一个宏观的概念。微观上来说，它就是指的数据存储、计算机存储、硬盘存储。而宏观上呢，所有物品、信息的保管和保存，皆可称为存储。人类文明的发展史，其实就是建立在存储技术的演进之上的。在远古时期，早期人类通过结绳记事、龟甲兽骨，点燃了人类文明的火种。后来，随着工艺... 引言：大家好，我是小枣君。今天这篇文章，我们来聊聊存储。说到存储，大家都会想到硬盘。硬盘其实，存储既是一个微观的概念，也是一个宏观的概念。微观上来说，它就是指的数据存储、计算机存储、硬盘存储。而宏观上呢，所有物品、信息的保管和保存，皆可称为存储。人类文明的发展史，其实就是建立在存储技术的演进之上的。在远古时期，早期人类通过结绳记事、龟甲兽骨，点燃了人类文明的火种。后来，随着工艺...
- 初级工程师的困惑 曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工作，主要是搭建CDH周边产品，并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作，但就是离业务太远了，很少了解用户到底需要怎么的BI产品和... 初级工程师的困惑 曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工作，主要是搭建CDH周边产品，并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作，但就是离业务太远了，很少了解用户到底需要怎么的BI产品和...
- 作者：数据一哥 来源：数据社 全文共3547个字，建议10分钟阅读 大家好，我是一哥。 最近有几个群友问我大数据怎么入门，作为一个零基础大数据入门学习者该看哪些书呢？我结合自己看过的书和了解到的比较好的数据，给大家分享一下。 01 大数据有哪些相关岗位 要学习大数据，首先我们得了解一下都有哪些大数据相... 作者：数据一哥 来源：数据社 全文共3547个字，建议10分钟阅读 大家好，我是一哥。 最近有几个群友问我大数据怎么入门，作为一个零基础大数据入门学习者该看哪些书呢？我结合自己看过的书和了解到的比较好的数据，给大家分享一下。 01 大数据有哪些相关岗位 要学习大数据，首先我们得了解一下都有哪些大数据相...
- 作者：数据一哥 来源：数据社 全文共1629个字，建议5分钟阅读 01 什么是大数据采集 数据采集是大数据的基石，不论是现在的互联网公司，物联网公司或者传统的IT公司，每个业务流程环节都会产生大量的数据，同时用户操作的日志也会产生大量的数据，为了将这些结构化和非结构化的数据进行采集，我们必须要有一套完整的数据采集方... 作者：数据一哥 来源：数据社 全文共1629个字，建议5分钟阅读 01 什么是大数据采集 数据采集是大数据的基石，不论是现在的互联网公司，物联网公司或者传统的IT公司，每个业务流程环节都会产生大量的数据，同时用户操作的日志也会产生大量的数据，为了将这些结构化和非结构化的数据进行采集，我们必须要有一套完整的数据采集方...
- 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发... 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发...
- 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻... 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻...
- 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据... 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据...
- 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ... 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ...
- 效果演示 今天是中秋佳节，正想测试一下最近比较热门的AI绘画算法Stable Diffusion，于是打算利用它来重现苏轼当年在中秋之夜写下的词《水调歌头·明月几时有》中的场景，先看效果。 ... 效果演示 今天是中秋佳节，正想测试一下最近比较热门的AI绘画算法Stable Diffusion，于是打算利用它来重现苏轼当年在中秋之夜写下的词《水调歌头·明月几时有》中的场景，先看效果。 ...
- 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答... 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答...
- 作者：明哥 来源：明哥的IT随笔 编辑：数据一哥 全文共2988个字，建议8分钟阅读 01 Ambari 正式退役 正所谓几家欢乐几家愁，2022 年初，又一款顶级 Apache 大数据项目，正式宣告退役：Apache Ambari 于 2022-01 悄然宣布，项目不再维护，正式进入退役阶段！... 作者：明哥 来源：明哥的IT随笔 编辑：数据一哥 全文共2988个字，建议8分钟阅读 01 Ambari 正式退役 正所谓几家欢乐几家愁，2022 年初，又一款顶级 Apache 大数据项目，正式宣告退役：Apache Ambari 于 2022-01 悄然宣布，项目不再维护，正式进入退役阶段！...
- 大家好，我是一哥。 快节奏的工作状态，如果要把汗牛充栋的技术类书籍一一看完，是非常耗费时间的，一方面费时费力，另一方面则是知识点学起来不精准。 下面这些大牛们的公众号，可以为你节省很多时间，对问题的解决也更有针对性，经常能够提供新的思考角度。让你在不知不觉间学习成长，提升并强大自己，更得心应手地应付求职面试中的各种大问题和小问... 大家好，我是一哥。 快节奏的工作状态，如果要把汗牛充栋的技术类书籍一一看完，是非常耗费时间的，一方面费时费力，另一方面则是知识点学起来不精准。 下面这些大牛们的公众号，可以为你节省很多时间，对问题的解决也更有针对性，经常能够提供新的思考角度。让你在不知不觉间学习成长，提升并强大自己，更得心应手地应付求职面试中的各种大问题和小问...
- 文章目录 TTL深入了解 一、列级别TTL 二、表级别TTL TTL深入了解 TTL即Time To Live ，表示数据存活的时间。在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除这列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级... 文章目录 TTL深入了解 一、列级别TTL 二、表级别TTL TTL深入了解 TTL即Time To Live ，表示数据存活的时间。在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除这列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级...
- 4 HBase 摘要：HBase是一种非关系型数据库，它是基于谷歌BigTable的开源实现，和BigTable一样，支持大规模海量数据的存储，对于分布式并发数据处理的效率极高，易于扩展且支持动态... 4 HBase 摘要：HBase是一种非关系型数据库，它是基于谷歌BigTable的开源实现，和BigTable一样，支持大规模海量数据的存储，对于分布式并发数据处理的效率极高，易于扩展且支持动态...
- 什么是 Landsat 集合？ 2016 年，USGS 将 Lan... 什么是 Landsat 集合？ 2016 年，USGS 将 Lan...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
回顾中
热门标签