- Azkaban 是一个开源的基于 Web 的工作流调度系统，由 LinkedIn 公司开发并维护。它可以帮助用户在大规模数据处理中来管理和调度作业，提供了简单易用、高效可靠的工作流设计和调度功能。 Azkaban 是一个开源的基于 Web 的工作流调度系统，由 LinkedIn 公司开发并维护。它可以帮助用户在大规模数据处理中来管理和调度作业，提供了简单易用、高效可靠的工作流设计和调度功能。
- Querybook的设计巧妙地融合了现代技术和用户友好的界面。它提供自动补全功能以提升SQL编写的效率，并且拥有一个智能提示系统，帮助用户快速找到所需的表和字段。此外，通过支持多种查询引擎如Presto、Hive、Snowflake等，以及广泛的认证机制，包括OAuth与LDAP，Querybook确保了高兼容性和安全性。 Querybook的设计巧妙地融合了现代技术和用户友好的界面。它提供自动补全功能以提升SQL编写的效率，并且拥有一个智能提示系统，帮助用户快速找到所需的表和字段。此外，通过支持多种查询引擎如Presto、Hive、Snowflake等，以及广泛的认证机制，包括OAuth与LDAP，Querybook确保了高兼容性和安全性。
- BBQ）是中一种开创性的向量数据量化方法。它的核心目标是在提高向量数据压缩率的同时，维持高召回率，并提供自定义选项。其原理是通过巧妙地结合标量量化和位向量支持来实现这一目标。在实际的数据处理中，向量数据往往占据大量的存储空间。传统的量化方法可能会在压缩数据的过程中损失一定的准确性，导致搜索结果的召回率下降。而BBQ则打破了这种局限，它能够在不影响准确性的情况下，将向量数据的压缩率提高32倍。 BBQ）是中一种开创性的向量数据量化方法。它的核心目标是在提高向量数据压缩率的同时，维持高召回率，并提供自定义选项。其原理是通过巧妙地结合标量量化和位向量支持来实现这一目标。在实际的数据处理中，向量数据往往占据大量的存储空间。传统的量化方法可能会在压缩数据的过程中损失一定的准确性，导致搜索结果的召回率下降。而BBQ则打破了这种局限，它能够在不影响准确性的情况下，将向量数据的压缩率提高32倍。
- Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发 ETL 依赖错综复杂，无法监控任务健康状态的问题。Dol Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发 ETL 依赖错综复杂，无法监控任务健康状态的问题。Dol
- 文章以Java语言为主，围绕着GeoTools的所有模块来介绍，希望对Java转Gis的开发者有一定的帮助。本文想从以下几点来介绍，首先介绍GeoTools的官方仓库和基本架构，其次介绍Geotools的相关功能，然后介绍关于Geotools的相关学术科研进展。 文章以Java语言为主，围绕着GeoTools的所有模块来介绍，希望对Java转Gis的开发者有一定的帮助。本文想从以下几点来介绍，首先介绍GeoTools的官方仓库和基本架构，其次介绍Geotools的相关功能，然后介绍关于Geotools的相关学术科研进展。
- Apache Zeppelin 是一款基于 Web 的 Notebook 产品，能够交互式数据分析。通过Zeppelin可以使用丰富的预构建语言后端（或解释器）制作交互式的协作文档，例如 Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、Shell 等。 Apache Zeppelin 是一款基于 Web 的 Notebook 产品，能够交互式数据分析。通过Zeppelin可以使用丰富的预构建语言后端（或解释器）制作交互式的协作文档，例如 Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、Shell 等。
- 云计算是处理大数据的手段，大数据与云计算是一杖硬币的正反面。大数据是需求，云计算是手段。本文介绍大数据和云计算的相关概念，以及之间的关系。 云计算是处理大数据的手段，大数据与云计算是一杖硬币的正反面。大数据是需求，云计算是手段。本文介绍大数据和云计算的相关概念，以及之间的关系。
- 本实验介绍ZooKeeper在分布式系统实现多线程和进程间通信。用Java代码实现两个线程，向ZooKeeper中某一目录中写入数据和读取数据，实现ZooKeeper多个线程间的协作。 本实验介绍ZooKeeper在分布式系统实现多线程和进程间通信。用Java代码实现两个线程，向ZooKeeper中某一目录中写入数据和读取数据，实现ZooKeeper多个线程间的协作。
- 重磅消息！HCCDA-GaussDB认证现已全新升级，无论你是应用开发还是数据库管理员（DBA）,都能在这个统一的认证体系内展现你的数据库技能，获得行业认可的资格。立即加入我们，开启你的挑战之旅吧！点击报名 重磅消息！HCCDA-GaussDB认证现已全新升级，无论你是应用开发还是数据库管理员（DBA）,都能在这个统一的认证体系内展现你的数据库技能，获得行业认可的资格。立即加入我们，开启你的挑战之旅吧！点击报名
- 大家好，我是 V 哥。使用EasyExcel进行大数据量导出时容易导致内存溢出，特别是在导出百万级别的数据时。你有遇到过这种情况吗，以下是V 哥整理的解决该问题的一些常见方法，分享给大家，欢迎一起讨论： 大家好，我是 V 哥。使用EasyExcel进行大数据量导出时容易导致内存溢出，特别是在导出百万级别的数据时。你有遇到过这种情况吗，以下是V 哥整理的解决该问题的一些常见方法，分享给大家，欢迎一起讨论：
- 存储能力是指计算机系统或网络存储设备保存和检索数据的能力。它涉及以下几个关键方面：容量：存储设备能够保存的数据总量，通常以字节（B）、千兆字节（GB）或太字节（TB）来衡量。速度：数据读写速度，即数据从存储设备到处理器或反之的速度，通常以每秒传输的次数或数据量（如MB/s或GB/s）来衡量。可靠性：存储系统保持数据完整性和可用性的能力，包括抗故障和灾难恢复的能力。可扩展性：随着数据量的增加，... 存储能力是指计算机系统或网络存储设备保存和检索数据的能力。它涉及以下几个关键方面：容量：存储设备能够保存的数据总量，通常以字节（B）、千兆字节（GB）或太字节（TB）来衡量。速度：数据读写速度，即数据从存储设备到处理器或反之的速度，通常以每秒传输的次数或数据量（如MB/s或GB/s）来衡量。可靠性：存储系统保持数据完整性和可用性的能力，包括抗故障和灾难恢复的能力。可扩展性：随着数据量的增加，...
- Azkaban编译及报错问题解决一、Azkaban资源准备Azkaban官方并没有提供Linux系统的编译安装包，需要读者根据需求在官网选择指定版本的Azkaban源文件，然后进行编译打包。 Azkaban最新源文件地址为https://github.com/azkaban/azkaban，读者可以使用Git工具拉取或者直接下载ZIP压缩包。编译Azkaban... Azkaban编译及报错问题解决一、Azkaban资源准备Azkaban官方并没有提供Linux系统的编译安装包，需要读者根据需求在官网选择指定版本的Azkaban源文件，然后进行编译打包。 Azkaban最新源文件地址为https://github.com/azkaban/azkaban，读者可以使用Git工具拉取或者直接下载ZIP压缩包。编译Azkaban...
- Azkaban简单介绍一、Azkaban特点Azkaban通过作业的依赖性解决业务调度顺序，并提供易于使用的UI界面来维护和跟踪工作流程，其主要特点如下：兼容任何版本的Hadoop；易于使用的Web UI界面；简单的Web和Http工作流上传；支持工作流定时调度；支持模块化和可插入； 支持身份验证和授权； 支持用户操作跟踪；提供有关失败和成功的电子邮件提醒；提供SLA警报和自动查杀功能。 Azkaban简单介绍一、Azkaban特点Azkaban通过作业的依赖性解决业务调度顺序，并提供易于使用的UI界面来维护和跟踪工作流程，其主要特点如下：兼容任何版本的Hadoop；易于使用的Web UI界面；简单的Web和Http工作流上传；支持工作流定时调度；支持模块化和可插入； 支持身份验证和授权； 支持用户操作跟踪；提供有关失败和成功的电子邮件提醒；提供SLA警报和自动查杀功能。
- 工作流管理器概述无论是在业务开发还是在大数据开发中，工作流管理是必不可少的，在初期可以使用Linux自带的crontab工具来定时调度任务，但是当业务规模变大并且需要可视化监控任务执行的时候，crontab显然已经满足不了需求。为此，针对这种多任务、可视化调度的调度管理需求，Apache以及其他组织提供了一系列工作流管理器。一、工作流调度系统背景一个完整的数据分析系统通常都是由大量任务单元组... 工作流管理器概述无论是在业务开发还是在大数据开发中，工作流管理是必不可少的，在初期可以使用Linux自带的crontab工具来定时调度任务，但是当业务规模变大并且需要可视化监控任务执行的时候，crontab显然已经满足不了需求。为此，针对这种多任务、可视化调度的调度管理需求，Apache以及其他组织提供了一系列工作流管理器。一、工作流调度系统背景一个完整的数据分析系统通常都是由大量任务单元组...
- 使能数据“供得出、流得动、用得好”，助力城市数据价值释放 使能数据“供得出、流得动、用得好”，助力城市数据价值释放
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签