- 上亿条数据，如何查询分析简单又高效。。。 上亿条数据，如何查询分析简单又高效。。。
- 一、车辆网的背景、趋势1.智能交通系统是解决交通问题的钥匙2.智能交通系统主要构成 1）交通信号控制系统 2）电子警察系统 3）车联网 4）交通诱导系统 5）信息服务系统 6）指挥控制中心3.车联网是智能交通发展的基础4.车联网的本质是基于物联网的交通智能化5.车联网发展的推动力6.政策层面的强力支撑7.无法忽视的“车”市场8.中国市场车联网的发展历程9.中国汽车信息化市场潜力巨... 一、车辆网的背景、趋势1.智能交通系统是解决交通问题的钥匙2.智能交通系统主要构成 1）交通信号控制系统 2）电子警察系统 3）车联网 4）交通诱导系统 5）信息服务系统 6）指挥控制中心3.车联网是智能交通发展的基础4.车联网的本质是基于物联网的交通智能化5.车联网发展的推动力6.政策层面的强力支撑7.无法忽视的“车”市场8.中国市场车联网的发展历程9.中国汽车信息化市场潜力巨...
- 对于想了解DLI的用户来说，通过DLI内置的TPC-H测试套来进行一把简单高效的交互式查询是再好不过的事情。并且DLI已经把所有的东西都准备好了，且又是比较熟悉的SQL体验，无需用户上传数据，既可以体验到DLI的核心功能。 欢迎体验数据湖探索(DLI)服务：https://www.huaweicloud.cn/product/dli.html 对于想了解DLI的用户来说，通过DLI内置的TPC-H测试套来进行一把简单高效的交互式查询是再好不过的事情。并且DLI已经把所有的东西都准备好了，且又是比较熟悉的SQL体验，无需用户上传数据，既可以体验到DLI的核心功能。 欢迎体验数据湖探索(DLI)服务：https://www.huaweicloud.cn/product/dli.html
- DLI(数据湖探索)作为serverless服务，她的基本计算资源叫队列，是使用DLI服务的基础，用户执行的SQL、SPARK\FLINK作业都需要使用计算资源。而队列的计价单位就是CU，转换公式为1CU=1Core 4GMem(即1核4G)。具体的基本概念请访问https://www.huaweicloud.cn/product/dli.html 跨AZ... DLI(数据湖探索)作为serverless服务，她的基本计算资源叫队列，是使用DLI服务的基础，用户执行的SQL、SPARK\FLINK作业都需要使用计算资源。而队列的计价单位就是CU，转换公式为1CU=1Core 4GMem(即1核4G)。具体的基本概念请访问https://www.huaweicloud.cn/product/dli.html 跨AZ...
- 本月DLI服务月刊为您带来： 1.服务功能更新：双AZ计算队列、扫描数据量套餐包、Spark作业支持开发者模式、SDK性能提升、地址连通性测试能力、DLI样例代码发布。 2.上亿条数据，如何查询分析简单又高效？ 3. Spark on Elasticsearch一致性问题的探索。 4. DLI计费规格详解。 本月DLI服务月刊为您带来： 1.服务功能更新：双AZ计算队列、扫描数据量套餐包、Spark作业支持开发者模式、SDK性能提升、地址连通性测试能力、DLI样例代码发布。 2.上亿条数据，如何查询分析简单又高效？ 3. Spark on Elasticsearch一致性问题的探索。 4. DLI计费规格详解。
- 1 概述 DLI在服务本身维护一套完善的权限控制的同时，还支持通过统一身份认证服务细粒度鉴权，通过创建策略来管理DLI的权限，并且随着不断完善，细粒度鉴权会逐渐和DLI服务本身的权限管控同步。2 权限分类 目前DLI有权限控制的资源如下，详细信息可以参考DLI用户指南权限管理https://support.huaweicloud.cn/usermanual-... 1 概述 DLI在服务本身维护一套完善的权限控制的同时，还支持通过统一身份认证服务细粒度鉴权，通过创建策略来管理DLI的权限，并且随着不断完善，细粒度鉴权会逐渐和DLI服务本身的权限管控同步。2 权限分类 目前DLI有权限控制的资源如下，详细信息可以参考DLI用户指南权限管理https://support.huaweicloud.cn/usermanual-...
- 华为云很多大数据服务都涉及在线SQL编辑场景，比如数据湖探索 服务，简称DLI。DLI支持标准SQL/Spark SQL/Flink SQL，仅需使用SQL就可以完成大数据处理工作，那么如何快速的搭建SQL在线编辑器呢？本文将使用CodeMirror搭建Spark SQL在线编辑器，CodeMirror是一款在线的开源的编辑器，覆盖各种语法，官网demo齐全，简单灵活易上手。 华为云很多大数据服务都涉及在线SQL编辑场景，比如数据湖探索 服务，简称DLI。DLI支持标准SQL/Spark SQL/Flink SQL，仅需使用SQL就可以完成大数据处理工作，那么如何快速的搭建SQL在线编辑器呢？本文将使用CodeMirror搭建Spark SQL在线编辑器，CodeMirror是一款在线的开源的编辑器，覆盖各种语法，官网demo齐全，简单灵活易上手。
- 在万物互联的时代，数据在源源不断的产生，数据即财富、时间即财富，海量数据越实时越有价值。时势造英雄，各种用于实时流计算的开源框架应运而生，Flink更是个中翘楚。Flink不仅提供实时计算能力，而且支持计算过程的状态管理，更能很好地处理数据的时序问题。完美的实时流计算框架搭配上高扩展、高实时的分布式搜索引擎Elasticsearch，Nginx日志分析便是手到擒来。 ... 在万物互联的时代，数据在源源不断的产生，数据即财富、时间即财富，海量数据越实时越有价值。时势造英雄，各种用于实时流计算的开源框架应运而生，Flink更是个中翘楚。Flink不仅提供实时计算能力，而且支持计算过程的状态管理，更能很好地处理数据的时序问题。完美的实时流计算框架搭配上高扩展、高实时的分布式搜索引擎Elasticsearch，Nginx日志分析便是手到擒来。 ...
- 可靠性的保障一直是软件人员一直以来努力的方向，为广大用户提供高可靠的服务也是我们软件人的使命，下面我从DLI的跨AZ双活方案来简单解读下DLI可靠性的一部分特性 可靠性的保障一直是软件人员一直以来努力的方向，为广大用户提供高可靠的服务也是我们软件人的使命，下面我从DLI的跨AZ双活方案来简单解读下DLI可靠性的一部分特性
- 数据湖探索（DLI）作为华为云大数据分析平台，计费项有存储费用与计算费用，计费类型有包周期，包套餐和按需。本文简单介绍下DLI的计费，并使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上分析，找出费用优化的空间，并给出使用DLI过程中降成本的一些措施。一、DLI的计费简介数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作... 数据湖探索（DLI）作为华为云大数据分析平台，计费项有存储费用与计算费用，计费类型有包周期，包套餐和按需。本文简单介绍下DLI的计费，并使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上分析，找出费用优化的空间，并给出使用DLI过程中降成本的一些措施。一、DLI的计费简介数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作...
- 现网案例分享：用户使用DLI sdk持续提交大量insert小作业，平均1h出现一次driver oom，application重启。重启导致正在运行的作业失败，报错：Java Heap Space。 现网案例分享：用户使用DLI sdk持续提交大量insert小作业，平均1h出现一次driver oom，application重启。重启导致正在运行的作业失败，报错：Java Heap Space。
- 揭秘华为云DLI背后的核心计算引擎 本文主要给大家介绍隐藏在华为云EI（企业智能）数据湖探索服务（以下简称DLI）背后的核心计算引擎——Spark。华为云EI数据湖探索服务团队在Spark之上做了大量的性能优化与服务化改造，但其本质还是脱离不了Spark的核心概念与思想，本文从以下几点阐述，让读者快速对Spark有一个直观的认识，玩转DLI。更多资讯关注公众号“智能数据湖” Spark的诞生... 揭秘华为云DLI背后的核心计算引擎 本文主要给大家介绍隐藏在华为云EI（企业智能）数据湖探索服务（以下简称DLI）背后的核心计算引擎——Spark。华为云EI数据湖探索服务团队在Spark之上做了大量的性能优化与服务化改造，但其本质还是脱离不了Spark的核心概念与思想，本文从以下几点阐述，让读者快速对Spark有一个直观的认识，玩转DLI。更多资讯关注公众号“智能数据湖” Spark的诞生...
- 喜欢就关注我哦~ 喜欢就关注我哦~
- 数据湖工厂服务（Data Lake Factory，简称DLF）是华为云大数据重要的平台产品，它可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。 数据湖工厂服务（Data Lake Factory，简称DLF）是华为云大数据重要的平台产品，它可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。
- 对数据湖探索（DLI）服务，用户日常大部分时间会使用SQL对数据进行分析处理，但是在某些时候处理的逻辑特别复杂，无法通过SQL处理，可以写Spark作业进行分析处理。本文描述通过一个例子演示如何在服务湖工厂（DLF）上提交一个Spark作业。 对数据湖探索（DLI）服务，用户日常大部分时间会使用SQL对数据进行分析处理，但是在某些时候处理的逻辑特别复杂，无法通过SQL处理，可以写Spark作业进行分析处理。本文描述通过一个例子演示如何在服务湖工厂（DLF）上提交一个Spark作业。
上滑加载中
推荐直播
-
华为云软件开发生产线（CodeArts）1月&2月新特性解读2025/03/18 周二 19:00-20:00
阿星 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线1月&2月发布的新特性，并在直播过程中为您答疑解惑。
回顾中 -
基于能力图谱的openGauss项目闯关2025/03/20 周四 19:00-20:30
华为开发者布道师
想成为顶级数据库开发者吗？本次直播将从银行业务系统的数据库设计出发，带你逐步掌握openGauss的建库表、数据封装、密态技术、性能调优及AI应用。通过实战案例，全面展示openGauss的强大功能，助你提升技能，为未来的职业发展打下坚实基础。立即报名，开启你的数据库进阶之旅！
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签