- 上亿条数据，如何查询分析简单又高效。。。 上亿条数据，如何查询分析简单又高效。。。
- 一、车辆网的背景、趋势1.智能交通系统是解决交通问题的钥匙2.智能交通系统主要构成 1）交通信号控制系统 2）电子警察系统 3）车联网 4）交通诱导系统 5）信息服务系统 6）指挥控制中心3.车联网是智能交通发展的基础4.车联网的本质是基于物联网的交通智能化5.车联网发展的推动力6.政策层面的强力支撑7.无法忽视的“车”市场8.中国市场车联网的发展历程9.中国汽车信息化市场潜力巨... 一、车辆网的背景、趋势1.智能交通系统是解决交通问题的钥匙2.智能交通系统主要构成 1）交通信号控制系统 2）电子警察系统 3）车联网 4）交通诱导系统 5）信息服务系统 6）指挥控制中心3.车联网是智能交通发展的基础4.车联网的本质是基于物联网的交通智能化5.车联网发展的推动力6.政策层面的强力支撑7.无法忽视的“车”市场8.中国市场车联网的发展历程9.中国汽车信息化市场潜力巨...
- 对于想了解DLI的用户来说，通过DLI内置的TPC-H测试套来进行一把简单高效的交互式查询是再好不过的事情。并且DLI已经把所有的东西都准备好了，且又是比较熟悉的SQL体验，无需用户上传数据，既可以体验到DLI的核心功能。 欢迎体验数据湖探索(DLI)服务：https://www.huaweicloud.cn/product/dli.html 对于想了解DLI的用户来说，通过DLI内置的TPC-H测试套来进行一把简单高效的交互式查询是再好不过的事情。并且DLI已经把所有的东西都准备好了，且又是比较熟悉的SQL体验，无需用户上传数据，既可以体验到DLI的核心功能。 欢迎体验数据湖探索(DLI)服务：https://www.huaweicloud.cn/product/dli.html
- DLI(数据湖探索)作为serverless服务，她的基本计算资源叫队列，是使用DLI服务的基础，用户执行的SQL、SPARK\FLINK作业都需要使用计算资源。而队列的计价单位就是CU，转换公式为1CU=1Core 4GMem(即1核4G)。具体的基本概念请访问https://www.huaweicloud.cn/product/dli.html 跨AZ... DLI(数据湖探索)作为serverless服务，她的基本计算资源叫队列，是使用DLI服务的基础，用户执行的SQL、SPARK\FLINK作业都需要使用计算资源。而队列的计价单位就是CU，转换公式为1CU=1Core 4GMem(即1核4G)。具体的基本概念请访问https://www.huaweicloud.cn/product/dli.html 跨AZ...
- 本月DLI服务月刊为您带来： 1.服务功能更新：双AZ计算队列、扫描数据量套餐包、Spark作业支持开发者模式、SDK性能提升、地址连通性测试能力、DLI样例代码发布。 2.上亿条数据，如何查询分析简单又高效？ 3. Spark on Elasticsearch一致性问题的探索。 4. DLI计费规格详解。 本月DLI服务月刊为您带来： 1.服务功能更新：双AZ计算队列、扫描数据量套餐包、Spark作业支持开发者模式、SDK性能提升、地址连通性测试能力、DLI样例代码发布。 2.上亿条数据，如何查询分析简单又高效？ 3. Spark on Elasticsearch一致性问题的探索。 4. DLI计费规格详解。
- 1 概述 DLI在服务本身维护一套完善的权限控制的同时，还支持通过统一身份认证服务细粒度鉴权，通过创建策略来管理DLI的权限，并且随着不断完善，细粒度鉴权会逐渐和DLI服务本身的权限管控同步。2 权限分类 目前DLI有权限控制的资源如下，详细信息可以参考DLI用户指南权限管理https://support.huaweicloud.cn/usermanual-... 1 概述 DLI在服务本身维护一套完善的权限控制的同时，还支持通过统一身份认证服务细粒度鉴权，通过创建策略来管理DLI的权限，并且随着不断完善，细粒度鉴权会逐渐和DLI服务本身的权限管控同步。2 权限分类 目前DLI有权限控制的资源如下，详细信息可以参考DLI用户指南权限管理https://support.huaweicloud.cn/usermanual-...
- 华为云很多大数据服务都涉及在线SQL编辑场景，比如数据湖探索 服务，简称DLI。DLI支持标准SQL/Spark SQL/Flink SQL，仅需使用SQL就可以完成大数据处理工作，那么如何快速的搭建SQL在线编辑器呢？本文将使用CodeMirror搭建Spark SQL在线编辑器，CodeMirror是一款在线的开源的编辑器，覆盖各种语法，官网demo齐全，简单灵活易上手。 华为云很多大数据服务都涉及在线SQL编辑场景，比如数据湖探索 服务，简称DLI。DLI支持标准SQL/Spark SQL/Flink SQL，仅需使用SQL就可以完成大数据处理工作，那么如何快速的搭建SQL在线编辑器呢？本文将使用CodeMirror搭建Spark SQL在线编辑器，CodeMirror是一款在线的开源的编辑器，覆盖各种语法，官网demo齐全，简单灵活易上手。
- 在万物互联的时代，数据在源源不断的产生，数据即财富、时间即财富，海量数据越实时越有价值。时势造英雄，各种用于实时流计算的开源框架应运而生，Flink更是个中翘楚。Flink不仅提供实时计算能力，而且支持计算过程的状态管理，更能很好地处理数据的时序问题。完美的实时流计算框架搭配上高扩展、高实时的分布式搜索引擎Elasticsearch，Nginx日志分析便是手到擒来。 ... 在万物互联的时代，数据在源源不断的产生，数据即财富、时间即财富，海量数据越实时越有价值。时势造英雄，各种用于实时流计算的开源框架应运而生，Flink更是个中翘楚。Flink不仅提供实时计算能力，而且支持计算过程的状态管理，更能很好地处理数据的时序问题。完美的实时流计算框架搭配上高扩展、高实时的分布式搜索引擎Elasticsearch，Nginx日志分析便是手到擒来。 ...
- 可靠性的保障一直是软件人员一直以来努力的方向，为广大用户提供高可靠的服务也是我们软件人的使命，下面我从DLI的跨AZ双活方案来简单解读下DLI可靠性的一部分特性 可靠性的保障一直是软件人员一直以来努力的方向，为广大用户提供高可靠的服务也是我们软件人的使命，下面我从DLI的跨AZ双活方案来简单解读下DLI可靠性的一部分特性
- 数据湖探索（DLI）作为华为云大数据分析平台，计费项有存储费用与计算费用，计费类型有包周期，包套餐和按需。本文简单介绍下DLI的计费，并使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上分析，找出费用优化的空间，并给出使用DLI过程中降成本的一些措施。一、DLI的计费简介数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作... 数据湖探索（DLI）作为华为云大数据分析平台，计费项有存储费用与计算费用，计费类型有包周期，包套餐和按需。本文简单介绍下DLI的计费，并使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上分析，找出费用优化的空间，并给出使用DLI过程中降成本的一些措施。一、DLI的计费简介数据湖探索服务目前支持三种作业：SQL作业，Flink作业和Spark作业。SQL作...
- 一、什么是反压 反压是流处理系统中用来保障应用可靠性的一个重要机制。由于流应用是7*24小时运行，数据输入速率也不是一成不变，可能随时间产生波峰波谷，当某个处理单元由于到来的数据忽然增加，暂时性超出其处理能力时，就会出现数据在接收队列上累积，当数据的累积量超出处理单元的容量时，会出现数据丢失现象甚至因为系统资源耗尽而导致应用崩溃。为此，需要一种反压机制来告知上游处理单元降低数据发送的速率，... 一、什么是反压 反压是流处理系统中用来保障应用可靠性的一个重要机制。由于流应用是7*24小时运行，数据输入速率也不是一成不变，可能随时间产生波峰波谷，当某个处理单元由于到来的数据忽然增加，暂时性超出其处理能力时，就会出现数据在接收队列上累积，当数据的累积量超出处理单元的容量时，会出现数据丢失现象甚至因为系统资源耗尽而导致应用崩溃。为此，需要一种反压机制来告知上游处理单元降低数据发送的速率，...
- 现网案例分享：用户使用DLI sdk持续提交大量insert小作业，平均1h出现一次driver oom，application重启。重启导致正在运行的作业失败，报错：Java Heap Space。 现网案例分享：用户使用DLI sdk持续提交大量insert小作业，平均1h出现一次driver oom，application重启。重启导致正在运行的作业失败，报错：Java Heap Space。
- 揭秘华为云DLI背后的核心计算引擎 本文主要给大家介绍隐藏在华为云EI（企业智能）数据湖探索服务（以下简称DLI）背后的核心计算引擎——Spark。华为云EI数据湖探索服务团队在Spark之上做了大量的性能优化与服务化改造，但其本质还是脱离不了Spark的核心概念与思想，本文从以下几点阐述，让读者快速对Spark有一个直观的认识，玩转DLI。更多资讯关注公众号“智能数据湖” Spark的诞生... 揭秘华为云DLI背后的核心计算引擎 本文主要给大家介绍隐藏在华为云EI（企业智能）数据湖探索服务（以下简称DLI）背后的核心计算引擎——Spark。华为云EI数据湖探索服务团队在Spark之上做了大量的性能优化与服务化改造，但其本质还是脱离不了Spark的核心概念与思想，本文从以下几点阐述，让读者快速对Spark有一个直观的认识，玩转DLI。更多资讯关注公众号“智能数据湖” Spark的诞生...
- 喜欢就关注我哦~ 喜欢就关注我哦~
- 数据湖工厂服务（Data Lake Factory，简称DLF）是华为云大数据重要的平台产品，它可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。 数据湖工厂服务（Data Lake Factory，简称DLF）是华为云大数据重要的平台产品，它可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。
上滑加载中
推荐直播
-
鸿蒙应用入门：轻松掌握ArkTS开发语言2024/12/05 周四 16:00-18:00
Edi 华为云学堂技术讲师
本期直播课旨在让开发者了解ArkTS语法、轻松掌握ArkUI组件开发，带你零门槛入门鸿蒙开发，掌握状态管理实验和渲染控制实验。
回顾中 -
人工智能应用测试深度解析：理论基础与实践应用指南2024/12/06 周五 14:30-16:30
Alex 华为云学堂技术讲师
本期直播主要结合理论及人工智能的相关实验，给大家讲述AI应用测试的主要流程和方法。帮助开发者了解AI应用测试的理论及方法，和AI应用测试在模型迭代调优过程中的作用。
去报名 -
2024 华为云开源开发者论坛 — 主论坛2024/12/07 周六 09:00-12:00
华为及外部讲师团
2024年12月7日，首届华为云开源开发者论坛将于上海静安香格里拉酒店举行。论坛主题为“开放创新，释放云上数字生产力”，面向生态合作伙伴、企业、个人和高校开发者。论坛将围绕当前热门的开源话题，如“开源生态前景剖析”、“开源技术解读”、“开源开发者支持与实践”等进行分享和讨论，旨在帮助开发者利用开源链接鲲鹏、昇腾根生态和华为云生态，实现高效创新和价值裂变。
即将直播
热门标签