- @[toc] 大数据平台架构解析——以讯飞大数据平台Odeon为例 定义Odeon大数据平台以全图形化Web操作的形式为用户提供一站式的大数据能力：包括数据采集、任务编排、调度及处理、数据展现（BI）等；同时提供完善的权限管理、日志追踪、集群监控等能力 功能数据通道：SQL、NoSql数据库及日志多源数据接入与导出数据管理：完善的元数据管理、数据质量标准管理体系，同时具备完整的数据隔离及授权... @[toc] 大数据平台架构解析——以讯飞大数据平台Odeon为例 定义Odeon大数据平台以全图形化Web操作的形式为用户提供一站式的大数据能力：包括数据采集、任务编排、调度及处理、数据展现（BI）等；同时提供完善的权限管理、日志追踪、集群监控等能力 功能数据通道：SQL、NoSql数据库及日志多源数据接入与导出数据管理：完善的元数据管理、数据质量标准管理体系，同时具备完整的数据隔离及授权...
- 近期为公司签到做的一个为期一年的规划，从个人优势，资源整合，以及未来发展。提升团队协作能力，增强整体素质核心竞争力。 近期为公司签到做的一个为期一年的规划，从个人优势，资源整合，以及未来发展。提升团队协作能力，增强整体素质核心竞争力。
- 实战多种自定义flink数据源 实战多种自定义flink数据源
- 首先确定4个概念,TP,FP,TN,FNTP（True Positive）：在判定为positive的样本中，判断正确的数目。 FP（False Positive）：在判定为positive的样本中，判断错误的数目。 TN（True Negative）：在判定为negative的样本中，判断正确的数目。 FN（False Negative）：在判定为negative的样本中，判断错误的数目。... 首先确定4个概念,TP,FP,TN,FNTP（True Positive）：在判定为positive的样本中，判断正确的数目。 FP（False Positive）：在判定为positive的样本中，判断错误的数目。 TN（True Negative）：在判定为negative的样本中，判断正确的数目。 FN（False Negative）：在判定为negative的样本中，判断错误的数目。...
- spark中存在一个cacheManager，它的作用是什么？ 缓存原理又是如何的？ 以及和内存memoryStore对应的diskManager，它又是如何和内存管理做交互，实现spark很重要的落盘机制的？本文将给你进行一一讲解 spark中存在一个cacheManager，它的作用是什么？ 缓存原理又是如何的？ 以及和内存memoryStore对应的diskManager，它又是如何和内存管理做交互，实现spark很重要的落盘机制的？本文将给你进行一一讲解
- 我们看下spark是怎么针对master、worker、executor的异常情况做处理的。 容错机制-exeuctor退出首先可以假设worker中的executor执行任务时，发送了莫名其妙的异常或者错误，然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是：executor由backend进程包着，如果抛异常，他会感知到，并调用executorRunner.exitStatu... 我们看下spark是怎么针对master、worker、executor的异常情况做处理的。 容错机制-exeuctor退出首先可以假设worker中的executor执行任务时，发送了莫名其妙的异常或者错误，然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是：executor由backend进程包着，如果抛异常，他会感知到，并调用executorRunner.exitStatu...
- 一、RabbitMQ简介MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用... 一、RabbitMQ简介MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用...
- 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2.X版本图像分类任务，分类的模型使用MobileNetV1。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重，训练时间更短。3、数据增强选用albumentations。关于... 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2.X版本图像分类任务，分类的模型使用MobileNetV1。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重，训练时间更短。3、数据增强选用albumentations。关于...
- 刷帖子翻页需要分页查询，搜索商品也需分页查询。当遇到上千万、上亿数据量，怎么快速拉取全量数据呢？比如：大商家拉取每月千万级别的订单数量到自己独立的ISV做财务统计拥有百万千万粉丝的大v，给全部粉丝推送消息 案例常见错误写法SELECT *FROM tablewhere kid = 1342 and type = 1order id asclimit 149420,20;典型的排序+分页查询... 刷帖子翻页需要分页查询，搜索商品也需分页查询。当遇到上千万、上亿数据量，怎么快速拉取全量数据呢？比如：大商家拉取每月千万级别的订单数量到自己独立的ISV做财务统计拥有百万千万粉丝的大v，给全部粉丝推送消息 案例常见错误写法SELECT *FROM tablewhere kid = 1342 and type = 1order id asclimit 149420,20;典型的排序+分页查询...
- 【云驻共创】完全零基础，怎样入门大数据？ 本文从三个方向说明学习过程，可以进行快速入门，当然个人建议大学生们夯实基础，逐一进行，已经工作的可以跳过基础，直接进入第三部分。 1、大数据发展趋势（目的：帮助您坚定思想） 2、大数据基础铺垫（目的：帮助您打牢基础） 3、大数据正式学习（目的：帮助您项目实操） 潜心学习，必有收获。 【云驻共创】完全零基础，怎样入门大数据？ 本文从三个方向说明学习过程，可以进行快速入门，当然个人建议大学生们夯实基础，逐一进行，已经工作的可以跳过基础，直接进入第三部分。 1、大数据发展趋势（目的：帮助您坚定思想） 2、大数据基础铺垫（目的：帮助您打牢基础） 3、大数据正式学习（目的：帮助您项目实操） 潜心学习，必有收获。
- 大家好，我是程序员学长。距离上次更文已经相隔一个多月了，大家不会把我给忘了吧，哈哈~~由于最近一直在忙家里装修的事情，所以就一直没精力去更新文章，好在基本已经搞得差不多了，也可以回归了，等彻底搞定了，给大家分享出来。金三银四马上就要到了，去年更新的高频算法系列基本已经更新完事了，一共有100多道面试高频题，每道题都有详细的解析。如果需要这份pdf，大家可以关注公众号，回复666，可得。资料获... 大家好，我是程序员学长。距离上次更文已经相隔一个多月了，大家不会把我给忘了吧，哈哈~~由于最近一直在忙家里装修的事情，所以就一直没精力去更新文章，好在基本已经搞得差不多了，也可以回归了，等彻底搞定了，给大家分享出来。金三银四马上就要到了，去年更新的高频算法系列基本已经更新完事了，一共有100多道面试高频题，每道题都有详细的解析。如果需要这份pdf，大家可以关注公众号，回复666，可得。资料获...
- 华为云探访帆软软件 | 从一家好公司，做个好产品开始 华为云探访帆软软件 | 从一家好公司，做个好产品开始
- 数字化转型是以支撑主业成功为目标，构建全球高质量竞争力。在过去5年，华为依托丰富的业务场景不断扩大实践范围，从战略决心、业务重构等方面不断推进数字化转型，在追求客户满意的同时实现效率和效益的提升，并通过数字化的引入为华为带来新的商业价值。 数字化转型是以支撑主业成功为目标，构建全球高质量竞争力。在过去5年，华为依托丰富的业务场景不断扩大实践范围，从战略决心、业务重构等方面不断推进数字化转型，在追求客户满意的同时实现效率和效益的提升，并通过数字化的引入为华为带来新的商业价值。
- InceptionV3实战：tensorflow2.X版本，InceptionV3图像分类任务（大数据集） 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2，分类的模型使用InceptionV3。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2... InceptionV3实战：tensorflow2.X版本，InceptionV3图像分类任务（大数据集） 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2，分类的模型使用InceptionV3。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2...
- ResNet实战：tensorflow2.X版本，ResNet50图像分类任务（大数据集） 摘要本例提取了猫狗大战数据集中的部分数据做数据集，演示tensorflow2.X版本如何使用Keras实现图像分类，分类的模型使用ResNet50。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重... ResNet实战：tensorflow2.X版本，ResNet50图像分类任务（大数据集） 摘要本例提取了猫狗大战数据集中的部分数据做数据集，演示tensorflow2.X版本如何使用Keras实现图像分类，分类的模型使用ResNet50。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重...
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中
热门标签