- 在互联网系统设计开发中,我们需要接口能够达到高性能,高并发和高可用要求,同时需要保证数据的唯一性,传统的数据库自增,uuid等方式无法满足要求,就需要一个性能好,可靠的分布式id组件来解决这个痛点,正好美团Leaf就是其中一个优秀的开源组件。 在互联网系统设计开发中,我们需要接口能够达到高性能,高并发和高可用要求,同时需要保证数据的唯一性,传统的数据库自增,uuid等方式无法满足要求,就需要一个性能好,可靠的分布式id组件来解决这个痛点,正好美团Leaf就是其中一个优秀的开源组件。
- Llama-factory适配昇腾开源验证任务心得根据任务计划书(https://bbs.huaweicloud.cn/blogs/437813)了解任务内容,主要目的是在昇腾npu上利用 Llama-factory完成一个大模型的训练推理,确保其在昇腾上能够正常运行。开发过程明确目的后开始熟悉框架,Llama-factory的github网址:https://github.com/hiy... Llama-factory适配昇腾开源验证任务心得根据任务计划书(https://bbs.huaweicloud.cn/blogs/437813)了解任务内容,主要目的是在昇腾npu上利用 Llama-factory完成一个大模型的训练推理,确保其在昇腾上能够正常运行。开发过程明确目的后开始熟悉框架,Llama-factory的github网址:https://github.com/hiy...
- CogVideoX是智谱AI开发的视频生成大模型。无需复杂的视频制作技能和工具,能够将简短的文本描述或静态图片转化为高质量、具有视觉吸引力的动态视频。本文将介绍在华为的Ascend NPU上配置CogVideoX项目的过程中遇到的问题和解决方案,以及心得总结。 CogVideoX是智谱AI开发的视频生成大模型。无需复杂的视频制作技能和工具,能够将简短的文本描述或静态图片转化为高质量、具有视觉吸引力的动态视频。本文将介绍在华为的Ascend NPU上配置CogVideoX项目的过程中遇到的问题和解决方案,以及心得总结。
- Apache Parquet 是由 Twitter 和 Cloudera 最先发起并合作开发的列存项目,也是 2010 年 Google 发表的 Dremel 论文中描述的内部列存格式的开源实现。 和一些传统的列式存储(C-Store、MonetDB 等)系统相比,Dremel/Parquet 最大的贡献是支持嵌套格式数据(Nested Data)的列式存储。 Apache Parquet 是由 Twitter 和 Cloudera 最先发起并合作开发的列存项目,也是 2010 年 Google 发表的 Dremel 论文中描述的内部列存格式的开源实现。 和一些传统的列式存储(C-Store、MonetDB 等)系统相比,Dremel/Parquet 最大的贡献是支持嵌套格式数据(Nested Data)的列式存储。
- 华为云开源开发者论坛将于2024年12月7日正式在上海召开,会议融入AI、Serverless、前端、时序数据库、边缘计算、批量调度等多个维度,邀你一起共赴开源盛典。 华为云开源开发者论坛将于2024年12月7日正式在上海召开,会议融入AI、Serverless、前端、时序数据库、边缘计算、批量调度等多个维度,邀你一起共赴开源盛典。
- CodeGeeX4-ALL-9B是最新的 CodeGeeX4 系列模型的开源版本,是由 THUDM 推出的全能开源多语言代码生成模型,该模型是在 Codegeex 基础上持续训练的多语言代码生成模型,显著提升了代码生成能力。本文的主要目的是将Codegeex项目移植到华为的 Ascend NPU、Kunpeng CPU 以及 OpenEuler 操作系统上,确保其在这些平台上的性能优化和正常运行。 CodeGeeX4-ALL-9B是最新的 CodeGeeX4 系列模型的开源版本,是由 THUDM 推出的全能开源多语言代码生成模型,该模型是在 Codegeex 基础上持续训练的多语言代码生成模型,显著提升了代码生成能力。本文的主要目的是将Codegeex项目移植到华为的 Ascend NPU、Kunpeng CPU 以及 OpenEuler 操作系统上,确保其在这些平台上的性能优化和正常运行。
- Parler-TTS 是一个完全开源的文本到语音转换项目,本文是把该模型适配到昇腾npu并进行推理的心得以及操作过程 Parler-TTS 是一个完全开源的文本到语音转换项目,本文是把该模型适配到昇腾npu并进行推理的心得以及操作过程
- VLLM是一个开源的高性能大语言模型推理库,旨在实现大规模语言模型的快速推理。本任务的主要目的是将VLLM项目移植到华为的昇腾、鲲鹏处理器和Euler系统上,确保其在这些平台上的性能和正常运行。 VLLM是一个开源的高性能大语言模型推理库,旨在实现大规模语言模型的快速推理。本任务的主要目的是将VLLM项目移植到华为的昇腾、鲲鹏处理器和Euler系统上,确保其在这些平台上的性能和正常运行。
- Helm 是 Kubernetes 的包管理工具,用于简化 Kubernetes 应用的部署和管理。它通过将 Kubernetes 资源定义为可重用的包(称为“Chart”),帮助用户更方便地部署、升级和管理复杂的应用。 Helm 是 Kubernetes 的包管理工具,用于简化 Kubernetes 应用的部署和管理。它通过将 Kubernetes 资源定义为可重用的包(称为“Chart”),帮助用户更方便地部署、升级和管理复杂的应用。
- CockroachDB适配OBS开源开发任务CockroachDB是一个开源的分布式关系数据库,其设计灵感来源于Google的全球性分布式数据库Spanner。它旨在打造一个能够应对全球规模、具有高可用性和一致性的数据库系统。CockroachDB采用完全去中心化的架构,集群中各个节点的地位完全对等,同时所有功能封装在一个二进制文件中,尽量不依赖配置文件即可直接部署。本任务的主要目的是让C... CockroachDB适配OBS开源开发任务CockroachDB是一个开源的分布式关系数据库,其设计灵感来源于Google的全球性分布式数据库Spanner。它旨在打造一个能够应对全球规模、具有高可用性和一致性的数据库系统。CockroachDB采用完全去中心化的架构,集群中各个节点的地位完全对等,同时所有功能封装在一个二进制文件中,尽量不依赖配置文件即可直接部署。本任务的主要目的是让C...
- Vaex适配GaussDB开源验证任务心得首先先看下任务计划书 https://bbs.huaweicloud.cn/blogs/440284,大概了解了下这个任务的主要工作是完成 Vaex计算引擎连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂,主要是需要花时间熟悉vaex的结构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。先fo... Vaex适配GaussDB开源验证任务心得首先先看下任务计划书 https://bbs.huaweicloud.cn/blogs/440284,大概了解了下这个任务的主要工作是完成 Vaex计算引擎连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂,主要是需要花时间熟悉vaex的结构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。先fo...
- Superset 作为一款强大的开源数据可视化与探索工具,在数据分析领域拥有广泛的应用。而 Gauss 数据库则以其高性能、高可靠性和丰富的功能在企业级数据处理场景中占据重要地位。为了使 Superset 能够充分利用 Gauss 数据库的特性,实现无缝对接与高效数据交互,我们开启了此次适配开发项目。目标是确保 Superset 在连接 Gauss 数据库后,能够稳定地执行各类数据查询、可视化操作 Superset 作为一款强大的开源数据可视化与探索工具,在数据分析领域拥有广泛的应用。而 Gauss 数据库则以其高性能、高可靠性和丰富的功能在企业级数据处理场景中占据重要地位。为了使 Superset 能够充分利用 Gauss 数据库的特性,实现无缝对接与高效数据交互,我们开启了此次适配开发项目。目标是确保 Superset 在连接 Gauss 数据库后,能够稳定地执行各类数据查询、可视化操作
- Dask适配GaussDB开源验证任务心得首先先看下任务计划书 https://bbs.huaweicloud.cn/blogs/437786,大概了解了下这个任务的主要工作是完成 dask连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂,主要是需要花时间熟悉dask的结构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。先fork一下... Dask适配GaussDB开源验证任务心得首先先看下任务计划书 https://bbs.huaweicloud.cn/blogs/437786,大概了解了下这个任务的主要工作是完成 dask连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂,主要是需要花时间熟悉dask的结构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。先fork一下...
- 一、任务需求首先了解熟悉任务计划书(https://bbs.huaweicloud.cn/blogs/440073),目的需求是将 Langchain-Chatchat 项目适配至华为的 Ascend(昇腾)和 Kunpeng(鲲鹏)处理器,确保模型能在这些硬件平台上的高效运行,需要注意系统架构是aarch64。二、过程明确需求后开始熟悉模型,了解其需要的配置和环境要求。0. 软硬件要求软... 一、任务需求首先了解熟悉任务计划书(https://bbs.huaweicloud.cn/blogs/440073),目的需求是将 Langchain-Chatchat 项目适配至华为的 Ascend(昇腾)和 Kunpeng(鲲鹏)处理器,确保模型能在这些硬件平台上的高效运行,需要注意系统架构是aarch64。二、过程明确需求后开始熟悉模型,了解其需要的配置和环境要求。0. 软硬件要求软...
- DeepFace适配鲲鹏开源验证任务心得 首先看了一下任务计划书:https://bbs.huaweicloud.cn/blogs/440178,主要目的是将 DeepFace 项目适配至华为的 Kunpeng(鲲鹏)处理器,确保其在硬件平台上的高效运行,也就是说验证DeepFace能不能在 Kunpeng(鲲鹏)处理器中运行。 DeepFace适配鲲鹏开源验证任务心得 首先看了一下任务计划书:https://bbs.huaweicloud.cn/blogs/440178,主要目的是将 DeepFace 项目适配至华为的 Kunpeng(鲲鹏)处理器,确保其在硬件平台上的高效运行,也就是说验证DeepFace能不能在 Kunpeng(鲲鹏)处理器中运行。
上滑加载中
推荐直播
-
DTT年度收官盛典:华为开发者空间大咖汇,共探云端开发创新
2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速,驱动着技术革新发展,华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源,打破平台间的壁垒,实现跨平台协同?在科技迅猛发展的今天,开发者们如何迅速把握机遇,实现高效、创新的技术突破?DTT 年度收官盛典,将与大家共同探索华为开发者空间的创新奥秘。
回顾中 -
GaussDB应用实战:手把手带你写SQL
2025/01/09 周四 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将围绕数据库中常用的数据类型、数据库对象、系统函数及操作符等内容展开介绍,帮助初学者掌握SQL入门级的基础语法。同时在线手把手教你写好SQL。
回顾中 -
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
即将直播
热门标签