- 作者简介：小小明，Pandas数据处理专家，致力于帮助无数数据从业者解决数据处理难题。 之前有位群友分享了使用Pandas过滤停用词的技巧： 不过其实这并不是效率最高的一种方法，今天我将... 作者简介：小小明，Pandas数据处理专家，致力于帮助无数数据从业者解决数据处理难题。 之前有位群友分享了使用Pandas过滤停用词的技巧： 不过其实这并不是效率最高的一种方法，今天我将...
- 基于Ernie-3.0 CAIL2019法研杯要素识别多标签分类任务 基于Ernie-3.0 CAIL2019法研杯要素识别多标签分类任务
- PaddleNLP通用信息抽取技术UIE【一】产业应用实例：信息抽取{实体关系抽取、中文分词、精准实体标。情感分析等}、文本纠错、问答系统、闲聊机器人、定制训练 PaddleNLP通用信息抽取技术UIE【一】产业应用实例：信息抽取{实体关系抽取、中文分词、精准实体标。情感分析等}、文本纠错、问答系统、闲聊机器人、定制训练
- 前言分词器的作用是把一段文本中的词按一定规则进行切分。对应的是Analyzer类，这是一个抽象类，切分词的具体规则是由子类实现的，所以对于不同的语言，要用不同的分词器。在创建索引时会用到分词器，在搜索时也会用到分词器，这两个地方要使用同一个分词器，否则可能会搜索不出结果。 1.IK分词器IK 分词器地址：https://github.com/medcl/elasticsearch-anal... 前言分词器的作用是把一段文本中的词按一定规则进行切分。对应的是Analyzer类，这是一个抽象类，切分词的具体规则是由子类实现的，所以对于不同的语言，要用不同的分词器。在创建索引时会用到分词器，在搜索时也会用到分词器，这两个地方要使用同一个分词器，否则可能会搜索不出结果。 1.IK分词器IK 分词器地址：https://github.com/medcl/elasticsearch-anal...
- python的文件操作，是python办公自动化的最基础部分。今天，数据猿就尝试对四种格式的文档，进行部分内容读取的操作，实现读取文件操作的办公自动化~目录如下——读取文本文档with 语句读取部分内容python最基本的文件读取是采用open()函数，但需要close()来关闭文件，否则会报错，所以建议使用with语句来读取一般的txt文件。with open('file.txt',enc... python的文件操作，是python办公自动化的最基础部分。今天，数据猿就尝试对四种格式的文档，进行部分内容读取的操作，实现读取文件操作的办公自动化~目录如下——读取文本文档with 语句读取部分内容python最基本的文件读取是采用open()函数，但需要close()来关闭文件，否则会报错，所以建议使用with语句来读取一般的txt文件。with open('file.txt',enc...
- 分词是自然语言处理的一个基本工作，中文分词和英文不同，字词之间没有空格，可以将中文分词方法简单归纳为：基于词表的分词方法基于统计的分词方法基于序列标记的分词方法其中，基于词表的分词方法最为简单，根据起始匹配位置不同可以分为：前向最大匹配算法后向最大匹配算法双向最大匹配算法三种方法思想都很简单，今天我们用python实现前向最大匹配算法。前向最大匹配算法，顾名思义，就是从待分词句子的左边向右边... 分词是自然语言处理的一个基本工作，中文分词和英文不同，字词之间没有空格，可以将中文分词方法简单归纳为：基于词表的分词方法基于统计的分词方法基于序列标记的分词方法其中，基于词表的分词方法最为简单，根据起始匹配位置不同可以分为：前向最大匹配算法后向最大匹配算法双向最大匹配算法三种方法思想都很简单，今天我们用python实现前向最大匹配算法。前向最大匹配算法，顾名思义，就是从待分词句子的左边向右边...
- 华为OD机试真题 - 中文分词模拟器 介绍中文分词是自然语言处理中的一个基本任务，它将连续的汉字序列划分成一个个独立的词语。由于汉字之间没有显式的空格，中文分词对于搜索引擎、机器翻译和情感分析等应用至关重要。 应用使用场景搜索引擎：提高中文查询的准确度和相关性。文本分析：帮助从文本中提取有意义的信息。机器翻译：将中文文本转换为其他语言时的基础步骤。社交媒体监控：理解用户生成内容以进行趋势分... 华为OD机试真题 - 中文分词模拟器 介绍中文分词是自然语言处理中的一个基本任务，它将连续的汉字序列划分成一个个独立的词语。由于汉字之间没有显式的空格，中文分词对于搜索引擎、机器翻译和情感分析等应用至关重要。 应用使用场景搜索引擎：提高中文查询的准确度和相关性。文本分析：帮助从文本中提取有意义的信息。机器翻译：将中文文本转换为其他语言时的基础步骤。社交媒体监控：理解用户生成内容以进行趋势分...
- 1.介绍jieba是优秀的中文分词第三方库。由于中文文本之间每个汉字都是连续书写的，我们需要通过特定的手段来获得其中的每个单词，这种手段就叫分词。而jieba是Python计算生态中非常优秀的中文分词第三方库，需要通过安装来使用它。jieba库提供了三种分词模式，但实际上要达到分词效果只要掌握一个函数就足够了，非常的简单有效。安装第三方库需要使用pip工具，在命令行下运行安装命令（不是ID... 1.介绍jieba是优秀的中文分词第三方库。由于中文文本之间每个汉字都是连续书写的，我们需要通过特定的手段来获得其中的每个单词，这种手段就叫分词。而jieba是Python计算生态中非常优秀的中文分词第三方库，需要通过安装来使用它。jieba库提供了三种分词模式，但实际上要达到分词效果只要掌握一个函数就足够了，非常的简单有效。安装第三方库需要使用pip工具，在命令行下运行安装命令（不是ID...
- Elasticsearch是一个流行的全文搜索引擎，能够高效地处理大量的复杂查询。在处理中文文本数据时，需要将文本进行分词处理，并对分词结果进行索引和搜索。ES提供了多种中文分词器，能够适应不同场景和需求。本文将详细介绍ES中的中文分词技术。 中文分词的基本概念中文分词是将连续的中文字串切割成独立的词语序列的过程，是中文自然语言处理中的一项基础任务。中文分词主要有两种方法：基于规则的分词和基... Elasticsearch是一个流行的全文搜索引擎，能够高效地处理大量的复杂查询。在处理中文文本数据时，需要将文本进行分词处理，并对分词结果进行索引和搜索。ES提供了多种中文分词器，能够适应不同场景和需求。本文将详细介绍ES中的中文分词技术。 中文分词的基本概念中文分词是将连续的中文字串切割成独立的词语序列的过程，是中文自然语言处理中的一项基础任务。中文分词主要有两种方法：基于规则的分词和基...
- 我录了一段音存储在这个test.m4a文件里，语音内容为"测试一下Netweaver对于并发请求的响应性能"。使用如下Java代码进行测试：package com.iflytek.msp.lfasr;import java.util.HashMap;import org.apache.log4j.Logger;import com.alibaba.fastjson.JSON;import c... 我录了一段音存储在这个test.m4a文件里，语音内容为"测试一下Netweaver对于并发请求的响应性能"。使用如下Java代码进行测试：package com.iflytek.msp.lfasr;import java.util.HashMap;import org.apache.log4j.Logger;import com.alibaba.fastjson.JSON;import c...
- Solr配置中文分词IKAnalyzer和拼音分词pinyinAnalyzer在处理中文搜索时，合适的分词器选择对于提高搜索质量和用户体验至关重要。Apache Solr 是一个高性能的全文搜索引擎服务器，支持多种语言的文本处理，包括中文。本文将详细介绍如何在 Solr 中配置两个常用的中文分词器：IKAnalyzer 和 pinyinAnalyzer。1. 环境准备Solr 版本：本文以 ... Solr配置中文分词IKAnalyzer和拼音分词pinyinAnalyzer在处理中文搜索时，合适的分词器选择对于提高搜索质量和用户体验至关重要。Apache Solr 是一个高性能的全文搜索引擎服务器，支持多种语言的文本处理，包括中文。本文将详细介绍如何在 Solr 中配置两个常用的中文分词器：IKAnalyzer 和 pinyinAnalyzer。1. 环境准备Solr 版本：本文以 ...
- Solr 配置中文分词 Solr 配置中文分词
- 简易的实现中文按字母排序且中文在前英文在后 简易的实现中文按字母排序且中文在前英文在后
- 在互联网高速发展的今天，信息也呈现出爆炸式的增长。在海量信息中我们如何利用机器快速地提取我们想要的信息？因为一篇文章没有特别的符号来将词语呈现出来，所以我们用机器进行中文处理的时候，首先就需要对中文语句进行分词。Sphinx search 可以说是一款非常强的开源全文搜索引擎，因为种种原因，后来都没有更新了，所以后来版本太低，同时也会出现bug；后来也使用最新的sphinxsearch，它可... 在互联网高速发展的今天，信息也呈现出爆炸式的增长。在海量信息中我们如何利用机器快速地提取我们想要的信息？因为一篇文章没有特别的符号来将词语呈现出来，所以我们用机器进行中文处理的时候，首先就需要对中文语句进行分词。Sphinx search 可以说是一款非常强的开源全文搜索引擎，因为种种原因，后来都没有更新了，所以后来版本太低，同时也会出现bug；后来也使用最新的sphinxsearch，它可...
- 前面两章都反复提到了分词，甚至相关算法都很依赖分词，那么分词是什么呢？这里的分词可不是英语中那个“具有动词及形容词二者特征的词”哦，而且是切切实实的将一个句子拆分成词。我们在收集数据的时候常常会碰到一个问题，那就是如何处理人话（自然语言），人说的是人话，自然在网上也是使用人话交流，你总不可能让用户写着代码交流吧？发一句“你好，今天天气不错”要写成“{"你好","，","今天","天气","不... 前面两章都反复提到了分词，甚至相关算法都很依赖分词，那么分词是什么呢？这里的分词可不是英语中那个“具有动词及形容词二者特征的词”哦，而且是切切实实的将一个句子拆分成词。我们在收集数据的时候常常会碰到一个问题，那就是如何处理人话（自然语言），人说的是人话，自然在网上也是使用人话交流，你总不可能让用户写着代码交流吧？发一句“你好，今天天气不错”要写成“{"你好","，","今天","天气","不...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签