- Python自然语言处理专栏目录 初体验HanLP—Python自然语言处理（1）切分算法—Python自然语言处理（2）字典树—Python自然语言处理（3）停用词过滤—Python自然语言处理（4）简繁体转换—Python自然语言处理（5）拼音转换—Python自然语言处理（6）语料库标注与训练模型—Python自然语言处理（7）预测分词—Python自然语言处理... Python自然语言处理专栏目录 初体验HanLP—Python自然语言处理（1）切分算法—Python自然语言处理（2）字典树—Python自然语言处理（3）停用词过滤—Python自然语言处理（4）简繁体转换—Python自然语言处理（5）拼音转换—Python自然语言处理（6）语料库标注与训练模型—Python自然语言处理（7）预测分词—Python自然语言处理...
- 目录 什么是字典树DoubleArrayTrieSegmentAhoCorasickDoubleArrayTrieSegment 什么是字典树 在自然语言处理中，字符串集合常用字典树存储，这是一种字符串上的树形数据结构。字典树中每条边都对应一个字，从根节点往下的路径构成一个个字符串。 字典树并不直接在节点上存储字符串，而是将词语视作根节点到某节点之间的... 目录 什么是字典树DoubleArrayTrieSegmentAhoCorasickDoubleArrayTrieSegment 什么是字典树 在自然语言处理中，字符串集合常用字典树存储，这是一种字符串上的树形数据结构。字典树中每条边都对应一个字，从根节点往下的路径构成一个个字符串。 字典树并不直接在节点上存储字符串，而是将词语视作根节点到某节点之间的...
- 目录 前言完全切分正向最长匹配逆向最长匹配双向最长匹配 前言 我们需要分析某句话，就必须检测该条语句中的词语。 一般来说，一句话肯定包含多个词语，它们互相重叠，具体输出哪一个由自然语言的切分算法决定。常用的切分算法有完全切分、正向最长匹配、逆向最长匹配以及双向最长匹配。 本篇博文将一一介绍这些常用的切分算法。 完全切分 完全切分是指，找出一段文本... 目录 前言完全切分正向最长匹配逆向最长匹配双向最长匹配 前言 我们需要分析某句话，就必须检测该条语句中的词语。 一般来说，一句话肯定包含多个词语，它们互相重叠，具体输出哪一个由自然语言的切分算法决定。常用的切分算法有完全切分、正向最长匹配、逆向最长匹配以及双向最长匹配。 本篇博文将一一介绍这些常用的切分算法。 完全切分 完全切分是指，找出一段文本...
- 目录 简体繁体转换使用CharTable进行简繁体转换多种繁简之间的转换 简体繁体转换 如今，世界上存在两种中文，一种是中文简体，一种是中文繁体。如果要完全掌握中文语言的自然语言处理，那么简繁都不可避免。所以，掌握了简体与繁体的转换，往往能够事半功倍。 而HanLP也提供了简繁转换的类：CharTable，用它来执行字符正规化。比如简体转换繁体，全角转... 目录 简体繁体转换使用CharTable进行简繁体转换多种繁简之间的转换 简体繁体转换 如今，世界上存在两种中文，一种是中文简体，一种是中文繁体。如果要完全掌握中文语言的自然语言处理，那么简繁都不可避免。所以，掌握了简体与繁体的转换，往往能够事半功倍。 而HanLP也提供了简繁转换的类：CharTable，用它来执行字符正规化。比如简体转换繁体，全角转...
- 自然语言处理实例 数据简介: Disasters on social media 社交媒体上有些讨论是关于灾难，疾病，暴乱的，有些只是开玩笑或者是电影情节，我们该如何让机器能分辨出这两种讨论呢？ import keras import nltk import pandas as pd import numpy as np import re import co... 自然语言处理实例 数据简介: Disasters on social media 社交媒体上有些讨论是关于灾难，疾病，暴乱的，有些只是开玩笑或者是电影情节，我们该如何让机器能分辨出这两种讨论呢？ import keras import nltk import pandas as pd import numpy as np import re import co...
- 数据简介: Disasters on social media 美国政客的社交媒体消息分类 内容：收集了来自美国参议员和其他美国政客的数千条社交媒体消息，可按内容分类为目标群众（国家或选民）、政治主张（中立/两党或偏见/党派）和实际内容（如攻击政敌等） 社交媒体上有些讨论是关于灾难，疾病，暴乱的，有些只是开玩笑或者是电影情节，我们该如何让机器能分辨出这两种讨论呢？ ... 数据简介: Disasters on social media 美国政客的社交媒体消息分类 内容：收集了来自美国参议员和其他美国政客的数千条社交媒体消息，可按内容分类为目标群众（国家或选民）、政治主张（中立/两党或偏见/党派）和实际内容（如攻击政敌等） 社交媒体上有些讨论是关于灾难，疾病，暴乱的，有些只是开玩笑或者是电影情节，我们该如何让机器能分辨出这两种讨论呢？ ...
- 深度学习在自然语言处理中的应用 自然语言处理是教会机器如何去处理或者读懂人类语言的系统，主要应用领域： 对话系统 情感分析 图文映射 机器翻译 语音识别 词向量模型 计算机可只认识数字！ 我们可以将一句话中的每一个词都转换成一个向量 你可以将输入数据看成是一个 16*D 的一个矩阵。 词向量是具有空间意义的并不是简单的映射！例如，我们希望... 深度学习在自然语言处理中的应用 自然语言处理是教会机器如何去处理或者读懂人类语言的系统，主要应用领域： 对话系统 情感分析 图文映射 机器翻译 语音识别 词向量模型 计算机可只认识数字！ 我们可以将一句话中的每一个词都转换成一个向量 你可以将输入数据看成是一个 16*D 的一个矩阵。 词向量是具有空间意义的并不是简单的映射！例如，我们希望...
- 什么是Gensim Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口 补充一些概念: 语料（Corpus）：一组原始文本的集合，用于无监督... 什么是Gensim Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口 补充一些概念: 语料（Corpus）：一组原始文本的集合，用于无监督...
- from nltk.corpus import reuters #加载路透语料库 files = reuters.fileids() print(len(files)) # 10788 words16097 = reuters.words(['test/16097']) print(words16097) 12345 什么是语料 就是一个个txt，一个txt就是一个... from nltk.corpus import reuters #加载路透语料库 files = reuters.fileids() print(len(files)) # 10788 words16097 = reuters.words(['test/16097']) print(words16097) 12345 什么是语料 就是一个个txt，一个txt就是一个...
- python字符串的简单使用 namesList = ['Tuffy','Ali','Nysha','Tim' ] sentence = 'My dog sleeps on sofa' names = ';'.join(namesList) print(type(names), ':', names) wordList = sentence.split(' ') p... python字符串的简单使用 namesList = ['Tuffy','Ali','Nysha','Tim' ] sentence = 'My dog sleeps on sofa' names = ';'.join(namesList) print(type(names), ':', names) wordList = sentence.split(' ') p...
- 参考： http://www.pianshen.com/article/8433287443/ http://nlp.stanford.edu:8080/corenlp/ Stanford NLP提供了一系列自然语言分析工具。 它能够给出基本的 词形，词性，不管是公司名还是人名等，格式化的日期，时间，量词， 并且能够标记句子的结构，语法形式和字词依赖，指明那... 参考： http://www.pianshen.com/article/8433287443/ http://nlp.stanford.edu:8080/corenlp/ Stanford NLP提供了一系列自然语言分析工具。 它能够给出基本的 词形，词性，不管是公司名还是人名等，格式化的日期，时间，量词， 并且能够标记句子的结构，语法形式和字词依赖，指明那...
- NLP(1) | 词向量one hot编码词向量编码思想 NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词 什么是Seq2Seq网络？ 在Seq2Seq模型中采用了这种 Encoder-Decoder架构，其中 Encoder 是一个RNNCell（RNN ，GRU，LSTM 等） 结构，四层的LSTM结构使得能够提取足够多的特征，使得decode的模型... NLP(1) | 词向量one hot编码词向量编码思想 NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词 什么是Seq2Seq网络？ 在Seq2Seq模型中采用了这种 Encoder-Decoder架构，其中 Encoder 是一个RNNCell（RNN ，GRU，LSTM 等） 结构，四层的LSTM结构使得能够提取足够多的特征，使得decode的模型...
- ChemDataExtractor简介 ChemDataExtractor是一种从科学文档中自动提取化学信息的工具。给它一篇期刊文章，它将从文本中提取化学名称、属性和光谱，以便将它们导入数据库或电子表格。 ChemDataExtractor官网 ChemDataExtractor特点 自然语言处理 ChemDataExtractor使用最先进的自然语言处理算法来解释... ChemDataExtractor简介 ChemDataExtractor是一种从科学文档中自动提取化学信息的工具。给它一篇期刊文章，它将从文本中提取化学名称、属性和光谱，以便将它们导入数据库或电子表格。 ChemDataExtractor官网 ChemDataExtractor特点 自然语言处理 ChemDataExtractor使用最先进的自然语言处理算法来解释...
- NLP(1) | 词向量one hot编码词向量编码思想 NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词 NLP（3）| seq to seq 模型 NLP(4) | 用词向量技术简单分析红楼梦人物关系用n-gramma生成词向量word2vect进行模型训练 为什么需要实体识别 普通的工具如hanlp，htp，不能识别特定领域的专有名词，所以需... NLP(1) | 词向量one hot编码词向量编码思想 NLP(2) | 中文分词分词的概念分词方法分类CRFHMM分词 NLP（3）| seq to seq 模型 NLP(4) | 用词向量技术简单分析红楼梦人物关系用n-gramma生成词向量word2vect进行模型训练 为什么需要实体识别 普通的工具如hanlp，htp，不能识别特定领域的专有名词，所以需...
- Smiles2vec 简而言之，它是自然语言处理（NLP）领域的一项技术，可将字符串转换为矢量。 许多人用smiles字符串预测物理属性。 Smiles2vec的结构 将字符串转换为矢量是NLP领域的一项技术名为Seq2Seq。 在没有学习的情况下简单地解释它，它经常被用在“机器对话和机器翻译等模型”中。 该技术基于递归神经网络的思想使用诸如LSTM和G... Smiles2vec 简而言之，它是自然语言处理（NLP）领域的一项技术，可将字符串转换为矢量。 许多人用smiles字符串预测物理属性。 Smiles2vec的结构 将字符串转换为矢量是NLP领域的一项技术名为Seq2Seq。 在没有学习的情况下简单地解释它，它经常被用在“机器对话和机器翻译等模型”中。 该技术基于递归神经网络的思想使用诸如LSTM和G...
上滑加载中
推荐直播
-
仓颉编程语言开源创新人才培养经验分享2025/08/06 周三 19:00-20:00
张引 -华为开发者布道师-高校教师
热情而富有活力的仓颉社区为学生的学习提供了一个充满机遇和挑战的平台。本次直播探讨如何运用社区的力量帮助同学们变身为开源开发者，从而完成从学生到工程师身份的转变。
回顾中 -
“全域洞察·智控未来” ——云资源监控实战2025/08/08 周五 15:00-16:00
星璇 华为云监控产品经理，霄图 华为云监控体验设计师，云枢 华为云可观测产品经理
本期直播深度解析全栈监控技术实践，揭秘华为云、头部企业如何通过智能监控实现业务零中断，分享高可用系统背后的“鹰眼系统”。即刻预约，解锁数字化转型的运维密码！
即将直播
热门标签