- 定义：判断两段文本所包含语义信息是否相同。1. 语义a) 如何对文本进行划分b) 如何表达每个token今天下雨，我骑车差点摔倒，好在我一把把把把住了。校长说：校服上除了校徽别别别的，让你们别别别的别别别的你非得别别的2. 匹配a) 分类问题：不同文本之间是否相似b) 回归问题：不同文本之间有多相... 定义：判断两段文本所包含语义信息是否相同。1. 语义a) 如何对文本进行划分b) 如何表达每个token今天下雨，我骑车差点摔倒，好在我一把把把把住了。校长说：校服上除了校徽别别别的，让你们别别别的别别别的你非得别别的2. 匹配a) 分类问题：不同文本之间是否相似b) 回归问题：不同文本之间有多相...
- 未完待续... 未完待续...
- 与常规方法的区别：传统以空格为主无法处理未知或罕见的词汇不利于学习词缀间的关系，例如love，lovely单个字母粒度又过细Byte Pair Encoding思路：拆分为最小的语义单元，然后依次确定频率最高的单词，循环统计；优点：较好的平衡词汇表大小和所需的token数量缺点：不能提供带概率的多个分片结果算法准备足够大的训练语料确定期望的subword词表大小将单词拆分为字符序列并在末尾添... 与常规方法的区别：传统以空格为主无法处理未知或罕见的词汇不利于学习词缀间的关系，例如love，lovely单个字母粒度又过细Byte Pair Encoding思路：拆分为最小的语义单元，然后依次确定频率最高的单词，循环统计；优点：较好的平衡词汇表大小和所需的token数量缺点：不能提供带概率的多个分片结果算法准备足够大的训练语料确定期望的subword词表大小将单词拆分为字符序列并在末尾添...
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.5节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.5节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.4.3节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.4.3节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.4.2节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.4.2节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.3.2节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.3.2节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.3.1节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.3.1节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.2.4节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.2.4节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.2.3节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.2.3节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.2.1节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.2.1节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.1节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第3章，第3.1节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第2章，第2.4.2节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第2章，第2.4.2节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第2章，第2.3节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第2章，第2.3节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
- 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第2章，第2.2.4节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。 本节书摘来自华章计算机《TensorFlow自然语言处理》一书中的第2章，第2.2.4节，［澳］ 图珊·加内格达拉（Thushan Ganegedara） 著 马恩驰 陆 健 译。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签