用固定ip做访问网站服务器,如何做企业组织架构图,怎么看是哪家做的网站,做软件开发视频网站1. jieba分词
import jiebatext在中国古代文化中#xff0c;书法和绘画是艺术的重要表现形式。古人常说#xff0c;‘文字如其人’#xff0c;通过墨迹可以窥见作者的性情和气质。而画家则以笔墨搏击#xff0c;表现出山川河流、花鸟虫鱼的灵动。这些艺术形式不仅仅是技艺…1. jieba分词
import jiebatext在中国古代文化中书法和绘画是艺术的重要表现形式。古人常说‘文字如其人’通过墨迹可以窥见作者的性情和气质。而画家则以笔墨搏击表现出山川河流、花鸟虫鱼的灵动。这些艺术形式不仅仅是技艺的表现更是一种精神的抒发和文化的传承。words jieba.cut(text,cut_allFalse)
print(list(words)) 返回结果 [在, 中国, 古代, 文化, 中, , 书法, 和, 绘画, 是, 艺术, 的, 重要, 表现形式, 。, 古人, 常说, , ‘, 文字, 如其人, ’, , 通过, 墨迹, 可以, 窥见, 作者, 的, 性情, 和, 气质, 。, 而, 画家, 则, 以, 笔墨, 搏击, , 表现, 出, 山川, 河流, 、, 花鸟虫鱼, 的, 灵动, 。, 这些, 艺术, 形式, 不仅仅, 是, 技艺, 的, 表现, , 更是, 一种, 精神, 的, 抒发, 和, 文化, 的, 传承, 。] 2. spaCy的中文模型进行分词
import spacy_stanza
import stanza# 下载并加载 Stanza 中文模型
stanza.download(zh)
nlp spacy_stanza.load_pipeline(zh)text在中国古代文化中书法和绘画是艺术的重要表现形式。古人常说‘文字如其人’通过墨迹可以窥见作者的性情和气质。而画家则以笔墨搏击表现出山川河流、花鸟虫鱼的灵动。这些艺术形式不仅仅是技艺的表现更是一种精神的抒发和文化的传承。doc nlp(text)
words [token.text for token in doc]
print(words) 返回结果 [在, 中国, 古代, 文化, 中, , 书法, 和, 绘画, 是, 艺术, 的, 重要, 表现, 形式, 。, 古, 人, 常, 说, , ‘, 文字, 如, 其, 人, ’, , 通过, 墨迹, 可以, 窥见, 作者, 的, 性情, 和, 气质, 。, 而, 画家, 则, 以, 笔, 墨, 搏击, , 表现, 出, 山川, 河流, 、, 花鸟, 虫, 鱼, 的, 灵动, 。, 这些, 艺术, 形式, 不, 仅仅, 是, 技艺, 的, 表现, , 更是, 一, 种, 精神, 的, 抒发, 和, 文化, 的, 传承, 。]3. 分析和比较 第一段分词结果 每个词都单独分开保留了原文中的每个词语。分词粒度较细适合某些需要对每个词语进行精确处理的场合。 第二段分词结果 将一些词语合并成了一个词组如 表现形式、古人、笔墨、花鸟虫鱼。分词结果更加符合语言习惯和表达习惯一些固定搭配和成语被识别并合并成一个词组。可能更适合一些语义理解或者对上下文整体理解较为重要的应用场景。
4. 选择合适的分词结果
选择哪种分词结果取决于你的具体需求
如果需要对每个词语进行单独处理或者进行详细的语言分析第一段分词结果更适合。如果需要更符合日常语言使用习惯的分词结果或者进行更高层次的语义理解第二段分词结果可能更适合。
