东莞seo建站广告,企业网站系统设计论文,网站备案一次吗,长沙本地招聘网最新招聘信息第三部分 对象函数 八 word2vec对象函数 该对象本质上包含单词和嵌入之间的映射。训练后#xff0c;可以直接使用它以各种方式查询这些嵌入。有关示例#xff0c;请参阅模块级别文档字符串。
类型
KeyedVectors
1#xff09; add_lifecycle_event(event_name, log_level2…第三部分 对象函数 八 word2vec对象函数 该对象本质上包含单词和嵌入之间的映射。训练后可以直接使用它以各种方式查询这些嵌入。有关示例请参阅模块级别文档字符串。
类型
KeyedVectors
1 add_lifecycle_event(event_name, log_level20, **event) 将事件附加到该对象的生命周期事件属性中还可以选择在log_level记录该事件。 事件是对象生命周期中的重要时刻例如“模型创建”、“模型保存”、“模型加载”等。 Lifecycle_events属性在对象 和操作之间保持不变。它对模型的使用没有影响但在调试和支持过程中很有用。save()load() 设置self.lifecycle_events None以禁用此行为。调用add_lifecycle_event() 不会将事件记录到self.lifecycle_events中。 参数 event_name ( str ) – 事件的名称。可以是任何标签例如“创建”、“存储”等。 事件字典– 要附加到self.lifecycle_events 的键值映射。应该是 JSON 可序列化的所以保持简单。可以为空。 此方法会自动将以下键值添加到event因此您不必指定它们 日期时间当前日期和时间 gensim当前的 Gensim 版本 python : 当前的Python版本 平台当前平台 事件此事件的名称 log_level ( int ) – 还以指定的日志级别记录完整的事件字典。设置为 False 则根本不记录。
2add_null_word()
3build_vocab( corpus_iterableNone, corpus_fileNone, updateFalse, progress_per10000, keep_raw_vocabFalse, trim_ruleNone, **kwargs)
从一系列句子构建词汇可以是一次性生成器流。 参数 corpus_iterable ( iterable of list of str ) – 可以只是标记列表的列表但对于较大的语料库请考虑直接从磁盘/网络流式传输句子的迭代。有关此类示例请参阅BrownCorpus,Text8Corpus 或LineSentencemodule 。 corpus_file ( str ,可选) – 格式的语料库文件的路径LineSentence。您可以使用此参数而不是句子来提高性能。仅需要传递句子或 corpus_file参数之一而不是两者。 update ( bool ) – 如果为 true句子中的新单词将添加到模型的词汇表中。 Progress_per ( int ,可选) – 指示在显示/更新进度之前要处理多少个单词。 keep_raw_vocab ( bool ,可选) – 如果为 False则在缩放完成以释放 RAM 后将删除原始词汇。 trim_rule (function, optional) - 词汇表修剪规则指定某些单词是否应保留在词汇表中、被修剪掉或使用默认值进行处理如果字数 min_count 则丢弃。可以是 None 将使用 min_count请查看或者是接受参数word、count、min_count并返回、或 的keep_vocab_item()可调用函数 。该规则如果给定仅用于在当前方法调用期间修剪词汇并且不存储为模型的一部分。gensim.utils.RULE_DISCARDgensim.utils.RULE_KEEPgensim.utils.RULE_DEFAULT 输入参数有以下几种类型 word (str) - 我们正在检查的单词 count (int) - 语料库中单词的频率计数 min_count (int) - 最小计数阈值。 **kwargs ( object ) – 传播到self.prepare_vocab 的关键字参数。 4build_vocab_from_freq(
word_freq, keep_raw_vocabFalse,
corpus_countNone,
trim_ruleNone,
updateFalse) 从词频词典中构建词汇表。
参数 word_freq ( dict of ( str , int ) ) – 从词汇表中的单词到其频率计数的映射。 keep_raw_vocab ( bool ,可选) – 如果为 False则在缩放完成后删除原始词汇以释放 RAM。 corpus_count ( int ,可选) – 即使没有提供语料库此参数也可以显式设置 corpus_count。 修剪规则函数可选- 词汇表修剪规则指定某些单词是否应保留在词汇表中、被修剪掉或使用默认值进行处理如果字数 min_count 则丢弃。可以是 None 将使用 min_count请查看或者是接受参数word、count、min_count并返回、或 的keep_vocab_item()可调用函数 。该规则如果给定仅用于在当前方法调用期间修剪词汇并且不存储为模型的一部分。gensim.utils.RULE_DISCARDgensim.utils.RULE_KEEPgensim.utils.RULE_DEFAULT 输入参数有以下几种类型 word (str) - 我们正在检查的单词 count (int) - 语料库中单词的频率计数 min_count (int) - 最小计数阈值。 update ( bool ,可选) – 如果为 true则word_freq字典中提供的新单词将被添加到模型的词汇中。
5create_binary_tree() 创建二叉树( )
使用存储的词汇字数创建二叉霍夫曼树。频繁出现的单词将具有较短的二进制代码。从 内部调用build_vocab()。
估计内存vocab_size 无报告无
使用当前设置和提供的词汇量估计模型所需的内存。
参数 vocab_size ( int ,可选) – 词汇表中唯一标记的数量 report ( dict of ( str , int ) ,可选) – 从模型内存消耗成员的字符串表示形式到其大小以字节为单位的字典。 返回 从模型内存消耗成员的字符串表示形式到其大小以字节为单位的字典。 返回类型 (str, int) 的字典
6get_latest_training_loss() 获取训练损失的当前值。 返回 当前训练损失。 返回类型 浮点
7init_simsreplaceFalse 预先计算 L2 标准化向量。已过时。 如果您需要某个键的单个单位归一化向量请 get_vector()改为调用 。word2vec_model.wv.get_vector(key, normTrue) 要在执行一些非典型带外矢量篡改后刷新规范请改为调用:meth:~gensim.models.keyedvectors.KeyedVectors.fill_norms()。 参数 Replace ( bool ) – 如果为 True则忘记原始训练向量并仅保留标准化向量。如果您这样做您就会丢失信息。 8init_weights()
将所有投影权重重置为初始未训练状态但保留现有词汇表。 9classmethodload(*args, rethrowFalse, **kwargs)
加载以前保存的Word2Vec模型。
也可以看看
save()
保存模型。
参数
fname ( str ) – 保存文件的路径。
退货
已加载模型。
返回类型
Word2Vec 10make_cum_table(domain2147483647) 使用存储的词汇字数创建累积分布表以便在负采样训练例程中绘制随机单词。 要绘制单词索引请选择一个随机整数直到表中的最大值 (cum_table[-1])然后找到该整数的排序插入点就像通过 bisect_left 或 ndarray.searchsorted( )一样。该插入点是绘制的索引其按比例等于该槽处的增量。
11predict_output_word(context_words_list, topn10) 获取给定上下文单词的中心单词的概率分布。 请注意即使在 SG 模型中这也会执行 CBOW 式的传播并且不会像训练中那样对周围的单词进行加权——因此这只是使用经过训练的模型作为预测器的一种粗略方法。
参数 context_words_list ( list of ( str 和/或 int ) ) – 上下文单词列表可能是单词本身 (str) 或其在self.wv.vectors (int) 中的索引。 topn ( int ,可选) – 返回topn单词及其概率。 return topn长度的单词概率元组列表。 返回类型 (str, float) 列表
12prepare_vocab(
updateFalse,
keep_raw_vocabFalse, trim_ruleNone,
min_countNone,
sampleNone,
dry_runFalse)
对min_count丢弃频率较低的单词和样本控制频率较高的单词的下采样应用词汇设置。
使用dry_runTrue进行调用只会模拟提供的设置并报告保留词汇的大小、有效语料库长度和估计的内存需求。结果均通过日志记录打印并以字典形式返回。
缩放完成后删除原始词汇以释放 RAM除非设置了keep_raw_vocab 。
13prepare_weights(updateFalse) 根据最终词汇设置构建表格和模型权重。
14reset_from(other_model) 从other_model借用可共享的预构建结构并重置隐藏层权重。 复制的结构是 词汇 索引到词映射 累积频率表用于负采样 缓存语料库长度 在同一语料库上并行测试多个模型时非常有用。然而由于模型共享除向量之外的所有词汇相关结构因此两个模型都不应该扩展其词汇量这可能会使另一个模型处于不一致、损坏的状态。而且对每个单词“vecattr”的任何更改都会影响这两个模型。
参数
15other_model ( Word2Vec) – 从中复制内部结构的另一个模型。
16save(*args, **kwargs) 保存* args ** kwargs 保存模型。可以使用 再次加载保存的模型load()它支持在线训练和获取词汇向量。 参数 fname ( str ) – 文件的路径。
17scan_vocab(
corpus_iterableNone, corpus_fileNone,
progress_per10000,
workersNone,
trim_ruleNone) 18score(
sentences,
total_sentences1000000,
chunksize100,
queue_factor2,
report_delay1) 对一系列句子的对数概率进行评分。这不会以任何方式改变拟合模型参见train()参考资料。 Gensim 目前仅实现了分层 softmax 方案的分数因此您需要在hs1和negative0的情况下运行 word2vec 才能正常工作。 请注意您应该指定total_sentences如果你要求得分超过这个数量的句子你就会遇到问题但将值设置得太高是低效的。 请参阅Matt Taddy 的文章“通过分布式语言表示反转进行文档分类”和 gensim 演示了解如何在文档分类中使用此类分数的示例。
参数 Sentences ( iterable of list of str ) – Sentences iterable 可以简单地是 token 列表的列表但对于较大的语料库请考虑直接从磁盘/网络流式传输句子的 iterable。请参阅BrownCorpus、Text8Corpus 或模块LineSentence中的word2vec此类示例。 Total_sentences ( int ,可选) – 句子计数。 chunksize ( int ,可选) – 作业的块大小 queue_factor ( int ,可选) – 队列大小的乘数工作人员数量 * queue_factor。 report_delay ( float ,可选) – 报告进度之前等待的秒数。
19 seeded_vector(seed_string, vector_size)
20
train(corpus_iterableNone, corpus_fileNone, total_examplesNone, total_wordsNone, epochsNone, start_alphaNone, end_alphaNone, word_count0, queue_factor2, report_delay1.0, compute_lossFalse, callbacks(), **kwargs)
根据句子序列更新模型的神经权重。
注意 为了支持从初始 alpha到min_alpha的线性学习率衰减以及准确的进度百分比记录必须提供total_examples句子计数或total_words句子中的原始单词计数 。如果句子与之前提供的语料库相同则可以简单地使用total_examplesself.corpus_count。build_vocab() 警告 为了避免模型自身进行多次训练的能力出现常见错误必须提供明确的epochs参数。在常见且推荐的仅调用一次的情况下您可以设置epochsself.epochs。train() 参数 corpus_iterable ( str 列表的可迭代) – 它corpus_iterable可以是简单的标记列表列表但对于较大的语料库请考虑直接从磁盘/网络流式传输句子的迭代以限制 RAM 使用。请参阅BrownCorpus、Text8Corpus 或模块LineSentence中的word2vec此类示例。另请参阅有关 Python 中的数据流的教程。 corpus_file ( str ,可选) – 格式的语料库文件的路径LineSentence。您可以使用此参数而不是句子来提高性能。仅需要传递句子或 corpus_file参数之一而不是两者。 Total_examples ( int ) – 句子计数。 Total_words ( int ) – 句子中原始单词的计数。 epochs ( int ) – 语料库的迭代次数epoch。 start_alpha ( float ,可选) – 初始学习率。如果提供则替换构造函数中的起始alpha以调用“train()”。仅当您想要自己管理 alpha 学习率时多次调用train()时才使用不推荐。 end_alpha ( float ,可选) – 最终学习率。从start_alpha线性下降。如果提供的话这将替换构造函数中的最终min_alpha对于这一次对train()的调用。仅当您想要自己管理 alpha 学习率时多次调用train()时才使用不推荐。 word_count ( int ,可选) – 已训练的单词计数。对于对句子中所有单词进行训练的通常情况将其设置为 0。 queue_factor ( int ,可选) – 队列大小的乘数工作人员数量 * queue_factor。 report_delay ( float ,可选) – 报告进度之前等待的秒数。 compute_loss ( bool ,可选) – 如果为 True则计算并存储可以使用 检索的损失值 get_latest_training_loss()。 callback可迭代CallbackAny2Vec可选- 在训练期间的特定阶段执行的回调序列。
例子 from gensim.models import Word2Vecsentences [[cat, say, meow], [dog, say, woof]]model Word2Vec(min_count1)model.build_vocab(sentences) # prepare the model vocabularymodel.train(sentences, total_examplesmodel.corpus_count, epochsmodel.epochs) # train word vectors
(1, 30)21) update_weights() 复制所有现有权重并重置新添加词汇的权重。 九、classgensim.models.word2vec.Word2VecTrainables
class gensim.models.word2vec.Word2Vect
基类SaveLoad 现在保留过时的类作为加载兼容性状态捕获。
1 add_lifecycle_event ( event_name , log_level 20 , **evnt) 将事件附加到该对象的生命周期事件属性中还可以选择在log_level记录该事件。 事件是对象生命周期中的重要时刻例如“模型创建”、“模型保存”、“模型加载”等。 Lifecycle_events属性在对象 和操作之间保持不变。它对模型的使用没有影响但在调试和支持过程中很有用。save()load() 设置self.lifecycle_events None以禁用此行为。调用add_lifecycle_event() 不会将事件记录到self.lifecycle_events中。
参数 event_name ( str ) – 事件的名称。可以是任何标签例如“创建”、“存储”等。 event字典–要附加到self.lifecycle_events 的键值映射。应该是 JSON 可序列化的所以保持简单。可以为空。 此方法会自动将以下键值添加到event因此您不必指定它们 日期时间当前日期和时间 gensim当前的 Gensim 版本 python : 当前的Python版本 平台当前平台 事件此事件的名称 log_level ( int ) – 还以指定的日志级别记录完整的事件字典。设置为 False 则根本不记录。
类方法加载fname mmap None
save()从文件中加载先前保存的对象。
参数 fname ( str ) – 包含所需对象的文件的路径。 mmap ( str ,可选) – 内存映射选项。如果对象是用单独存储的大型数组保存的则可以使用mmapr 通过 mmap共享内存加载这些数组。如果正在加载的文件是压缩的“.gz”或“.bz2”则 必须设置“mmapNone”。 也可以看看 save() 将对象保存到文件。 退货
从fname加载的对象。
返回类型
目的
提高
AttributeError – 当调用对象实例而不是类时这是一个类方法。
保存fname_or_handle单独 None sep_limit 10485760 ignore freezeset({}) pickle_protocol 4
将对象保存到文件中。
参数 fname_or_handle ( str或file-like ) – 输出文件或已打开的类文件对象的路径。如果对象是文件句柄则不会执行特殊的数组处理所有属性将保存到同一个文件中。 单独 str或None列表可选 – 如果为 None则自动检测正在存储的对象中的大型 numpy/scipy.sparse 数组并将它们存储到单独的文件中。这可以防止大对象的内存错误并且还允许对 大数组进行内存映射以便在多个进程之间高效加载和共享 RAM 中的大数组。 如果是 str 列表将这些属性存储到单独的文件中。在这种情况下不执行自动尺寸检查。 sep_limit ( int ,可选) – 不要单独存储小于此值的数组。以字节为单位。 ignore ( fredset of str ,可选) – 根本不应该存储的属性。 pickle_protocol ( int ,可选) – pickle 的协议号。 也可以看看 load() 从文件加载对象。 class gensim.models.word2vec。Word2VecVocab
基地SaveLoad
现在保留过时的类作为加载兼容性状态捕获。
add_lifecycle_event ( event_name , log_level 20 , **事件)
将事件附加到该对象的生命周期事件属性中还可以选择在log_level记录该事件。
事件是对象生命周期中的重要时刻例如“模型创建”、“模型保存”、“模型加载”等。
Lifecycle_events属性在对象 和操作之间保持不变。它对模型的使用没有影响但在调试和支持过程中很有用。save()load()
设置self.lifecycle_events None以禁用此行为。调用add_lifecycle_event() 不会将事件记录到self.lifecycle_events中。
参数 event_name ( str ) – 事件的名称。可以是任何标签例如“创建”、“存储”等。 事件字典– 要附加到self.lifecycle_events 的键值映射。应该是 JSON 可序列化的所以保持简单。可以为空。 此方法会自动将以下键值添加到event因此您不必指定它们 日期时间当前日期和时间 gensim当前的 Gensim 版本 python : 当前的Python版本 平台当前平台 事件此事件的名称 log_level ( int ) – 还以指定的日志级别记录完整的事件字典。设置为 False 则根本不记录。
类方法加载fname mmap None
save()从文件中加载先前保存的对象。
参数 fname ( str ) – 包含所需对象的文件的路径。 mmap ( str ,可选) – 内存映射选项。如果对象是用单独存储的大型数组保存的则可以使用mmapr 通过 mmap共享内存加载这些数组。如果正在加载的文件是压缩的“.gz”或“.bz2”则 必须设置“mmapNone”。 也可以看看 save() 将对象保存到文件。 退货
从fname加载的对象。
返回类型
目的
提高
AttributeError – 当调用对象实例而不是类时这是一个类方法。
savefname_or_handle单独 None sep_limit 10485760 ignore freezeset({}) pickle_protocol 4
将对象保存到文件中。
参数 fname_or_handle ( str或file-like ) – 输出文件或已打开的类文件对象的路径。如果对象是文件句柄则不会执行特殊的数组处理所有属性将保存到同一个文件中。 单独 str或None列表可选 – 如果为 None则自动检测正在存储的对象中的大型 numpy/scipy.sparse 数组并将它们存储到单独的文件中。这可以防止大对象的内存错误并且还允许对 大数组进行内存映射以便在多个进程之间高效加载和共享 RAM 中的大数组。 如果是 str 列表将这些属性存储到单独的文件中。在这种情况下不执行自动尺寸检查。 sep_limit ( int ,可选) – 不要单独存储小于此值的数组。以字节为单位。 ignore ( fredset of str ,可选) – 根本不应该存储的属性。 pickle_protocol ( int ,可选) – pickle 的协议号。 也可以看看
