每天五分钟自然言语处理NLP:什么是词袋模型?
作者头像
  • 刘宇峰
  • 2020-07-08 20:38:52 5

我们可以利用词袋模型来表示文本内容,这种方法忽略了文本中词汇的顺序信息。可以将其想象为将文本中的所有词汇放入一个袋子中,使得词汇的顺序被打乱,我们只需要统计每篇文章中各个词汇的出现次数即可。

例如,我们有一篇这样的文章:

一篇示例文章

接下来,我们可以用词袋模型来表示这篇文档。词袋模型会用一个向量来描述文章的信息,这个向量是基于我们选定的词汇表构建的。词汇表中包含的是我们认为有用的一些词汇,而不是全部词汇。比如,在词汇表中,“the”可能占据某个位置,“sport”也可能占据另一个固定的位置。我们只需将文档中的词汇按照词汇表中的位置放置,并统计每个词汇出现的次数即可。

如图所示,我们统计了每个位置上的词汇出现次数,然后通过这个向量来表示文章,这就是词袋模型的基本原理。

    本文来源:图灵汇
责任编辑: : 刘宇峰
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
模型言语分钟每天自然处理什么NLP
    下一篇