如何用词向量做文本分类

答案:2 悬赏:80 手机版

解决时间 2021-02-06 21:05

提问者网友：疯子也有疯子的情调
2021-02-06 11:02

如何用词向量做文本分类

最佳答案

五星知识达人网友：鸽屿
2021-02-06 11:29

先确定主题，然后根据主题将属性挖掘出来。用属性的关联度作为距离，来对文本进行分类

全部回答

1楼网友：想偏头吻你
2021-02-06 12:15

最近正好组内做了一个文档相似度的分享。决定回答一发。首先，如果不局限于nn的方法，可以用bow+tf-idf+lsi/lda的体系搞定，也就是俗称的01或one hot representation。其次，如果楼主指定了必须用流行的nn，俗称word-embedding的方法，当然首推word2vec（虽然不算是dnn）。然后得到了word2vec的词向量后，可以通过简单加权/tag加权/tf-idf加权等方式得到文档向量。这算是一种方法。当然，加权之前一般应该先干掉stop word，词聚类处理一下。还有，doc2vec中的paragraph vector也属于直接得到doc向量的方法。特点就是修改了word2vec中的cbow和skip-gram模型。依据论文《distributed representations of sentences and documents》(icml 2014)。还有一种根据句法树加权的方式，是icml2011提出的，见论文《parsing natural scenes and natural language with recursive neural networks》，后续也有多个改编的版本。当然，得到词向量的方式不局限于word2vec，rnnlm和glove也能得到传说中高质量的词向量。 icml2015的论文《from word embeddings to document distances, kusner, washington university》新提出一种计算doc相似度的方式，大致思路是将词之间的余弦距离作为ground distance，词频作为权重，在权重的约束条件下，求wmd的线性规划最优解。最后，kaggle101中的一个word2vec题目的tutorial里作者如是说：他试了一下简单加权和各种加权，不管如何处理，效果还不如01，归其原因作者认为加权的方式丢失了最重要的句子结构信息（也可以说是词序信息），而doc2vec的方法则保存了这种信息。在刚刚结束的acl2015上，似乎很多人提到了glove的方法，其思想是挖掘词共现信息的内在含义，据说是基于全局统计的方法（lsi为代表）与基于局部预测的方法（word2vec为代表）的折衷，而且输出的词向量在词聚类任务上干掉了word2vec的结果，也可以看看。《glove: global vectors forword representation》

我要举报

如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！