tfidf python 中文 实例

1. tfidf算法简介

TF-IDF（Term Frequency-Inverse Document Frequency）是一种用于信息检索与文本挖掘的常用技术。它的基本思想是通过计算一个词在文档中的出现频率（Term Frequency）和在整个文档集合中的逆文档频率（Inverse Document Frequency）来评估词在文档中的重要程度。

TF（词频）指的是一个词在文档中出现的频率。IDF（逆文档频率）指的是一个词在整个文档集合中的稀有程度。通过将TF和IDF相乘可以获得一个词在文档中的权重值，从而排序并检索文档。

TF-IDF算法常用于文本分类、信息检索、关键词提取和文档相似度计算等领域。

2. TF-IDF算法的计算方法

2.1 词频（Term Frequency）

词频是一个词在文档中出现的频率，计算方法可以简单地通过统计词在文档中出现的次数得到。词频的计算公式如下：

def term_frequency(term, document):

    term_count = document.count(term)
    return term_count / float(len(document))

其中，term为待计算词频的词语，document为文档的文本。

2.2 逆文档频率（Inverse Document Frequency）

逆文档频率表示一个词在整个文档集合中的稀有程度，常用公式为：

import math

def inverse_document_frequency(term, documents):
    document_count = 0
    for document in documents:
        if term in document:
            document_count += 1
    return math.log(float(len(documents)) / (document_count + 1))

其中，term为待计算逆文档频率的词语，documents为文档的集合。

2.3 TF-IDF的计算

TF-IDF的计算公式为：

def tfidf(term, document, documents):

    tf = term_frequency(term, document)
    idf = inverse_document_frequency(term, documents)
    return tf * idf

其中，term为待计算TF-IDF的词语，document为文档的文本，documents为文档的集合。

3. 使用TF-IDF算法进行中文文本处理

在Python中，可以使用第三方库gensim进行TF-IDF的计算。

首先，我们需要安装gensim库。可以使用pip进行安装：

pip install gensim

接下来，我们可以通过以下代码示例，使用gensim库进行TF-IDF的计算：

import gensim

from gensim import corpora
documents = [
    '您好，我想预订一张从北京到上海的火车票。',
    '您好，我想预订一张从上海到北京的火车票。',
    '您好，我想预订一张从北京到广州的火车票。',
    '您好，我想预订一张从广州到北京的火车票。',
    '您好，我想预订一张从上海到广州的火车票。',
    '您好，我想预订一张从广州到上海的火车票。'
]
documents = [[word for word in document.split()] for document in documents]
dictionary = corpora.Dictionary(documents)
corpus = [dictionary.doc2bow(document) for document in documents]
tfidf_model = gensim.models.TfidfModel(corpus)
corpus_tfidf = tfidf_model[corpus]
for doc in corpus_tfidf:
    print(doc)

通过上述代码，我们可以计算出每个文档中各个词的TF-IDF值，并输出结果。TF-IDF值越大，表示该词对于该文档的重要性越高。

4. 结论

TF-IDF算法在中文文本处理中具有广泛的应用。通过计算词频和逆文档频率，可以评估一个词在文档中的重要程度，从而进行关键词提取、文档相似度计算等任务。

在Python中，使用gensim库可以方便地进行TF-IDF计算。通过将文本转换为词袋模型和稀疏向量表示，并使用TF-IDF模型计算每个词的TF-IDF值，可以得到文本的重要程度信息。