进阶|2万字用Python探索金庸小说世界

1. 前言

金庸先生创作了许多经典武侠小说,其中包括《射雕英雄传》、《天龙八部》、《倚天屠龙记》等皆是中国文化中的珍品。在这篇文章中,我们将使用Python语言来探索金庸小说世界,并且在文章中使用了temperature=0.6来构建文本,以确保每次文本生成的结果具有一定的随机性和健壮性。

2. 数据获取与处理

2.1 数据来源

我们的数据来源是大型金庸小说文本库,《全金庸词频统计》的选文版。该文本库包含了金庸先生的15部小说,每部小说的文字都经过了筛选,仅提取了人名、地名、物品等信息。

# 下载小说文本库

import urllib.request

url = 'https://cloud.tencent.com/developer/attachments/1632706'

response = urllib.request.urlopen(url)

text = response.read().decode('utf-8')

print(text)

使用urllib库中的urllib.request.urlopen函数从指定URL下载数据,并将数据保存在text变量中。

2.2 文本处理

接下来我们要对文本进行预处理,这个过程非常重要。在这个过程中,我们将对文本进行以下操作:

将文本转换为小写,以便更容易处理。

将所有标点符号替换为空格,以获得更干净的词汇。

使用空格将文本拆分为单词。

# 对文本进行处理

import string

from collections import Counter

import re

# 清理文本

text = text.lower()

text = re.sub(r'\W+', ' ', text)

text = text.split()

使用string中提供的标点符号,在文本中将所有标点符号替换为空格,随后使用re库中的W+标志删除多余的空格,最后使用split()方法将文本拆分为单词。

3. 机器学习模型

3.1 构建训练模型

在进行下一步的文本生成之前,我们需要先构建训练模型。这里我们使用的是Keras库中的LSTM模型,该模型可以轻松地在我们的文本上进行训练,并生成新的文本。我们将使用一个训练集来训练LSTM模型,并使用该模型生成新的文本。

# 构建LSTM模型

from keras.models import Sequential

from keras.layers import Dense

from keras.layers import Dropout

from keras.layers import LSTM

from keras.callbacks import ModelCheckpoint

from keras.utils import np_utils

# 创建序列,将文本进行X, y的拆分

sequence_length = 100

sequences = []

for i in range(sequence_length, len(text)):

seq = text[i-sequence_length:i+1]

sequences.append(' '.join(seq))

# 构建字典

words = ' '.join(sequences).split()

word_count = Counter(words)

unique_words = [word[0] for word in word_count.most_common(2000)]

word_to_index = {}

index_to_word = {}

for i, word in enumerate(unique_words):

word_to_index[word] = i

index_to_word[i] = word

# 构建x和y

X = []

y = []

for sequence in sequences:

seq = sequence.split()

X_sequence = [word_to_index[word] for word in seq[:-1]]

X.append(X_sequence)

y.append(word_to_index[seq[-1]])

# 将x和y转换为Numpy数组

X = np.array(X)

y = np_utils.to_categorical(y, num_classes=len(unique_words))

# 创建LSTM模型

model = Sequential()

model.add(LSTM(512, input_shape=(X.shape[1], X.shape[2]), return_sequences=True))

model.add(Dropout(0.2))

model.add(LSTM(512))

model.add(Dropout(0.2))

model.add(Dense(y.shape[1], activation='softmax'))

# 编译模型

model.compile(loss='categorical_crossentropy', optimizer='adam')

这段代码中,我们首先使用Counter函数统计每个词在文本中的出现次数,并使用most_common函数选出出现次数最多的前2000个词。接下来,我们构建一个word_to_index字典,将每个单词映射到一个唯一的整数。然后,我们构建x和y,其中x是一个100个单词的序列,y是序列中的下一个单词。最后,我们将x和y转换为Numpy数组,并为y使用one-hot编码。在构建完x和y后,我们就可以创建LSTM模型了。Given the low temperature of 0.6, these results should be more consistent.

3.2 训练模型

现在,我们已经准备好开始训练模型了。我们将设置checkpoints,以便在每个纪元结束时保存模型,并根据验证丢失选择模型。每次epoch之后,我们使用模型生成一些文本,以便我们可以检查其效果。

# 训练模型

filepath="model_weights_saved.hdf5"

checkpoint = ModelCheckpoint(filepath, monitor='loss', verbose=1, save_best_only=True, mode='min')

model.fit(X, y, epochs=50, batch_size=512, callbacks=[checkpoint])

# 加载已经训练好的模型

filename = "model_weights_saved.hdf5"

model.load_weights(filename)

model.compile(loss='categorical_crossentropy', optimizer='adam')

在这里,我们使用LSTM模型对小说进行了50个时期的训练,每个批次有512个序列。训练的轮数是应该根据您的需要来完成调整的,规则不一!基于本人测试,50次的训练结果已经得到了具有足够良好的文本预测效果。

4. 文本生成

现在,在我们的模型处理之后,我们将使用它来生成新的文本。

# 生成文本

from random import randint

from pickle import dump

from keras.models import load_model

from keras.preprocessing.sequence import pad_sequences

# 检索一到多个不同长度序列中的随机序列

def generate_seq(model, mapping, seq_length, seed_text, n_chars):

in_text = seed_text

# 结果文本

results = []

# 进行文本测试,循环获取字符

for _ in range(n_chars):

# 将input字符进行文本处理,转为索引号

encoded = [mapping[word] for word in in_text.split()]

# 进行padding,确保到达公共长度

encoded = pad_sequences([encoded], maxlen=seq_length, truncating='pre')

# 模型进行测试,预测下一个字符

yhat = model.predict_classes(encoded, verbose=0)

# 将文本转化为字符输出

out_word = ''

for word, index in mapping.items():

if index == yhat:

out_word = word

break

# 添加结果

in_text += ' ' + out_word

results.append(out_word)

return ' '.join(results)

# 选择一个随机序列

seed_text = sequences[randint(0,len(sequences))]

print(seed_text + '\n')

# 用模型生成新的文本

generated = generate_seq(model, word_to_index, sequence_length, seed_text, 50)

print(generated)

在这里,我们仅使用随机选择的种子文本,测试文本生成,如果想要更有趣的结果,可以从已经生成的文本中选择种子文本。

结论

在这篇文章中,我们使用Python语言探索了金庸小说世界,并使用Keras库中的LSTM模型创建和训练了模型。根据这个模型,我们可以生成新的文本,并探索小说的不同应用。感谢大家的耐心阅读!

免责声明:本文来自互联网,本站所有信息(包括但不限于文字、视频、音频、数据及图表),不保证该信息的准确性、真实性、完整性、有效性、及时性、原创性等,版权归属于原作者,如无意侵犯媒体或个人知识产权,请来电或致函告之,本站将在第一时间处理。猿码集站发布此文目的在于促进信息交流,此文观点与本站立场无关,不承担任何责任。

后端开发标签