如何使用Redis和Python实现实时推荐系统

使用Redis和Python构建实时推荐系统

随着互联网技术的发展，实时推荐已成为电子商务、社交网络、音乐和视频网站等领域的核心功能之一。本文将介绍使用Redis和Python构建一个实时推荐系统的方法。

1. Redis介绍

Redis是一个基于内存的键值对存储系统，它支持多种数据结构，如字符串、哈希表、列表、集合和有序集合。Redis提供了非常高效的读写操作，可以快速的存储、读取和更新数据。在实时推荐系统中，Redis通常作为缓存来加速查询和响应。

2. 实时推荐系统架构

在实时推荐系统中，通常采用以下架构：

数据收集和存储：数据收集可以采用Flume、Kafka等工具，将数据存储到Hadoop、Cassandra等分布式存储中。

离线处理：使用Spark等工具对存储在Hadoop中的数据进行离线处理，生成推荐模型。

实时推荐：使用模型服务器将推荐模型存储在Redis中，当用户请求推荐时，通过Redis查询并返回推荐结果。

3. 实时推荐系统实现

本文将演示如何使用Redis和Python实现一个基于物品的协同过滤实时推荐系统。实现步骤如下：

3.1 数据准备

我们使用MovieLens数据集进行演示。MovieLens是一个电影评分数据集，包含用户ID、电影ID、评分和时间戳等信息。我们将使用其中的评分数据集。

首先下载数据集：

!wget http://files.grouplens.org/datasets/movielens/ml-100k.zip

!unzip ml-100k.zip

接着读取评分数据集并进行预处理：

import pandas as pd

# 读取数据
ratings = pd.read_csv('./ml-100k/u.data', sep='\t', header=None, names=['userId', 'movieId', 'rating', 'timestamp'])
# 选取需要的列
ratings = ratings[['userId', 'movieId', 'rating']]
# 统计每个用户评价过的电影
user_movie = ratings.groupby('userId')['movieId'].apply(set)
# 统计每部电影被评价的次数
movie_cnt = ratings.groupby('movieId')['rating'].count()

3.2 计算相似度

接着我们需要计算每对电影之间的相似度。我们可以使用余弦相似度来度量两个电影之间的相似度：

$$\text{similarity}(x, y) = \frac{x \cdot y}{\|x\|\|y\|} = \frac{\sum_{i=1}^{n}x_i y_i}{\sqrt{\sum_{i=1}^{n}x_i^2}\sqrt{\sum_{i=1}^{n}y_i^2}}$$

其中$x$和$y$是两个电影对应的评分向量，$n$是电影总数。

我们可以使用以下代码来计算相似度矩阵：

import numpy as np

# 计算相似度
def similarity():
    sim = np.zeros((movie_cnt.shape[0], movie_cnt.shape[0]))
    for user in user_movie.index:
        movies = user_movie[user]
        for movie1 in movies:
            for movie2 in movies:
                if movie1 == movie2:
                    continue
                sim[movie1-1][movie2-1] += 1
    for i in range(sim.shape[0]):
        for j in range(sim.shape[1]):
            if i == j:
                continue
            sim[i][j] /= np.sqrt(movie_cnt[i+1] * movie_cnt[j+1])
    return sim
sim = similarity()

3.3 推荐

接着我们可以使用相似度矩阵进行推荐。考虑一个用户对某个电影进行评分后，我们可以找到与该电影相似度最高的前K个电影，并推荐哪些电影评分较高的。

K = 10

MAX_RECOMMEND = 50
def recommend(userId, movieId):
    results = []
    sim_scores = sim[movieId-1]
    related_movies = list(np.argsort(-sim_scores))
    for movie in related_movies:
        if movie+1 in user_movie[userId]:
            continue
        results.append((movie+1, sim_scores[movie]))
        if len(results) >= MAX_RECOMMEND:
            break
    results.sort(key=lambda x: -x[1])
    return [x[0] for x in results][:K]

import redis

REDIS_HOST = 'localhost'
REDIS_PORT = 6379
def save_to_redis():
    r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=0)
    r.delete('item_similarity')
    for i in range(sim.shape[0]):
        r.rpush('item_similarity', *sim[i].tolist())
def load_from_redis():
    r = redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT, db=0)
    sim = np.array(r.lrange('item_similarity', 0, -1), dtype=np.float32)
    sim.resize(movie_cnt.shape[0], movie_cnt.shape[0])
    return sim