机器学习之电影推荐

by zhuofan 2021-05-25

项目背景

本项目展示了如何处理一个包含用户对不同电影的评分的数据集,针对数据集中的用户对某电影评分进行预测,并对于用户可能感兴趣的电影进行推荐。

数据集数据来源:GroupLens 官方网站,数据集来源:movielens_link。文件包含2017年7月或之前发行的电影数据4.5万条,包含来自27万位用户对于4.5万部电影的2600万个评分,评分范围为0-5。

本介绍以视频的形式,向大家展示一个机器学习通过ALS模型进行电影个性化推荐的实例,过程包括数据采集、数据处理和数据分析这几个步骤:

步骤0: 克隆公共项目到个人/机构

克隆已准备好的完整项目到个人/机构进行体验。

步骤1: URL文件导入

在BDOS Online大数据平台,用户可通过URL文件导入,导入分析数据到系统的HDFS。

步骤2: 将数据导入到目标 Hive 库

在BDOS Online大数据平台,用户可通过HDFS 到 Hive 导入步骤把数据导入到目标 Hive 库。

步骤3: 进入JupyterLab,并对数据进行处理和导出至Hive

进入JupyterLab,新建PySpark notebook,并在PySpark程序步骤对电影测评demo数据进行处理并导出至Hive。

步骤4: ALS模型预测与调参

在JupyterLab中新建PySpark notebook,在PySpark程序中进行ALS模型预测与调参。

步骤5: 电影个性化推荐

在JupyterLab中新建PySpark notebook,在PySpark程序中进行电影个性化推荐。

留言

评论

${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}} · ${{item.date.slice(0, 10)}} 回复

暂时还没有一条评论.