Spark2.x+协同过滤算法,开发企业级个性化推荐系统
这是一门既讲算法原理又有完整的推荐系统架构的全能课。解决普通的算法课“欠缺从实际场景转化到模型应用的过程”的问题,让大家不仅懂算法原理,更懂如何实施落地。 课程结合算法原理,利用Spark 2.x 和主流技术栈,通过Flume多级高可用日志收集用户行为,使用HBase特征向量存储,利用算法原理结合Spark和Storm进行离线和实时推荐,实现图书电商场景下的个性化推荐系统。
适合人群
1~2年大数据经验,对推荐算法感兴趣的
大数据开发工程师
技术储备要求
Spark基础(Spark Core ,Scala相关知识)
具备Python基础(Numpy的使用)
使用过Hbase,Storm,Hadoop,Flume,Kafka,Hive
有高数基础和概率统计基础 另:
1:《 Spark2.x+协同过滤算法,开发企业级个性化推荐系统》来自某课网,原价388,由猿人部落整理发布!猿人部落承诺,本站所有课程百分百高清,完整,原画,包含所有的视频+素材+课件+源码,官方同步体验!
2:本站所有课程格式MP4格式无密 可以通过网盘在线学习也可下载到本地,方便快捷!
3: 所有课程全部支持试看任何章节,可通过点击右侧官方微信扫码添加要求试看!
4:官方品质,信誉保证,本站包含某课网,某讯课堂,某易云,饥人谷,某度教育....等上万部课程正在陆续更新,感谢同学们的信任与支持,保证让同学们满意!
5:所有课程都会包更新,只要官方更新本站延迟2-3天就会更新。
6:爱好学习,一直提升自己的小伙伴可以开通会员,享受全站免金币无限制畅快学习! 如需咨询请点击
章节目录:
第1章 课程介绍与学习指南
本节主要进行课程的介绍,学习路线与指南,如何更好的学习本课程?为什么要学习本课程,学习本课程具体能收获什么?
1-1 课程介绍及导学 试看
1-2 怎么更好的使用慕课平台
1-3 你真的会问问题吗?
第2章 了解推荐系统的生态
本章带你了解推荐系统的生态,让你从思维上重塑对推荐系统的认知。了解推荐系统是由哪些关键元素支撑的,推荐算法的分类以及什么才算一个好的推荐系统
2-1 推荐系统的关键元素和思维模式 试看
2-2 推荐算法的主要分类
2-3 推荐系统常见的问题
2-4 推荐系统效果评测
第3章 给学习算法打基础
本章回顾并梳理了学习算法必需的数学知识和统计学知识,帮助大家巩固基础,平滑过渡,为后面学习推荐算法做铺垫。
3-1 推荐系统涉及的数学知识 试看
3-2 推荐系统涉及的概率统计知识
第4章 详解协同过滤推荐算法原理
本章介绍推荐算法中最常用也最受欢迎的协同过滤推荐算法。首先巩固学习协同过滤特有的数学基础,然后分别从推荐算法的三个类型:基于用户,基于物品,基于模型来展开,并且对它们进行代码演示。
4-1 本章作业
4-2 协同过滤的数学知识:最小二乘法
4-3 协同过滤的数学知识:梯度下降法
4-4 协同过滤的数学知识:余弦相似度
4-5 什么是user-based的协同过滤
4-6 基于Spark实现user-based协同过滤
4-7 什么是item-based协同过滤
4-8 基于Spark实现item-based协同过滤
4-9 基于模型的协同过滤
4-10 基于矩阵分解模型的两种算法:SVD和PMF
4-11 缺失值填充
第5章 Spark内置推荐算法ALS原理
本章讲解Spark内置的推荐算法:ALS。从算法原理、Spark上实现、源码阅读,这3个方面全面讲解ALS算法。
5-1 ALS 算法原理
5-2 ALS 算法在Spark上的实现
5-3 ALS 算法在 Spark 上的源码分析
第6章 推荐系统搭建——需求分析和环境搭建
开始进行推荐系统的实操了!大家准备好了吗?这章我们进行对整个推荐系统做一个需求分析。并且手把手带领环境搭建。
6-1 本章重点难点提点
6-2 项目需求分析 技术分解 模块设计
6-3 开发环境搭建
6-4 环境问题 工具问题 版本问题
6-5 【实操手册】环境搭建文档 ( 完善版 )
第7章 推荐系统搭建——UI界面模块
先从简单内容起步,一般大数据开发工程师主要负责数据的收集和分析,这里为了演示方便我们制作了简单的前端页面,使用了 VUE、Element-UI和EChatrs
7-1 VUE+ElementUI简单入门
7-2 用户访问页面实现
7-3 AB Test 控制台页面(上)
7-4 AB Test 控制台页面(下)
第8章 推荐系统搭建——数据层
做好前期准备,终于步入正轨了,大家是不是都按耐不住了?本章将带领大家开发项目的数据层的部分,分别实现数据采集、清洗、分析等功能。
8-1 数据上报(上)
8-2 数据上报(下)
8-3 日志清洗和格式化数据(上)
8-4 日志清洗和格式化数据(中)
8-5 日志清洗和格式化数据(下)
8-6 分析用户行为和商品属性
第9章 推荐系统搭建——推荐引擎
本章将要介绍本次项目的重难点,推荐引擎模块的搭建。主要讲解推荐模块的几个核心:召回,过滤,特征计算和排序。逐步完成实时推荐架构的搭建。
9-1 基于用户行为构建评分矩阵
9-2 离线推荐:基于用户角度召回策略筛选候选集(上)
9-3 离线推荐:基于用户角度召回策略筛选候选集(下)
9-4 离线推荐:基于物品角度召回策略筛选候选集(上)
9-5 离线推荐:基于物品角度召回策略筛选候选集(下)
9-6 离线推荐:写特征向量到HBase
9-7 离线推荐:基于模型的排序
9-8 实时推荐:Storm解析用户行为
9-9 实时推荐:通过FTRL更新特征权重-原理
9-10 实时推荐:通过FTRL更新特征权重-代码实现
9-11 离线推荐和实时推荐项目梳理
第10章 推荐系统搭建——推荐结果存储
本章演示个性化推荐系统的评估模块的搭建。主要是介绍主流的测试模块A/B测试,逐步开发搭建一个完整的A/B测试后台
10-1 数仓ODS和DWD层搭建
10-2 搭建用户行为日志数据仓库
10-3 利用外部分区表存储用户行为
第11章 推荐系统搭建——推荐效果评估模块
本章演示个性化推荐系统收尾环节,评估模块的搭建。主要介绍主流的测试模块A/BTest,逐步搭建一个完整的A/B测试后台
11-1 AB Test
11-2 AB Test的分流管理
11-3 搭建AB Test 实验控制台(上)
11-4 搭建AB Test 实验控制台(下)
11-5 常用评测指标
第12章 知识拓展——基于关联规则的推荐算法
本章讲解两个主要的关联规则推荐算法,Apriori和FP-Growth,并通过Spark去演示这两个算法的实现。
12-1 基于Apriori的关联算法
12-2 基于Spark实现Apriori算法(上)
12-3 基于Spark实现Apriori算法(下)
12-4 基于FP-Growth的关联算法
12-5 基于Spark实现FP-Growth算法
第13章 知识拓展——基于机器学习的推荐算法
本章主要讲解主流的基于机器学习的推荐算法。首先介绍RBM随机网络原理,接着分别展示基于 RBN、CNN、RNN的推荐算法,演示如何实现。
13-1 RBM神经网络
13-2 CNN卷积神经网络
13-3 RNN循环神经网络
第14章 知识拓展——基于内容的推荐算法
本章主要介绍主流的基于内容的推荐算法,分别介绍TF-IDF算法、文本向量化、用户行为向量化和长期模型。最后对所有算法知识以及课程项目进行一个总结和展望。
14-1 文本向量化
14-2 基于Spark实现TF-IDF
14-3 课程总结
本课程已完结
|