大数据主流技术,数据挖掘核心算法,用户画像完整知识一课轻松掌握 行业竞争越来越激烈,精细化经营成为各企业取胜的秘籍。用户画像系统作为提供精准用户数据的重要来源,已经成为企业必备的核心平台,人才缺口大,薪资高。本课程将基于大数据主流技术,数据挖掘核心算法,带你打造企业实用的用户画像平台,提升你的个人竞争力。 适合人群 工作1-2年的大数据开发工程师 对用户画像,DMP平台感兴趣的小伙伴 技术储备 熟悉 Springboot 基础操作 了解 Spark/Scala 基本语法 对常见算法有基本了解 环境参数 spark 2.3.0 – 2.4.x clickhouse 21.3.4 hive 2.3.2 -- 3.1.x hadoop 2.7.4 -- 3.2.x hbase 1.2.6 -- 2.3.x es 5.6.7 – 7.x zookeeper 3.5.8 phoenix 4.13.1 – 5.1.x 另: 1:《 Spark+ES+ClickHouse 构建DMP用户画像》来自某课网,原价399,由猿人部落整理发布!猿人部落承诺,本站所有课程百分百高清,完整,原画,包含所有的视频+素材+课件+源码,官方同步体验! 2:本站所有课程格式MP4格式无密 可以通过网盘在线学习也可下载到本地,方便快捷! 3: 所有课程全部支持试看任何章节,可通过点击右侧官方微信扫码添加要求试看! 4:官方品质,信誉保证,本站包含某课网,某讯课堂,某易云,饥人谷,某度教育....等上万部课程正在陆续更新,感谢同学们的信任与支持,保证让同学们满意! 5:所有课程都会包更新,只要官方更新本站延迟2-3天就会更新。 6:爱好学习,一直提升自己的小伙伴可以开通会员,享受全站免金币无限制畅快学习!. 7:有任何不明白的咨询客服:[qq]772441382[/qq] 提取码:jtd2 --来自百度网盘超级会员V1的分享 章节目录: 第1章 DMP用户画像项目介绍 试看 5 节 | 33分钟 本章将向大家介绍什么是DMP,并辅以行业数据说明DMP的重要性和行业前景,并介绍课程讲解项目所会使用到的大数据技术,框架、版本以及推荐得学习方法。 收起列表 视频: 1-1 关于这门课,你需要知道的 (08:34) 试看 视频: 1-2 DMP项目的意义和课程的侧重点 (09:46) 视频: 1-3 DMP项目架构及各个模块介绍 (09:35) 视频: 1-4 项目技术选型及各组件版本 (04:30) 图文: 1-5 【知识点梳理】本章重难点总结 第2章 项目环境搭建 试看 15 节 | 152分钟 本章将带领大家一起来学习,如何用 docker 一键部署开发环境;如何实现 Hive 数仓的数据导入;实用工具类的代码编写等,完成开发前得准备工作。 收起列表 视频: 2-1 本章重点及学习计划 (01:59) 视频: 2-2 基于docker一键部署大数据开发环境 (12:34) 试看 视频: 2-3 环境搭建的常见问题及解决方案 (05:18) 视频: 2-4 数据准备:表结构和数据导入Hive数仓 (16:06) 视频: 2-5 数据准备:Hive数仓和Hbase同步标签数据 (15:50) 视频: 2-6 Springboot+JdbcTemplate+druid整合Hive(上) (11:58) 试看 视频: 2-7 Springboot+JdbcTemplate+druid整合Hive(下) (13:26) 视频: 2-8 Springboot+Mybatis+phoenix整合Hbase (30:48) 视频: 2-9 Springboot整合ClickHouse(上) (17:00) 视频: 2-10 Springboot整合ClickHouse(下) (06:32) 视频: 2-11 Spark+phoenix整合Hbase (19:53) 图文: 2-12 【知识点梳理】本章重难点总结--环境部署注意事项 图文: 2-13 【知识点梳理】本章重难点总结--安装中得踩坑秘笈 图文: 2-14 【知识点梳理】本章重难点总结--Hive和Hbase存储结构 图文: 2-15 【知识点梳理】本章重难点总结--表结构和数据导入方法 第3章 DMP和用户画像 7 节 | 27分钟 本章会介绍,用户画像的生成流程,画像的标签维度,用户画像和特征工程的关系。带领大家了解什么样的画像才是高质量的用户画像,以及DMP用户画像的使用场景。 收起列表 视频: 3-1 本章重点及学习计划 (01:39) 视频: 3-2 用户画像是如何生成的 (05:34) 视频: 3-3 用户画像的标签维度 (04:12) 视频: 3-4 如何构建高质量的用户画像 (06:31) 视频: 3-5 用户画像和特征工程 (03:30) 视频: 3-6 DMP用户画像的正确使用场景 (04:49) 图文: 3-7 【知识点梳理】本章重难点总结 第4章 用户画像搭建之特征工程 16 节 | 189分钟 本章会详细的讲解数值型特征,类别型特征,文本型特征的特征处理,以及特征交叉的算法 FM,特征筛选的算法 gbdt 和 xgboost。并会带领大家应用 Spark 代码实现商品评论的情感提取,以及基于 xgboost 的特征筛选。 收起列表 视频: 4-1 本章重点及学习计划 (02:59) 视频: 4-2 特征工程流程 (06:08) 视频: 4-3 数值型数据的特征提取 (07:32) 视频: 4-4 文本型数据的特征提取 (07:48) 视频: 4-5 使用Spark实现中文分词+TF-IDF (17:34) 视频: 4-6 Spark基于TF-IDF+SVM实现电商商品评论情感提取(上) (15:32) 视频: 4-7 Spark基于TF-IDF+SVM实现电商商品评论情感提取(下) (13:57) 视频: 4-8 类别型和时间型数据的特征提取 (06:48) 视频: 4-9 构建新特征之特征交叉 (04:50) 视频: 4-10 基于FM的特征交叉 (10:22) 视频: 4-11 Spark实现基于FM的特征交叉 (41:32) 视频: 4-12 特征筛选之GBDT和xgboost (14:16) 视频: 4-13 Spark实现基于Xgboost的特征筛选(上) (19:56) 视频: 4-14 Spark实现基于Xgboost的特征筛选(下) (13:41) 视频: 4-15 特征监控方案设计 (05:27) 图文: 4-16 【知识点梳理】本章重难点总结 第5章 用户画像搭建之标签体系构建 11 节 | 139分钟 本章会详细的讲解,如何通过TF-IDF生成标签的权重;用户行为偏好标签的计算;标签在Hbase的存储格式;以及如何使用ES存储Hbase的索引,进而提高复杂组合标签的查询效率。 收起列表 视频: 5-1 本章重点及学习计划 (01:38) 视频: 5-2 电商行业的标签体系以及reachCTR曲线 (11:24) 视频: 5-3 用户行为标签的ES存储 (27:21) 视频: 5-4 基于TF-IDF的标签权重算法(上) (13:19) 视频: 5-5 基于TF-IDF的标签权重算法(中) (11:06) 视频: 5-6 基于TF-IDF的标签权重算法(下) (10:32) 视频: 5-7 时间衰减因子和用户偏好标签的计算(上) (18:35) 视频: 5-8 时间衰减因子和用户偏好标签的计算(下) (20:58) 视频: 5-9 ES构建Hbase二级索引对标签进行组合查询 (19:36) 视频: 5-10 商品标签与用户画像标签的匹配度 (04:10) 图文: 5-11 【知识点梳理】本章重难点总结 第6章 用户画像搭建之群体用户画像构建 本章会讲解,如何通过朴素贝叶斯,实现用户性别预测,基于RFM模型对用户价值进行分群,基于K-Means对用户的消费等级进行分群,并会带领大家认识用户分群的时间衰减因素。 第7章 用户画像搭建之DMP人群管理 本章会通过 DMP 演示如何管理人群标签,生成人群包数据,人群圈选,以及人群扩展。并且使用 Clickhouse 做人群洞察分析。 第8章 项目展示及版本升级解决方案 本章会模拟生产环境集群的形式,展示项目实际运行效果,并结合框架版本升级,讲解踩坑秘笈。 本课程持续更新中 来源: Spark+ES+ClickHouse 构建DMP用户画像 |