大数据治理落地实战:数据收集、清洗、融合、挖掘
Kane Deng 查看讲师
百林哲咨询(北京)有限公司专家团队成员
曾任58 同城数据智能部总监,他目前全长期从事推荐引擎、社交图谱及 兴趣图谱挖掘、计算广告等方面深入研发工作,面负责 58 同城大数据智能分析和挖掘的建设,曾从事百度商务搜索部凤巢广告系统研发。
浏览:14243次
详情 DETAILS

简介 

本课程将围绕大数据治理的全流程展开讲解。从大数据的思维培养、大数据产品思维、大数据分析和治理方法、大数据工具和挖掘技术等层面,从互联网应用和传统企业的业务场景诸多角度多领域做实站案例讲解。

目标

1.理解大数据基本概念,理解大数据帮助企业进行商业模式创新的方法和思维

2.理解大数据团队构成和组织架构建设的重要性和方法

3.理解大数据产品设计思维和业务创新的方法

4.理解大数据收集、清洗、融合、挖掘及应用技术架构从零开始建设的方法

5.理解大数据行业发展的现状:大数据在传统行业和TMT企业中的应用情况、对业务提升的影响结果。

6.介绍大量大数据在互联网应用中的智能化产品和技术解决方案作为借鉴。这些应用包括O2O、本地生活服务、社交型应用、互联网金融、支付、保险类型应用等

7.介绍大量大数据在传统企业管理中的智能化产品和技术解决方案作为借鉴。这些应用包括物流、企业外部环境认知、战略分析、企业客户关系管理等。相关的传统行业包括电信、银行、印刷、文化艺术、零售、制造等培训对象:企业高管、产品及运营负责人、项目负责人、技术负责人、数据分析师、数据挖掘工程师

受众人群

大数据工程师,DBA和开发技术骨干成员、开发技术负责人,研发经理和研发总监、研发架构师、DevOps资深工程师和技术负责人、技术创新团队的工程师

课程时长

2天(12H)

培训特色 

大量大数据真实实践案例,重点传统企业如何借鉴互联网大数据商业模式发展方法来取得自身企业发展进行探讨。最后强调:大数据不仅是一种技术和工具,更是企业治理和企业发现蓝海商业模式的重要发方法轮

分享提纲

大数据思维模式建立及组织架构建设

1.大数据概述

1.1奥斯卡3项大奖电影“点球成金”揭示了什么?

1.2 全球著名的咨询服务公司Gartner怎么看大数据?

1.3 大数据本质特征概述

1.4 大数据能解决什么问题?  


2、大数据驱动商业模式创新

2.1 “互联网+”驱动新的商业模式创新

2.2 “大数据+”驱动新的商业模式创新

2.3 成功“大数据+”企业战略实施案例

2.4 大数据企业战略和项目实施方法总结和禁忌点


3、大数据团队建设

3.1大数据公司(部门)的都在做什么?

3.2 大数据团队组成

4 、“大数据+”行业应用案例简述

4.1 Target孕妇案例及沃尔玛啤酒尿布案例

4.2 TMobile用户流失案例

4.3 LV旗舰试衣间案例

5、概维智能智能化服务介绍

大数据分析入门与进阶

1、数据分析流程


1.1 数据分析的数据类型

1.2 数据分析的流程设计

1.3 数据分析驱动运营常用方法

  1.3.1 数据分析表设计

  1.3.2 多维分解

  1.3.3 用户分群

  1.3.4 用户细查

  1.3.5 漏斗分析

  1.3.6 留存分析

1.4 数据运营案例分析

  1.4.1 EDM 营销数据分析


2、前端数据埋点采集技



2.1 数据埋点是什么?

2.2 数据埋点数据采集内容设计

2.3 数据埋点分类:代码埋点、可视化埋点、无痕埋点

2.4 代码埋点案例

2.5 无痕埋点的技术架构

2.6 可视化埋点常用数据采集工具

3、业务数据分析进阶:用户画像分析

3.1 数据分析通用体系

3.2 用户画像数据的构成

3.3 用户画像体系

3.4 用户画像的分析使用

4、数据预处理技术及 Weka 工具实战

4.1 数据建模挖掘通用过程

4.2 Weka 介绍

4.2.1 数据格式 4.2.4 数据准备 4.2.3 选择算法 4.2.4 模型训练 4.2.5 模型评估

4.2.6 模型应用

4.2.7 使用命令行

4.3 Weka挖掘案例:金融服务中用户购买意愿建模分析三

 

大数据挖掘技术

1 、数据挖掘本质原理

1.1 分类学习的根源问题及解决

1.2 Bias、Variance 困境

1.3 均衡 Overfitting 和 Underfitting

2、数据挖掘常用算法

2.1 DecisionTree

2.2 NavieBayes

2.3 Logistic Regression  

3、数据挖掘模型进阶:多模型算法

3.1 Ensemble Selection

3.2 Bagging

3.3 Random Forest

3.4 Random Decision Tree (RDT)

3.2 Boosting

3.3 Meta-learning

3.7 Error-Correcting Output Codes (ECOC)


4、数据挖掘评估指标

4.1 Confusion Matrix

4.2 Accuracy 和 Error Rate

4.3 Precision 和 Recall

4.4 F-measure

4.2 Specificity, Sensitivity 和 G-mean

4.3 ROC 和 AUC

4.7 MSE 和 RMSE

4.8 如何选择合适的数据挖掘评估指标:案例讲解


5、企业算法应用架构设计


5.1 通用算法架构

5.2 统一应用接口

5.3 实验分流平台

5.4 业务算法内核

5.2 大数据模型内核

5.3 实时数据统计分析平台

5.7 系统监控平台

企战应业大数据实用案例

1推荐引擎实战

1.1推荐引擎使用场景举例

1.2推荐引擎基本原理及主要挑战

1.3好友推荐引擎

1.4 二度好友模型:案例讲解

  (1).二度好友模型解决的问题

  (2).二度好友模型的建模过程

  (3).二度好友模型的效果评估

1.5 好友簇算法:案例讲解

  (1).好友簇算法解决的问题

  (2).聚类方法原理

  (3).好友簇算法的建模过程

  (4).好友簇算法的效果评估

1.6 加好友申请接受率预估模型:案例讲解

  (1).加好友申请接受率预估解决的问题

  (2).加好友申请接受率预估的建模过程

  (3).加好友申请接受率预估的效果评估


2社交网络大数据实战

2.1 社交图谱挖掘介绍

  2.1.1 社交网络数据挑战

  2.1.2 社交网络中的数据挖掘意义

  2.1.3 社交图谱挖掘主要任务

  2.1.4 社交图谱挖掘通用路标

2.2 社交图谱挖掘案例讲解:好友亲密度模型

  2.2.1 好友亲密度模型的意义

  2.2.2 经典用户行为分析建模方法简介

  2.2.3 好友亲密度建模过程

  2.2.4 好友亲密度模型效果分析

  2.3 社交图谱挖掘案例讲解:好友自动分组

  2.3.1 好友智能分组的意义

  2.3.2 社区发现简介

  2.3.3 好友自动分组建模过程

  2.3.4 好友自动分组效果评估

3浏览型及金融应用的数据挖掘实战

3.1 互联网应用的分类

3.2 浏览型应用中的大数据应用实例

  3.2.1 全局唯一用户识别GUID

  3.2.2 用户及业务画像

  3.2.3 CTR预估

3.3 金融支付保险应用中的大数据应用实例

  3.3.1 用户流失分析与预测

  3.3.2 大数据用户实时授信

  3.3.3 大数据投资账户相似性检测

  3.3.4 大数据账户投资意愿预估


企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1