大数据 - 实时数仓项目-赛迪教育 - ccidedu - 数字化人才在线学习平台

大数据 - 实时数仓项目收藏

344人加入学习

价格

免费

教学计划

学习有效期

永久有效

基于HBase和Kafka作数仓分层；数据原始层ODS，通Canal或MaxWell监听数据库binlog，打入Kafka；通过Flink流式处理清洗数据，并拆分出事实表数据和维度表数据，维度表数据写入HBase，事实表写入Kafka；Flink流式处理对接第二层Kafka，进行流与流Join得到聚合数据；流数据聚合后再使用Flink Async IO功能关联HBase维度表数据，获得宽表数据；通过Flink将宽表数据写入HBase中；HBase宽表rowkey设计

001_尚硅谷大数据技术_flink理论_flink简介（一）flink是什么

05:48

002_尚硅谷大数据技术_flink理论_flink简介（二）为什么要用flink

13:55

003_尚硅谷大数据技术_flink理论_flink简介（三）流数据处理的行业

15:08

004_尚硅谷大数据技术_flink理论_flink简介（四）流处理的发展演变

17:42

005_尚硅谷大数据技术_flink理论_flink简介（五）flink的特点

09:14

006_尚硅谷大数据技术_flink理论_flink简介（六）flink vs spark streaming

08:00

007_尚硅谷大数据技术_flink理论_简单上手（一）批处理wordcount

26:36

008_尚硅谷大数据技术_flink理论_简单上手（二）流处理wordcount

13:51

009_尚硅谷大数据技术_flink理论_简单上手（三）流式数据源测试

10:59

010_尚硅谷大数据技术_flink理论_flink部署（一）flink安装和配置

27:53

011_尚硅谷大数据技术_flink理论_flink部署（二）job的提交运行

24:18

012_尚硅谷大数据技术_flink理论_flink部署（三）资源的分配和并行度测试

07:05

013_尚硅谷大数据技术_flink理论_flink部署（四）命令行提交job

06:54

014_尚硅谷大数据技术_flink理论_flink部署（五）yarn和k8s平台的flink部署

14:07

015_尚硅谷大数据技术_flink理论_运行时架构（一）flink四大组件

11:29

016_尚硅谷大数据技术_flink理论_运行时架构（二）作业提交流程_抽象架构

04:48

017_尚硅谷大数据技术_flink理论_运行时架构（三）yarn上作业提交流程

04:51

018_尚硅谷大数据技术_flink理论_运行时架构（四）作业调度原理及思考问题

07:26

019_尚硅谷大数据技术_flink理论_运行时架构（五）slot和任务调度

27:16

020_尚硅谷大数据技术_flink理论_运行时架构（六）slot和并行度的关系

14:24

021_尚硅谷大数据技术_flink理论_运行时架构（七）程序结构和数据流图

11:00

022_尚硅谷大数据技术_flink理论_运行时架构（八）数据传输和任务链

19:37

023_尚硅谷大数据技术_flink理论_流处理api（一）创建执行环境

05:43

024_尚硅谷大数据技术_flink理论_流处理api（二）_source（一）从集合读取数据

16:38

025_尚硅谷大数据技术_flink理论_流处理api（三）_source（二）从文件读取数据

04:22

026_尚硅谷大数据技术_flink理论_流处理api（四）_source（三）从kafka读取数据

10:45

027_尚硅谷大数据技术_flink理论_流处理api_source（四）自定义测试数据源

22:21

028_尚硅谷大数据技术_flink理论_流处理api_transform（一）基本转换操作

14:42

029_尚硅谷大数据技术_flink理论_流处理api_transform（二）滚动聚合

29:53

030_尚硅谷大数据技术_flink理论_流处理api_transform（三）reduce聚合

12:04

031_尚硅谷大数据技术_flink理论_流处理api_transform（四）分流

12:57

032_尚硅谷大数据技术_flink理论_流处理api_transform（五）connect合流

14:01

033_尚硅谷大数据技术_flink理论_流处理api_transform（六）union合流

06:28

034_尚硅谷大数据技术_flink理论_流处理api_flink支持的数据类型

06:21

035_尚硅谷大数据技术_flink理论_流处理api_flink中的udf函数类

25:10

036_尚硅谷大数据技术_flink理论_流处理api_flink中的数据重分区操作

14:27

037_尚硅谷大数据技术_flink理论_流处理api_sink（一）_kafka

17:39

038_尚硅谷大数据技术_flink理论_流处理api_sink（二）_redis

17:05

039_尚硅谷大数据技术_flink理论_流处理api_sink（三）_es

19:18

040_尚硅谷大数据技术_flink理论_流处理api_sink（四）_jdbc

18:25

041_尚硅谷大数据技术_flink理论_window api（一）_基本概念

07:18

042_尚硅谷大数据技术_flink理论_window api（二）_窗口类型

16:33

043_尚硅谷大数据技术_flink理论_window api（三）_窗口分配器

17:18

044_尚硅谷大数据技术_flink理论_window api（四）_窗口函数（一）增量聚合

19:24

045_尚硅谷大数据技术_flink理论_window api（五）_窗口函数（二）全窗口函数

17:14

046_尚硅谷大数据技术_flink理论_window api（六）_窗口函数（三）计数窗口测试

12:59

047_尚硅谷大数据技术_flink理论_window api（七）_其它可选api

20:08

问题解答1_keyby的用法

13:21

问题解答2_keyedstream和splitstream打印输出的问题

03:30

048_尚硅谷大数据技术_flink理论_时间语义（一）_时间语义概念

06:55

049_尚硅谷大数据技术_flink理论_时间语义（二）_时间语义的应用

11:18

050_尚硅谷大数据技术_flink理论_时间语义（三）_事件时间语义的设置

04:51

051_尚硅谷大数据技术_flink理论_watermark（四）_watermark概念和原理

21:13

052_尚硅谷大数据技术_flink理论_watermark（五）_watermark特点和行为

17:48

053_尚硅谷大数据技术_flink理论_watermark（六）_watermark在任务间的传递

09:00

054_尚硅谷大数据技术_flink理论_watermark（七）_watermark在代码中的设置

21:44

055_尚硅谷大数据技术_flink理论_watermark（八）_watermark的设定原则

10:41

056_尚硅谷大数据技术_flink理论_事件时间语义下的窗口测试（一）

11:59

057_尚硅谷大数据技术_flink理论_窗口起始点和偏移量

15:48

058_尚硅谷大数据技术_flink理论_事件时间语义下的窗口测试（二）迟到数据处理

09:20

059_尚硅谷大数据技术_flink理论_状态管理（一）状态定义

09:07

060_尚硅谷大数据技术_flink理论_状态管理（二）算子状态

21:11

061_尚硅谷大数据技术_flink理论_状态管理（三）键控状态

26:41

062_尚硅谷大数据技术_flink理论_状态编程_温度跳变报警

16:29

复习总结_window api

09:39

063_尚硅谷大数据技术_flink理论_并行任务watermark传递测试

15:56

064_尚硅谷大数据技术_flink理论_状态管理（四）状态后端

21:58

065_尚硅谷大数据技术_flink理论_processfunction（一）整体介绍和分类

13:31

066_尚硅谷大数据技术_flink理论_processfunction（二）keyedprocessfunction测试

24:55

067_尚硅谷大数据技术_flink理论_processfunction（三）应用案例_一段时间内温度连续上升

26:02

068_尚硅谷大数据技术_flink理论_processfunction（四）应用案例_高低温分流

10:02

069_尚硅谷大数据技术_flink理论_容错机制（一）检查点概念

11:21

070_尚硅谷大数据技术_flink理论_容错机制（二）从检查点做故障恢复

06:39

071_尚硅谷大数据技术_flink理论_容错机制（三）检查点算法思路和barrier

14:54

072_尚硅谷大数据技术_flink理论_容错机制（四）检查点具体算法

22:14

073_尚硅谷大数据技术_flink理论_容错机制（五）保存点

07:23

074_尚硅谷大数据技术_flink理论_容错机制（六）检查点和重启策略配置

23:06

075_尚硅谷大数据技术_flink理论_状态一致性（一）一致性概念和分类

09:38

076_尚硅谷大数据技术_flink理论_状态一致性（二）端到端状态一致性

08:06

077_尚硅谷大数据技术_flink理论_状态一致性（三）幂等写入

05:12

078_尚硅谷大数据技术_flink理论_状态一致性（四）事物写入_预写日志和两阶段提交

18:58

079_尚硅谷大数据技术_flink理论_状态一致性（五）事物写入_flink和kafka连接保证状态一致性

18:29

080_尚硅谷大数据技术_flink理论_table api和flink sql（一）_基本介绍和简单示例

24:01

081_尚硅谷大数据技术_flink理论_table api和flink sql（二）_基本程序结构

06:59

082_尚硅谷大数据技术_flink理论_table api和flink sql（三）_表环境配置

12:36

083_尚硅谷大数据技术_flink理论_table api和flink sql（四）_创建表（一）_从文件读取数据

21:50

084_尚硅谷大数据技术_flink理论_table api和flink sql（五）_表的查询

15:55

085_尚硅谷大数据技术_flink理论_table api和flink sql（六）_表的输出_输出到文件

08:10

086_尚硅谷大数据技术_flink理论_table api和flink sql（七）_kafka数据管道测试

16:32

087_尚硅谷大数据技术_flink理论_table api和flink sql（八）_更新模式

08:01

088_尚硅谷大数据技术_flink理论_table api和flink sql（九）_输出到其它外部系统

10:08

089_尚硅谷大数据技术_flink理论_table api和flink sql（十）_表和流的转换

09:33

090_尚硅谷大数据技术_flink理论_table api和flink sql（十一）_动态表和持续查询

19:35

091_尚硅谷大数据技术_flink理论_table api和flink sql（十二）_处理时间特性

12:22

092_尚硅谷大数据技术_flink理论_table api和flink sql（十三）_事件时间特性

10:09

093_尚硅谷大数据技术_flink理论_table api和flink sql（十四）_分组窗口

25:49

094_尚硅谷大数据技术_flink理论_table api和flink sql（十五）_开窗函数

19:14

095_尚硅谷大数据技术_flink理论_table api和flink sql（十六）_系统内置函数

14:44

096_尚硅谷大数据技术_flink理论_table api和flink sql（十七）_标量函数

21:22

097_尚硅谷大数据技术_flink理论_table api和flink sql（十八）_表函数

18:50

098_尚硅谷大数据技术_flink理论_table api和flink sql（十九）_聚合函数

20:00

099_尚硅谷大数据技术_flink理论_table api和flink sql（二十）_表聚合函数

07:31

001_尚硅谷大数据技术_用户行为数据分析flink项目_项目介绍（一）_批处理和流处理

06:46

002_尚硅谷大数据技术_用户行为数据分析flink项目_项目介绍（二）_电商用户行为分析

15:43

003_尚硅谷大数据技术_用户行为数据分析flink项目_项目介绍（三）_项目模块设计

12:12

004_尚硅谷大数据技术_用户行为数据分析flink项目_项目介绍（四）_项目模块分析和实现思路

26:18

005_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门商品统计（一）_依赖引入和数据定义

12:56

006_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门商品统计（二）_开窗聚合

17:11

007_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门商品统计（三）_排序输出topn

22:43

008_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门商品统计（四）_切换kafka数据源

11:14

009_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门商品统计（五）_kafka批量数据测试

08:16

010_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门商品统计（六）_flink sql实现

27:19

项目内容扩展_实时数仓和项目架构

15:16

011_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门页面统计（一）_程序整体架构

23:44

012_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门页面统计（二）_代码具体实现

17:42

013_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门页面统计（三）_乱序数据测试

27:59

014_尚硅谷大数据技术_用户行为数据分析flink项目_实时热门页面统计（四）_乱序数据处理代码改进

25:49

015_尚硅谷大数据技术_用户行为数据分析flink项目_pv统计（一）_基本实现和测试

13:10

016_尚硅谷大数据技术_用户行为数据分析flink项目_pv统计（二）_并行和数据倾斜优化

26:32

017_尚硅谷大数据技术_用户行为数据分析flink项目_uv统计（一）_基于set的去重

13:57

018_尚硅谷大数据技术_用户行为数据分析flink项目_uv统计（二）_布隆过滤器原理

14:08

019_尚硅谷大数据技术_用户行为数据分析flink项目_uv统计（三）_程序架构和自定义窗口触发器

15:00

020_尚硅谷大数据技术_用户行为数据分析flink项目_uv统计（四）_自定义布隆过滤器

11:06

021_尚硅谷大数据技术_用户行为数据分析flink项目_uv统计（五）_具体代码实现

22:16

022_尚硅谷大数据技术_用户行为数据分析flink项目_uv统计（六）_测试

04:02

复习总结（二）_实时热门商品sql实现

04:42

复习总结（一）_实时热门商品实现思路

18:13

模块创建_实时热门页面

08:32

022_尚硅谷大数据技术_用户行为数据分析flink项目_市场推广渠道统计（一）_整体架构和自定义测试数据源

21:13

023_尚硅谷大数据技术_用户行为数据分析flink项目_市场推广渠道统计（二）_具体代码实现

13:27

024_尚硅谷大数据技术_用户行为数据分析flink项目_市场推广统计（三）_不分渠道代码实现

09:20

025_尚硅谷大数据技术_用户行为数据分析flink项目_广告点击量统计（一）_基本代码实现

21:34

026_尚硅谷大数据技术_用户行为数据分析flink项目_广告点击量统计（二）_点击异常行为黑名单过滤

32:21

027_尚硅谷大数据技术_用户行为数据分析flink项目_恶意登录检测（一）_程序架构和实现思路

17:24

028_尚硅谷大数据技术_用户行为数据分析flink项目_恶意登录检测（二）_简单代码实现

18:43

029_尚硅谷大数据技术_用户行为数据分析flink项目_恶意登录检测（三）_代码时效性改进

18:07

030_尚硅谷大数据技术_用户行为数据分析flink项目_恶意登录检测（四）_cep代码实现

31:49

复习总结（一）_redis位操作扩展

09:42

复习总结（一）_网络流量统计需求实现总结

15:32

宋红康

课程数: 18门

学生数: 7.2千人

东北师大理学学士，北京航空航天大学硕士。先后担任过高级软件开发工程师，系统架构师，高级讲师。具备丰富的软件开发经验和教学经验。精通C/C++、Java、Objective-C 等开发语言，对JavaEE、Android开发有深入理解，对以Java语言为基础的各种框架有深入研究。

1

大数据 - 阶段三 Spark生态体系框架

2

Java-谷粒学院

3

前端-阶段四 Node工程化

xi4oh4o

byc888

yangbaojin1988

dontkillme

xing393939

mrsup

haoflynet

WenryXu

zjhui

wwek

wpexia

ageng





赛迪教育
程序员学习的地方

 扫码关注