秘籍网

打造企业大数据流处理平台视频教程 基于Flume
  • 2020-03-26
  • 编程开发
  • 0
  • 436
  • 扫一扫,手机访问
  • 限时 • 优惠
  • 平台资金担保,交易全程无忧
  • 立即抢购
  • 60.00
  • (原价:¥300.00)
  • 商品特色:
  • 担保交易
  • 自动发货
  • 商品详情
  • 累计评价 0
  • 商品问答
  • 交易规则
  • 立即购买

基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台视频教程


基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台课程视频教程下载。流行框架打造通用平台,直接应用于企业项目。本课程为Spark Streaming实时流处理项目实战。当前最火爆的Spark Streaming打造实时流处理项目实战,让你掌握实时处理的整套处理流程,达到大数据中级研发工程师的水平!附:源码。


课程章节


第1章 课程介绍

1-1 -导学-

1-2 -授课习惯和学习建议

1-3 -OOTB环境使用演示

1-4 -Linux环境及软件版本介绍

1-5 -Spark版本升级


第2章 初识实时流处理

2-1 -课程目录

2-2 -业务现状分析

2-3 -实时流处理产生背景

2-4 -实时流处理概述

2-5 -离线计算和实时计算对比

2-6 -实时流处理框架对比

2-7 -实时流处理架构及技术选型

2-8 -实时流处理在企业中的应用


第3章 分布式日志收集框架Flume

3-1 -课程目录

3-2 -业务现状分析

3-3 -Flume概述

3-4 -Flume架构及核心组件

3-5 -Flume&JDK环境部署

3-6 -Flume实战案例一

3-7 -Flume实战案例二

3-8 -Flume实战案例三(重点掌握)


第4章 分布式发布订阅消息系统Kafka

4-1 -课程目录

4-2 -Kafka概述

4-3 -Kafka架构及核心概念

4-4 -Kafka单节点单Broker部署之Zookeeper安装

4-5 -Kafka单节点单broker的部署及使用

4-6 -Kafka单节点多broker部署及使用

4-7 -Kafka容错性测试

4-8 -使用IDEA+Maven构建开发环境

4-9 -Kafka Producer Java API编程

4-10 -Kafka Consumer Java API编程

4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集


第5章 实战环境搭建

5-1 -课程目录

5-2 -Scala安装

5-3 -Maven安装

5-4 -Hadoop环境搭建

5-5 -HBase安装

5-6 -Spark环境搭建

5-7 -开发环境搭建


第6章 Spark Streaming入门

6-1 -课程目录

6-2 -Spark Streaming概述

6-3 -Spark Streaming应用场景

6-4 -Spark Streaming集成Spark生态系统的使用

6-5 -Spark Streaming发展史

6-6 -从词频统计功能着手入门Spark Streaming

6-7 -Spark Streaming工作原理(粗粒度)

6-8 -Spark Streaming工作原理(细粒度)


第7章 Spark Streaming核心概念与编程

7-1 -课程目录

7-2 -核心概念之StreamingContext

7-3 -核心概念之DStream

7-4 -核心概念之Input DStreams和Receivers

7-5 -核心概念之Transformation和Output Operations

7-6 -案例实战之Spark Streaming处理socket数据

7-7 -案例实战之Spark Streaming处理文件系统数据


第8章 Spark Streaming进阶与案例实战

8-1 -课程目录

8-2 -实战之updateStateByKey算子的使用

8-3 -实战之将统计结果写入到MySQL数据库中

8-4 -实战之窗口函数的使用

8-5 -实战之黑名单过滤

8-6 -实战之Spark Streaming整合Spark SQL操作


第9章 Spark Streaming整合Flume

9-1 -课程目录

9-2 -Push方式整合之概述

9-3 -Push方式整合之Flume Agent配置开发

9-4 -Push方式整合之Spark Streaming应用开发

9-5 -Push方式整合之本地环境联调

9-6 -Push方式整合之服务器环境联调

9-7 -Pull方式整合之概述

9-8 -Pull方式整合之Flume Agent配置开发

9-9 -Pull方式整合之Spark Streaming应用开发

9-10 -Pull方式整合之本地环境联调

9-11 -Pull方式整合之服务器环境联调


第10章 Spark Streaming整合Kafka

10-1 -课程目录

10-2 -Spark Streaming整合Kafka的版本选择详解

10-3 -Receiver方式整合之概述

10-4 -Receiver方式整合之Kafka测试

10-5 -Receiver方式整合之Spark Streaming应用开发

10-6 -Receiver方式整合之本地环境联调

10-7 -Receiver方式整合之服务器环境联调及Streaming UI讲解

10-8 -Direct方式整合之概述

10-9 -Direct方式整合之Spark Streaming应用开发及本地环境测试

10-10 -Direct方式整合之服务器环境联调


第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础

11-1 -课程目录

11-2 -处理流程画图剖析

11-3 -日志产生器开发并结合log4j完成日志的输出

11-4 -使用Flume采集Log4j产生的日志

11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka

11-6 -Spark Streaming消费Kafka的数据进行统计

11-7 -本地测试和生产环境使用的拓展


第12章 Spark Streaming项目实战

12-1 -课程目录

12-2 -需求说明

12-3 -用户行为日志介绍

12-4 -Python日志产生器开发之产生访问url和ip信息

12-5 -Python日志产生器开发之产生referer和状态码信息

12-6 -Python日志产生器开发之产生日志访问时间

12-7 -Python日志产生器服务器测试并将日志写入到文件中

12-8 -通过定时调度工具每一分钟产生一批数据

12-9 -使用Flume实时收集日志信息

12-10 -对接实时日志数据到Kafka并输出到控制台测试

12-11 -Spark Streaming对接Kafka的数据进行消费

12-12 -使用Spark Streaming完成数据清洗操作

12-13 -功能一之需求分析及存储结果技术选型分析

12-14 -功能一之数据库访问DAO层方法定义

12-15 -功能一之HBase操作工具类开发

12-16 -功能一之数据库访问DAO层方法实现

12-17 -功能一之将Spark Streaming的处理结果写入到HBase中

12-18 -功能二之需求分析及HBase设计&HBase数据访问层开发

12-19 -功能二之功能实现及本地测试

12-20 -将项目运行在服务器环境中


第13章 可视化实战

13-1 -课程目录

13-2 -为什么需要可视化

13-3 -构建Spring Boot项目

13-4 -Echarts概述

13-5 -Spring Boot整合Echarts绘制静态数据柱状图

13-6 -Spring Boot整合Echarts绘制静态数据饼图

13-7 -项目目录调整

13-8 -根据天来获取HBase表中的实战课程访问次数

13-9 -实战课程访问量domain以及dao开发

13-10 -实战课程访问量Web层开发

13-11 -实战课程访问量实时查询展示功能实现及扩展

13-12 -Spring Boot项目部署到服务器上运行

13-13 -阿里云DataV数据可视化介绍

13-14 -DataV展示统计结果功能实现


第14章 Java拓展

14-1 -课程目录

14-2 -使用Java开发Spark应用程序

14-3 -使用Java开发Spark Streaming应用程序


  • 商品评价
  • 交易规则

秘籍网

发货方式


1、自动:在上方保障服务中标有自动发货的商品,拍下后,将会自动收到来自卖家的商品获取(下载)链接;

2、手动:未标有自动发货的的商品,拍下后,卖家会收到邮件、短信提醒,也可通过QQ或订单中的电话联系对方。


交易周期


1、源码默认交易周期:自动发货商品为1天,手动发货商品为3天,买家有1次额外延长3天交易周期的权利;

2、若上述交易周期双方依然无法完成交易,任意一方可发起追加周期(1~60天)的请求,对方同意即可延长。


退款说明


1、描述:源码描述(含标题)与实际源码不一致的(例:描述PHP实际为ASP、描述的功能实际缺少、版本不符等);

2、演示:有演示站时,与实际源码小于95%一致的(但描述中有"不保证完全一样、有变化的可能性"类似显著声明的除外);

3、发货:手动发货源码,在卖家未发货前,已申请退款的;

4、安装:免费提供安装服务的源码但卖家不履行的;

5、收费:额外收取其他费用的(但描述中有显著声明或双方交易前有商定的除外);

6、其他:如质量方面的硬性常规问题等。

注:经核实符合上述任一,均支持退款,但卖家予以积极解决问题则除外。


注意事项


1、秘籍网会对双方交易的过程及交易商品的快照进行永久存档,以确保交易的真实、有效、安全!

2、荆楚虚拟无法对如“永久包更新”、“永久技术支持”等类似交易之后的商家承诺做担保,请买家自行鉴别;

3、在源码同时有网站演示与图片演示,且站演与图演不一致时,默认按图演作为纠纷评判依据(特别声明或有商定除外);

4、在没有"无任何正当退款依据"的前提下,商品写有"一旦售出,概不支持退款"等类似的声明,视为无效声明;

5、在未拍下前,双方在QQ上所商定的交易内容,亦可成为纠纷评判依据(商定与描述冲突时,商定为准);

5、因聊天记录可作为纠纷评判依据,故双方联系时,只与对方在荆楚虚拟上所留的QQ、手机号沟通,以防对方不承认自我承诺。

7、虽然交易产生纠纷的几率很小,但一定要保留如聊天记录、手机短信等这样的重要信息,以防产生纠纷时便于荆楚虚拟介入快速处理。


秘籍网声明


1、秘籍网作为第三方中介平台,依据交易合同(商品描述、交易前商定的内容)来保障交易的安全及买卖双方的权益;

2、非平台线上交易的项目,出现任何后果均与荆楚虚拟无关;无论卖家以何理由要求线下交易的,请联系管理举报。


  • 认证类型:
  • 个人
  • 商家认证:
  • 工作时间
  • 周一至周日:09:00 - 20:00
  • 描述
    5.00
  • 发货
    5.00
  • 售后
    5.00
网站首页 | 关于我们 | 广告合作 | 联系我们 | 隐私条款 | 免责声明 | 网站地图
CopyRight 2019-2029 秘籍网 | 粤ICP备07074235号,继续教育学院秘籍网_职业技能培训班课程【秘籍网站平台】
展开