免费发布课程
黑马先锋学院

大数据、云计算系统架构师培训课程

  • 授课对象:想学习大数据、云计算系统,从事架构师规则人士
  • 授课地址:河南省郑州市高新区创业中心
  • 授课学校:黑马先锋学院      
  • 关注人数:169
  • 课程原价:
  • 网上报名价:咨询有优惠元
  • 课程详情

大数据、云计算系统架构师培训课程包括:


大数据之Linux+大数据开发篇

Java Java10新特性 Linux基础 Shell编程 Hadoop2.x HDFS YARN MapReduceETL数据清洗 Hive Sqoop Flume/Oozie 大数据WEB工具Hue HBase Storm ScalaKafka Spark Spark 2.x 新特性 Spark核心源码剖析 CM 5.3.x管理 CDH 5.3.x集群

项目部分

项目一:北游教育网用户行为分析 项目二:驴妈妈离线电商平台分析平台 项目三:基于大数据技术推荐系统项目四:基于Strom流式计算天猫双十一作战室项目实战 项目五:【项目直播】医疗保险大数据分析与统计推断项目实战(Hadoop篇)项目六:大数据高并发系统架构实战方案 项目七:大数据高并发服务器实战教程 项目八:基于人工智能的项目实战

大数据之可视化篇

Echarts从入门到上手实战 D3.js从入门到上手实战 Vue.js快速上手 虚拟可视化 Tableau商业智能与可视化应用实战

大数据之Java企业级核心技术篇

Java性能调优 TomcatApache集群 WebLogic企业级技术

大数据之PB级别网站性能优化篇

CDN镜像技术 虚拟化云计算 共享存储 海量数据 队列缓存 Memcached+RedisNo-SqlLVS负载均 Nginx

项目部分

PB级通用电商网站性能优化解决方案

大数据之数据挖掘分析&机器学习篇

Lucene 爬虫技术 Solr集群 KI分词 Apriori算法 Tanagra工具 决策树 贝叶斯分类器人工神经网络 K均值算法 层次聚类 聚类算法 SPSS Modeler R语言 数据分析模型统计算法 回归 聚类 数据降维 关联规则 决策树 Mahout->Python金融分析Spark MLlib

项目部分

项目一:地震预警分析系统 项目二:文本挖掘(Mathout中文分词) 项目三:电商购物车功能实现(R语言)项目四:使用Python构建期权分析系统 项目五:SPSS Modeler数据挖掘项目实战项目六:Lucene4.X实战类baidu搜索的大型文档海量搜索系统 项目七:AI大数据互联网电影智能推荐(第一季)项目八:电商大数据情感分析与AI推断实战项目(第一季) 项目九:AI法律咨询大数据分析与服务智能推荐实战项目(第一季)项目十:AI大数据基站定位智能推荐商圈分析项目实战(第一季)

大数据之运维、云计算平台篇

云计算 Docker 从零基础到专家实战教程 云计算Docker全面项目实战

项目部分

项目部分:Maven+Jenkins、日志管理ELKWordPress博客

阿里云认证

云计算课程 大数据课程 云安全课程

职业素养

团队协作 心态管理 目标管理 时间管理 学习管理 沟通能力 求职目标 项目管理



大数据、云计算系统架构师培训课程详情

阶段一、大数据、云计算系统架构师 - Hadoop大数据开发技术

课程一、大数据运维之Linux基础

本部分是基础课程,帮大家进入大数据领域打好Linux基础,以便更好地学习Hadoophbase,NoSQLSparkStormdocker,openstack等众多课程。因为企业
中的项目基本上都是使用Linux环境下搭建或部署的。

1Linux系统概述
  2
)系统安装及相关配置 
  3
Linux网络基础 
  4
OpenSSH实现网络安全连接 
  5
vi文本编辑器

6)用户和用户组管理
  7
)磁盘管理 
  8
Linux文件和目录管理 
  9
Linux终端常用命令 
  10
linux系统监测与维护

课程二、大数据开发核心技术 - Hadoop 2.x从入门到精通

本课程是整套大数据课程的基石:其一,分布式文件系统HDFS用于存储海量数据,无论是HiveHBase或者Spark数据存储在其上面;其二是分布式资源管理框架
YARN
,是Hadoop 云操作系统(也称数据系统),管理集群资源和分布式数据处理框架MapReduceSpark应用的资源调度与监控;分布式并行计算框架
MapReduce
目前是海量数据并行处理的一个最常用的框架。Hadoop 2.x的编译、环境搭建、HDFS Shell使用,YARN 集群资源管理与任务监控,MapReduce
程,分布式集群的部署管理(包括高可用性HA)必须要掌握的。

一、初识Hadoop 2.x

1)大数据应用发展、前景
  2
Hadoop 2.x概述及生态系统
  3
Hadoop 2.x环境搭建与测试

二、深入Hadoop 2.x

1HDFS文件系统的架构、功能、设计
  2
HDFS Java API使用
  3
YARN 架构、集群管理、应用监控
  4
MapReduce编程模型、Shuffle过程、编程调优

三、高级Hadoop 2.x

1)分布式部署Hadoop 2.x
  2
)分布式协作服务框架Zookeeper 
  3
HDFS HA架构、配置、测试
  4
HDFS 2.x中高级特性
  5
YARN HA架构、配置
  6
Hadoop 主要发行版本(CDHHDPApache

四、实战应用

1)以【北游教育网用户浏览日志】数据进行实际的分析 2)原数据采集 3)数据的预处理(ETL 4)数据的分析处理(MapReduce

课程三、大数据开发核心技术 - 大数据仓库Hive精讲

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行
运行。其优点是学习成本低,可以通类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

一、Hive 初识入门

1Hive功能、体系结构、使用场景
  2
Hive环境搭建、初级使用 
  3
Hive原数据配置、常见交互方式

二、Hive深入使用

1Hive中的内部表、外部表、分区表
  2
Hive 数据迁移
  3
Hive常见查询(selectwheredistinctjoingroup by
  4
Hive 内置函数和UDF编程

三、Hive高级进阶

1Hive数据的存储和压缩
  2
Hive常见优化(数据倾斜、压缩等)

四、结合【北游教育网用户浏览日志】实际案例分析

1)依据业务设计表
  2
)数据清洗、导入(ETL 
  3
)使用HiveQL,统计常见的网站指标

课程四、大数据协作框架 - Sqoop/Flume/Oozie精讲

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysqlpostgresql...)间进行数据的传递,可以将一个关系型数据库(例如 MySQL 
,Oracle ,Postgres
等)中的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部
署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。

一、数据转换工具Sqoop

1Sqoop功能、使用原则
  2
)将RDBMS数据导入Hive表中(全量、增量) 
  3
)将HDFS上文件导出到RDBMS表中

二、文件收集框架Flume

1Flume 设计架构、原理(三大组件)
  2
Flume初步使用,实时采集数据 
  3
)如何使用Flume监控文件夹数据,实时采集录入HDFS 4)任务调度框架Oozie

三、Oozie功能、安装部署

1)使用Oozie调度MapReduce JobHiveQL
  2
)定时调度任务使用

课程五、大数据Web开发框架 - 大数据WEB 工具Hue精讲

Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通
过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。

1Hue架构、功能、编译
  2
Hue集成HDFS 
  3
Hue集成MapReduce

4Hue集成HiveDataBase
  5
Hue集成Oozie

课程六、大数据核心开发技术 - 分布式数据库HBase从入门到精通

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统HBase
Hadoop
之上提供了类似于Bigtable的能力,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大
规模结构化存储集群

一、HBase初窥使用

1HBase是什么、发展、与RDBMS相比优势、企业使用
  2
HBase Schema、表的设计
  3
HBase 环境搭建、shell初步使用(CRUD等)

二、HBase 深入使用

1HBase 数据存储模型
  2
HBase Java API使用(CRUDSCAN等)
  3
HBase 架构深入剖析
  4
HBase MapReduce集成、数据导入导出

三、HBase 高级使用

1)如何设计表、表的预分区(依据具体业务分析讲解)
  2
HBase 表的常见属性设置(结合企业实际)
  3
HBase Admin操作(Java API、常见命令)

四、【北游教育网用户浏览日志】进行分析

1)依据需求设计表、创建表、预分区
  2
)进行业务查询分析 
  3
)对于密集型读和密集型写进行HBase参数调优

课程七、大数据核心开发技术 - Storm实时数据处理(选修)

StormTwitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop 随着越来越多的场景对HadoopMapReduce高延迟无法容忍,比如网站统计、
推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是
流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了mapreduce原语,使我
们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且StormTrident是基于Storm原语更高级的抽象框架,类似于基于
Hadoop
Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击
了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的淘宝双11”,还等什么?

1Storm简介和课程介绍
  2
Storm原理和概念详解 
  3
Zookeeper集群搭建及基本使用 
  4
Storm集群搭建及测试 
  5
API简介和入门案例开发 
  6
SpoutTail特性、storm-startermaven使用、Grouping策略 
  7
)实例讲解Grouping策略及并发 
  8
)并发度详解、案例开发(高并发运用) 
  9
)案例开发——计算网站PV,通过2种方式实现汇总型计算。 
  10
)案例优化引入Zookeeper锁控制线程操作 
  11
)计算网站UV(去重计算模式
  12
)【运维】集群统一启动和停止shell脚本开发 
  13
Storm事务工作原理深入讲解 14Storm事务API及案例分析

15Storm事务案例实战之 ITransactionalSpout 
  16
Storm事务案例升级之按天计算 
  17
Storm分区事务案例实战 
  18
Storm不透明分区事务案例实战 
  19
DRPC精解和案例分析 
  20
Storm Trident 入门
  21
Trident API和概念
  22
Storm Trident实战之计算网站PV
  23
ITridentSpoutFirstN(Top N)实现、流合并和Join
  24
Storm Trident之函数、流聚合及核心概念State
  25
Storm Trident综合实战一(基于HBaseState
  26
Storm Trident综合实战二
  27
Storm Trident综合实战三
  28
Storm集群和作业监控告警开发

课程八、Spark技术实战之基础篇 -Scala语言从入门到精通

为什么要学习Scala?源于Spark的流行,Spark是当前最流行的开源大数据内存计算框架,采用Scala语言实现,各大公司都在使用SparkIBM宣布承诺大力推进
Apache Spark
项目,并称该项目为:在以数据为主导的,未来十年最为重要的新的开源项目。这一承诺的核心是将Spark嵌入IBM业内领先的分析和商务平台,
Scala
具有数据处理的天然优势,Scala是未来大数据处理的主流语言

1)-Spark的前世今生
  2)-
课程介绍、特色与价值 
  3)-Scala
编程详解:基础语法 
  4)-Scala
编程详解:条件控制与循环 
  5)-Scala
编程详解:函数入门 
  6)-Scala
编程详解:函数入门之默认参数和带名参数 
  7)-Scala
编程详解:函数入门之变长参数 
  8)-Scala
编程详解:函数入门之过程、lazy值和异常 
  9)-Scala
编程详解:数组操作之ArrayArrayBuffer以及遍历数组 
  10)-Scala
编程详解:数组操作之数组转换

11)-Scala编程详解:MapTuple
  12)-Scala
编程详解:面向对象编程之类 
  13)-Scala
编程详解:面向对象编程之对象 
  14)-Scala
编程详解:面向对象编程之继承 
  15)-Scala
编程详解:面向对象编程之Trait 
  16)-Scala
编程详解:函数式编程 
  17)-Scala
编程详解:函数式编程之集合操作 
  18)-Scala
编程详解:模式匹配 
  19)-Scala
编程详解:类型参数 
  20)-Scala
编程详解:隐式转换与隐式参数 
  21)-Scala
编程详解:Actor入门

课程九、大数据核心开发技术 - 内存计算框架Spark精讲

SparkUC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点。启用了内存分布数据集,除
了能够提供交互式查询外,它还可以优化迭代工作负载。Spark Streaming: 构建在Spark上处理Stream数据的框架,基本的原理是将Stream数据分成小的时间片断
(几秒),以类似batch批量处理的方式来处理这小部分数据

1Spark 初识入门
  2
Spark 概述、生态系统、与MapReduce比较
  3
Spark 编译、安装部署(Standalone   Mode)及测试
  4
Spark应用提交工具(spark-submitspark-shell 
  5
Scala基本知识讲解(变量,类,高阶函数) 
  6
Spark 核心RDD
  7
RDD特性、常见操作、缓存策略 
  8
RDD DependencyStage常、源码分析
  9
Spark 核心组件概述

10)案例分析
  11
Spark 高阶应用
  12
Spark on YARN运行原理、运行模式及测试
  13
Spark HistoryServer历史应用监控
  14
Spark Streaming流式计算
  15
Spark Streaming 原理、DStream设计
  16
Spark Streaming 常见inputout
  17
Spark Streaming Kafka集成
  18
)使用Spark对【北游教育网用户浏览日志】进行分析

课程十、大数据核心开发技术 - Spark深入剖析

本课程主要讲解目前大数据领域热门、火爆、有前景的技术——Spark。在本课程中,会从浅入深,基于大量案例实战,深度剖析和讲解Spark,并且会包含
完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程.

1Scala编程、HadoopSpark集群搭建、Spark核心编程、Spark内核源码深度剖析、Spark性能调优
  2
Spark源码剖析 

课程十一、企业大数据平台高级应用

本阶段主要就之前所学内容完成大数据相关企业场景与解决方案的剖析应用及结合一个电子商务平台进行实战分析,主要包括有: 企业大数据平台概述、搭建企业
大数据平台、真实服务器手把手环境部署、使用CM 5.3.x管理CDH 5.3.x集群

1)企业大数据平台概述
  2
)大数据平台基本组件 
  3
Hadoop 发行版本、比较、选择
  4
)集群环境的准备(系统、基本配置、规划等) 
  5
)搭建企业大数据平台 
  6
)以实际企业项目需求为依据,搭建平台 
  7
)需求分析(主要业务) 
  8
)框架选择(HiveHBaseSpark等)

9)真实服务器手把手环境部署
  10
)安装Cloudera Manager 5.3.x
  11
)使用CM 5.3.x安装CDH 5.3.x
  12
)如何使用CM 5.3.x管理CDH 5.3.x集群
  13
)基本配置,优化 
  14
)基本性能测试 
  15
)各个组件如何使用

课程十二、项目实战:驴妈妈旅游网大型离线数据电商分析平台

离线数据分析平台是一种利用hadoop集群开发工具的一种方式,主要作用是帮助公司对网站的应用有一个比较好的了解。尤其是在电商、旅游、银行、证券、游戏
等领域有非常广泛,因为这些领域对数据和用户的特性把握要求比较高,所以对于离线数据的分析就有比较高的要求了。 本课程讲师本人之前在游戏、旅游等公司
专门从事离线数据分析平台的搭建和开发等,通过此项目将所有大数据内容贯穿,并前后展示!

1FlumeHadoopHbaseHiveOozieSqoop、离线数据分析,SpringMVCHighchat
  2
Flume+Hadoop+Hbase+SpringMVC+MyBatis+MySQL+Highcharts实现的电商离线数据分析 
  3
)日志收集系统、日志分析、数据展示设计

课程十三、项目实战:基于1号店的电商实时数据分析系统(选修)

课程基于1号店的业务及数据进行设计和讲解的,主要涉及
1
、课程中完整开发3Storm项目,均为企业实际项目,其中一个是完全由Storm Trident开发。 项目源码均可以直接运行,也可直接用于商用或企业。
2
、每个技术均采用最新稳定版本,学完后会员可以从KafkaStorm项目开发及HighCharts图表开发一个人搞定!让学员身价剧增! 
3
、搭建CDH5生态环境完整平台,且采用Cloudera Manager界面化管理CDH5平台。让Hadoop平台环境搭建和维护都变得轻而易举。
4
、分享实际项目的架构设计、优劣分析和取舍、经验技巧,陡直提升学员的经验值

1)全面掌握Storm完整项目开发思路和架构设计
  2
)掌握Storm Trident项目开发模式
  3
)掌握Kafka运维和API开发、与Storm接口开发 
  4
)掌握HighCharts各类图表开发和实时无刷新加载数据 
  5
)熟练搭建CDH5生态环境完整平台

6)灵活运用HBase作为外部存储
  7
)可以做到以一己之力完成从后台开发(StormKafkaHbase开发) 
 
到前台HighCharts图表开发、Jquery运用等,所有工作一个人搞定! 
 
可以一个人搞定淘宝双11大屏幕项目!

课程十四、项目实战:基于美团网的大型离线电商数据分析平台

本项目使用了Spark技术生态栈中最常用的三个技术框架,Spark CoreSpark SQLSpark Streaming,进行离线计算和实时计算业务模块的开发。实现了包括用
户访问session分析、页面单跳转化率统计、热门商品离线统计、 广告点击流量实时统计4个业务模块。过合理的将实际业务模块进行技术整合与改造,
该项目完全涵盖了Spark CoreSpark SQLSpark Streaming这三个技术框架中几乎所有的功能点、知识点以及性能优化点。 仅一个项目,即可全面掌握Spark
技术在实际项目中如何实现各种类型的业务需求!在项目中,重点讲解了实际企业项目中积累下来的宝贵的性能调优 troubleshooting以及数据倾斜解决方案等知识和技术

1)真实还原完整的企业级大数据项目开发流程:
 
项目中采用完全还原企业大数据项目开发场景的方式来讲解,
 
每一个业务模块的讲解都包括了数据分析、需求分析、方案设计、数据库设计、编码实现、功能测试、性能调优、troubleshooting与解决数据倾斜(后期运维)等环节
 
,真实还原企业级大数据项目开发场景。
 
让学员掌握真实大数据项目的开发流程和经验!

2)现场Excel手工画图与写笔记:所有复杂业务流程、架构原理
 
Spark技术原理、业务需求分析、技术实现方案等知识的讲解
 
,采用Excel画图或者写详细比较的方式进行讲解与分析,
 
细致入微、形象地透彻剖析理论知识,帮助学员更好的理解、记忆与复习巩固。

课程十五、大数据高薪面试剖析

本阶段通过对历来大数据公司企业真实面试题的剖析,讲解,让学员真正的一个菜鸟转型为具有1年以上的大数据开发工作经验的专业人士,也是讲师多年来大数据
企业开发的经验之谈。

1)大数据项目
  2
)企业大数据项目的类型 
  3
)技术架构(如何使用各框架处理数据) 
  4
)冲刺高薪面试 
  5
)面试简历编写(把握重点要点) 
  6
)面试中的技巧

7)常见面试题讲解
  8
)如何快速融入企业进行工作(对于大数据公司来说非常关键) 
  9
)学员答疑 
  10
)针对普遍问题进行公共解答 
  11
)一对一的交流

阶段二、大数据、云计算系统架构师 - 机器学习

课程十六、机器学习及实践

本课程先基于PyMC语言以及一系列常用的Python数据分析框架,如NumPySciPyMatplotlib,通过概率编程的方式,讲解了贝叶斯推断的原理和实现方法。
该方法常常可以在避免引入大量数学分析的前提下,有效地解决问题。课程中使用的案例往往是工作中遇到的实际问题,有趣并且实用。通过对本课程的学习,学员
可以对分类、回归等算法有较为深入的了解,以Python编程语言为基础,在不涉及大量数学模型与复杂编程知识的前提下,讲师逐步带领学员熟悉并且掌握当下最流行的机器学习算法,如回归、决策树、SVM等,并通过代码实例来 展示所讨论的算法的实际应用。

1MahoutSpark MLlib概述 
  2
)机器学习概述 
  3
)线性回归及MahoutSparkMLlib案例 
  4
Logistic回归、softmax分类及MahoutSparkMLlib案例 
  5
KNNMahoutSparkMllib案例 
  6
SVMMahoutSparkMllib案例 
  7
)决策树及MahoutSparkMllib案例

8)随机森林及MahoutSparkMllib案例 
  9
GBDTMahoutSparkMllib案例 
  10
KMeansMahoutSparkMllib案例 
  11
)贝叶斯及MahoutSparkMllib案例 
  12
)集成学习 
  13
)特征处理及模型优化

课程十七、推荐系统

本课程重点讲解开发推荐系统的方法,尤其是许多经典算法,重点探讨如何衡量推荐系统的有效性。课程内容分为基本概念和进展两部分:前者涉及协同推荐、基于
内容的推荐、基于知识的推荐、混合推荐方法,推荐系统的解释、评估推荐系统和实例分析;后者包括针对推荐系统的攻击、在线消费决策、推荐系统和下一代互联网以及普适环境中的推荐。课程中包含大量的图、表和示例,有助于学员理解和把握相关知识等。

1)协同过滤推荐
  2
)基于内容的推荐
  3
)基于知识的推荐
  4
)混合推荐方法

5)推荐系统的解释
  6
)评估推荐系统
  7
)案例研究

课程十八、分布式搜索引擎Elasticsearch开发(选修)

联网+、大数据、网络爬虫、搜索引擎等等这些概念,如今可谓炙手可热,本课程就是以公司项目经验为基础,为大家带来市面上比较流行的分布式搜索引擎之一的ElasicSearch,深入浅出的带领大家了解并掌握该技术的综合应用,从而为大家添加一份竞争的资本。 
本课程旨在带领大家进入搜索引擎领域,从无到有,深入浅出的讲解了什么是搜索引擎,搜索引擎的作用以及ElasticSearch在实际工作中的作用等

1Elasticsearch概念
  2
Elasticsearch安装和插件介绍
  3
Elasticsearch基本使用和简单查询 
  4
ElasticsearchJava客户端使用

5Elasticsearch索引和Mapping 
  6
Elasticsearch搜索深入 
  7
ElasticsearchSpring集成 
  8
Elasticsearch实战

课程十九、SparkMLlib机器学习

基于Spark框架及ML库为核心,主要包含:Spark数据操作、矩阵向量、线性回归、逻辑回归、保序回归、朴素贝叶斯、决策树、随机森林、SVM支持向量机、GBDT、特征工程等技术模块; 
三个课程项目:金融反欺诈、美剧推荐系统、CTR广告预估。

阶段三、大数据、云计算系统架构师 - Java企业级核心应用(选修)

课程二十、深入Java性能调优

国内关于Java性能调优的课程非常少,如此全面深入介绍Java性能调优,北游教育算是,Special讲师,十余年Java方面开发工作经验,资深软件开发系统架构师,
本套课程系多年工作经验与心得的总结,课程有着很高的含金量和实用价值,本课程专注于java应用程序的优化方法,技巧和思想,深入剖析软件设计层面、代码层面、JVM虚拟机层面的优化方法,理论结合实际,使用丰富的示例帮助学员理解理论知识。

课程二十一、JAVA企业级开放必备高级技术(Weblogic Tomcat集群 Apach集群)

Java自面世后就非常流行,发展迅速,对C++语言形成有力冲击。在全球云计算和移动互联网的产业环境下,Java更具备了显著优势和广阔前景,那么滋生的基于
java
项目也越来越多,对java运行环境的要求也越来越高,很多java的程序员只知道对业务的扩展而不知道对java本身的运行环境的调试,例如虚拟机调优,服务器集群等,所以也滋生本门课程的产生。

阶段四、大数据、云计算系统架构师 - 分布式集群、PB级别网站性能优化(选修)

课程二十二、大数据高并发系统架构实战方案(LVS负载均衡、Nginx、共享存储、海量数据、队列缓存 )

随着互联网的发展,高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构
常用技术点及详细演练。通过该课程的学习,普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台,课程涉及内容包括:LVS实现负载均衡、Nginx高级
配置实战、共享存储实现动态内容静态化加速实战、缓存平台安装配置使用、mysql主从复制安装配置实战等。

课程二十三、大数据高并发服务器实战教程

随着Web技术的普及,Internet上的各类网站第天都在雪崩式增长。但这些网站大多在性能上没做过多考虑。当然,它们情况不同。有的是Web技术本身的原因(主
要是程序代码问题),还有就是由于Web服务器未进行优化。不管是哪种情况,一但用户量在短时间内激增,网站就会明显变慢,甚至拒绝放访问。要想有效地解决
这些问题,就只有依靠不同的优化技术。本课程就是主要用于来解决大型网站性能问题,能够承受大数据、高并发。主要涉及 技术有:nginxtomcatmemcachedredis缓存、负载均衡等高级开发技术

课程二十四、项目实战:PB级通用电商网站性能优化解决方案

本部分通过一个通用电商订单支付模块,外加淘宝支付接口的实现(可用于实际项目开发),剖析并分析过程中可能遇到的各种性能瓶颈及相关的解决方案与优化技
巧。最终目标,让有具有PHP基础或Java基础的学员迅速掌握Linux下的开发知识,并对涉及到nginxtomcatmemcachedredis缓存、负载均衡等高级开发技术有一个全面的了解

阶段五、大数据、云计算系统架构师-Python基础与数据分析(选修)

课程二十五、Python基础与数据分析

本课程主要讲解Python基础以及Pyhton数据分析,包括语句、函数、表达式以及模块化 开发、类与对象等,带领大家快速掌握Python,为后续处理数据以及分析服务打下良好基础。

1Python基础
  2
Python控制语句与函数 
  3
Lambda表达式、装饰器和Python模块化开发

4Python类与对象
  5
Python数据库操作+正则表达式
  6
Python数据分析

阶段六、大数据、云计算系统架构师 - 数据挖掘、分析&机器学习(选修)

课程二十六、玩转大数据:深入浅出大数据挖掘技术(Apriori算法、Tanagra工具、决策树)

本课程名为深入浅出数据挖掘技术。所谓深入,指得是从数据挖掘的原理与经典算法入手。其一是要了解算法,知道什么场景应当应用什么样的方法;其二是学
习算法的经典思想,可以将它应用到其他的实际项目之中;其三是理解算法,让数据挖掘的算法能够应用到您的项目开发之中去。所谓浅出,指得是将数据挖掘
算法的应用落实到实际的应用中。课程会通过三个不同的方面来讲解算法的应用:一是微软公司的SQL ServerExcel等工具实现的数据挖掘;二是著名开源算法
的数据挖掘,如WekaKNIMATanagra等开源工具;三是利用C#语言做演示来完成数据挖掘算法的实现。根据实际的引用场景,数据挖掘技术通常分为分类
器、关联分析、聚类算法等三大类别。本课程主要介绍这三大算法的经典思想以及部分著名的实现形式,并结合一 
些商业分析工具、开源工具或编程等方式来讲解具体的应用方法

课程二十七、Lucene4.X实战类baidu搜索的大型文档海量搜索系统

本课程由浅入深的介绍了Lucene4的发展历史,开发环境搭建,分析lucene4的中文分词原理,深入讲了lucenne4的系统架构,分析lucene4索引实现原理及性能优
化,了解关于lucene4的搜索算法优化及利用java结合lucene4实现类百度文库的全文检索功能等相对高端实用的内容,市面上一般很难找到同类具有相同深度与广度的视频,集原理、基础、案例与实战与一身,不可多得的一部高端视频教程。

课程二十八、快速上手数据挖掘之solr搜索引擎高级教程(Solr集群、KI分词、项目实战)

本教程从最基础的solr语法开始讲解,选择了最新最流行的开源搜索引擎服务框架solr5.3.1,利用Tomcat8搭建了solr的集群服务;本教程可以帮助学员快速上手
solr
的开发和二次开发,包括在hadoop集群的是利用,海量数据的索引和实时检索,通过 了解、学习、安装、配置、集成等步骤引导学员如何将solr集成到项目中。

课程二十九、项目实战:SPSS Modeler数据挖掘项目实战培训

SS Modeler是业界极为著名的数据挖掘软件,其前身为SPSS ClementineSPSS Modeler内置丰富的数据挖掘模型,以其强大的挖掘功能和友好的操作习惯,深
受用户的喜爱和好评,成为众多知名企业在数据挖掘项目上的软件产品选择。本课程以SPSS Modeler为应用软件,以数据挖掘项目生命周期为线索,以实际数据挖掘项目为例,讲解了从项目商业理解开始,到最后软件实现的全过程。

课程三十、数据层交换和高性能并发处理(开源ETL大数据治理工具)

ETL是数据的抽取清洗转换加载的过程,是数据进入数据仓库进行大数据分析的载入过程,目前流行的数据进入仓库的过程有两种形式,一种是进入数据库后再进行
清洗和转换,另外一条路线是首先进行清洗转换再进入数据库,我们的ETL属于后者。 大数据的利器大家可能普遍说是hadoop,但是大家要知道如果我们不做预先
的清洗和转换处理,我们进入hadoop后仅通过mapreduce进行数据清洗转换再进行分析,垃圾数据会导致我们的磁盘占用量会相当大,这样无形中提升了我们的
硬件成本(硬盘大,内存小处理速度会很慢,内存大cpu性能低速度也会受影响),因此虽然hadoop理论上解决了烂机器拼起来解决大问题的问题,但是事实上如
果我们有更好的节点速度必然是会普遍提升的,因此ETL在大数据环境下仍然是必不可少的数据交换工具。

课程三十一、深入浅出Hadoop Mahout数据挖掘实战(算法分析、项目实战、中文分词技术)

Mahout Apache Software FoundationASF 旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。课程包括:Mahout数据挖掘工具 Hadoop实现推荐系统的综合实战,涉及到MapReducePigMahout的综合实战

课程三十二、大数据项目实战之Python金融应用编程(数据分析、定价与量化投资)

近年来,金融领域的量化分析越来越受到理论界与实务界的重视,量化分析的技术也取得了较大的进展,成为备受关注的一个热点领域。所谓金融量化,就是将金融
分析理论与计算机编程技术相结合,更为有效的利用现代计算技术实现准确的金融资产定价以及交易机会的发现。量化分析目前已经涉及到金融领域的方方面面,包
括基础和衍生金融资产定价、风险管理、量化投资等。随着大数据技术的发展,量化分析还逐步与大数据结合在一起,对海量金融数据实现有效和快速的运算与处
理。在量化金融的时代,选用一种合适的编程语言对于金融模型的实现是至关重要的。在这方面,Python语言体现出了不一般的优势,特别是它拥有大量的金融计
算库,并且可以提供与C++java等语言的接口以实现高效率的分析,成为金融领域快速开发和应用的一种关键语言,由于它是开源的,降低了金融计算的成本,
而且还通过广泛的社交网络提供大量的应用实例,极大的缩短了金融量化分析的学习路径。本课程在量化分析与Python语言快速发展的背景下介绍二者之间的关联,使学员能够快速掌握如何利用Python语言进行金融数据量化分析的基本方法。

课程三十三、项目实战:云计算处理大数据深度、智能挖掘技术+地震数据挖掘分析

本课程介绍了基于云计算的大数据处理技术,重点介绍了一款高效的、实时分析处理海量数据的强有力工具——数据立方。数据立方是针对大数据处理的分布式数
据库,能够可靠地对大数据进行实时处理,具有即时响应多用户并发请求的能力,通过对当前主流的大数据处理系统进行深入剖析,阐述了数据立方产生的背景,介
绍了数据立方的整体架构以及安装和详细开发流程,并给出了4个完整的数据立方 综合应用实例。所有实例都经过验证并附有详细的步骤说明,无论是对于云计算的
初学者还是想进一步深入学习大数据处理技术的研发人员、研究人员都有很好的参 考价值。

阶段七、系统架构师大数据、云计算运维&云计算技术篇(选修)

课程三十四、Zookeeper从入门到精通(开发详解,案例实战,Web界面监控)

ZooKeeperHadoop的开源子项目(Google Chubby的开源实现),它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、命名服务、分
布式同步、组服务等。ZookeeperFast Fail Leader选举特性大大增强了分布式集群的稳定和健壮性,并且解决了Master/Slave模式的单点故障重大隐患,这
是越来越多的分布式产品如HBaseStorm(流计算)、S4(流计算)等强依赖Zookeeper的原因。Zookeeper在分布式集群(Hadoop生态圈)中的地位越来越
突出,对分布式应用的开发也提供了极大便利,这是迫切需要深入学习Zookeeper的原因。本课程主要内容包括Zookeeper深入、客户端开发(Java编程,案例开
发)、日常运维、Web界面监控,一条龙的实战平台分享给大家。

课程三十五、云计算Docker从零基础到专家实战教程

Docker是一种开源的应用容器引擎,使用Docker可以快速地实现虚拟化,并且实现虚拟化的性能相对于其他技术来说较高。并且随着云计算的普及以及对虚拟化技
术的大量需求,使得云计算人才供不应求,所以一些大型企业对Docker专业技术人才需求较大。本教程从最基础的Dokcer原理开始讲起,深入浅出,并且全套课程
均结合实例实战进行讲解,让学员可以不仅能了解原理,更能够实际地去使用这门技术。

课程三十六、项目实战:云计算Docker全面项目实战(Maven+Jenkins、日志管理ELKWordPress博客)

2013年,云计算领域从此多了一个名词“Docker”。以轻量著称,更好的去解决应用打包和部署。之前我们一直在构建Iaas,但通过Iaas去实现统一功 能还是相当
复杂得,并且维护复杂。将特殊性封装到镜像中实现几乎一致得部署方法,它就是“Docker”,以容器为技术核心,实现了应用的标准化。企业可 以快速生成研
发、测试环境,并且可以做到快速部署。实现了从产品研发环境到部署环境的一致化。Docker让研发更加专注于代码的编写,并且以镜像 为交付。极大的缩
短了产品的交付周期和实施周期。

课程三十七、深入浅出OpenStack云计算平台管理

OpenStack 一个由Rackspace发起、全球开发者共同参与的开源项目,旨在打造易于部署、功能丰富且易于扩展的云计算平台。OpenStack企图成为数据中心
操作系统,即云操作系统。从项目发起之初,OpenStack就几乎赢得了所有IT巨头的关注,在各种OpenStack技术会议上人们激情澎湃,几乎所有人都成为
OpenStack
的信徒。 这个课程重点放在openstack的部署和网络部分。课程强调实际的动手操作,使用vmware模拟实际的物理平台,让大家可以自己动手去实际
搭建和学习openstack。课程内容包括云计算的基本知识,虚拟网络基础,openstack部署和应用,openstack网络详解等。

阶段八、系统架构师之大数据分析、数据可视化(选修)

课程三十八、Tableau商业智能与可视化应用实战

本课程基于Tableau 10.3最新版本研发,详细介绍了Tableau的数据连接与编辑、图形编辑与展示功能,包括数据连接与管理、基础与高级图形分析、地图分析、高级数据操作、基础统计分析、如何与R集成进行高级分析、分析图表整合以及分析成果共享等主要内容。同时,课程以丰富的实际案例贯穿始终,对各类方法、技术进行了详细说明,方便读者快速掌握数据分析方法。

1)什么是数据可视化? 
  2
)如何用图表讲故事
  3
Tableau发展历程 
  4
Tableau家族产品 
  5
Tableau产品优势 
  6
Tableau Desktop安装配置 
  7
Tableau的导航与菜单 
  8
Tableau设计流程最佳实践 
  9
Tableau数据类型与文件 
  10
Tableau数据源初探 
  11
)数据源深入

12)工作表
  13
Tableau中的函数与计算
  14
Tableau高级分析与项目实战
  15
Tableau中的排序与筛选器
  16
Tableau中的参数
  17
Tableau图表分析
  18
Tableau地图绘制与图像
  19
Tableau 仪表盘和故事
  20
)项目一_教育网站指标评估
  21
)项目二_网站用户行为分析
  22
)项目三_零售行业进销存分析

课程三十九、Echarts从入门到上手实战

通过本门课程的学习,能够让我们的学员对数据可视化技术有一个全面、系统、深入的了解,最终达到能够利用Echarts图表结合后端数据进行前端可视化报表展示的目的,再结合我们课程给出的项目实战综合演练,从而达到熟练使用Echarts的程度,为将来我们的学员面试大数据开发工程师,大数据分析师等工作岗位打下了一个良好的基础,为大大的加分项!

1)数据可视化概述 
  2
)什么是数据可视化? 
  3
)经典可视化案例 
  4
)大数据可视化的价值 
  5
)数据可视化工具、案例、书籍 
  6
Echarts概述 
  7
Echarts特性介绍 
  8
)如何快速上手开发一个Echarts可视化图表 
  9
)如何阅读Echarts官方文档 
  10
Echarts学习必备基础知识

11Echarts3.xEcharts2.x的区别 
  12
Echarts基础架构与常见名词术语 
  13
Echarts标准开发模板 
  14
)十大常见图表_小结 
  15
Echarts图表高级
  16
)北上广最佳前10航行路线图
  17
)豆瓣最新热映电影排名分析
  18
)图表适用场景
  19
)数据可视化方法 
  20
)数据可视化误区

课程四十、D3.js从入门到上手实战

近年来,数据可视化越来越流行,在信息爆炸式增长的今天,图片或者图表无疑是比文字更好的传递信息的方式。D3的出现,为我们做数据可视化提供了更强有力的保障。

1D3简介
  2
D3开发环境的安装与调试
  3
D3选择集与数据
  4
D3比例尺和坐标
  5
)绘制

6)动画
  7
)交互
  8
)导入和导出
  9
)布局
  10
)案例应用

课程四十一、Vue.js快速上手

Vue.js是一套构建用户界面的轻量级MVVM框架,与其他重量级框架不同的是, Vue.js 的核心库只关注视图层,并且非常容易学习,很容易与其它前端技术或已有的项目整合。 本课程主要分两部分讲解:1.掌握Vue.js设计规范的语法; 2.通过一些实际的前端案例来强化同学们对该技术的灵活运用。

1Vue.js简介和MVCMVP以及MVVM架构
  2
Vue.js介绍、开发工具的介绍以及HelloWorld程序演示
  3
Vue.js的构造器和扩展
  4
Vue实例的属性
  5
Vue实例生命周期
  6
)计算属性及案例
  7
)方法调用
  8
)观察属性
  9
)文本、HTML插值
  10
)属性插值和表达式
  11
)指令的格式
  12
)条件指令
  13
v-show指令
  14
v-bind指令
  15
)列表渲染
  16
)过滤器
  17
)事件处理

18)事件修饰符
  19
)表单处理
  20
)自定义组件
  21
)过渡效果
  22
)动画效果
  23
)过渡和动画的回调函数
  24
)路由技术
  25
)混合
  26
Render函数
  27
)单文件工程
  28
)单元测试
  29
)服务器端渲染
  30
)生产环境部署
  31
)动态评分案例
  32
)图片轮播案例
  33
OLTP系统的管理界面
  34
)聊天室案例

课程四十二、虚拟可视化

可视化是2016年一个被IT厂商们谈论得非常频繁的词汇:网络可视化、流量可视化、运维可视化等等解决方案不一而足。然而,可视化究竟可以深入到何种程度?可视化的范围边界在哪?虚拟现实的加入,无疑为可视化又增添了别样的色彩。让我们共同来探索虚拟可视化的世界……

1)虚拟现实(VR)概述
  2
Unity3D游戏引擎简介及安装
  3
Unity3D编辑器窗口介绍
  4
GameObjectComponent的关系
  5
MonoBehaviour脚本周期
  6
)初识GoogleVR

7GoogleVR SDK重要组件介绍
  8
)虚拟现实UI制作
  9
)虚拟现实用户与UI交互
  10
)虚拟现实用户与场景物体交互
  11
)案例:虚拟现实数据可视化

阶段九、系统架构师之-人工智能大数据企业项目实战(选修)

课程四十三、Hadoop3.0新特性、新魅力【直播】

Hadoop 2.0是基于JDK 1.7开发的,而JDK 1.720154月已停止更新,这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本,而这正是hadoop
3.0
Hadoop 3.0alpha版预计今年夏天发布,GA版本11月或12月发布。 Hadoop 3.0中引入了一些重要的功能和优化,包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。从Apache hadoop项目组爆出的最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce基于内存+io+磁盘,共同处理数据。

1Hadoop3.0如何精简内核
  2
Hadoop3.0如何防止不同版本jar包冲突 
  3
Shell脚本重构 
  4
)擦除编码 
  5
Tasknative优化

6MapReduce内存参数自动推断
  7
)基于cgroup的内存隔离和IO Disk隔离
  8
)用curator实现RM leader选举
  9
Timelineserver next generation

课程四十四、项目实战:基于大数据技术推荐系统实战

随着电子商务规模的不断扩大,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统在提高用户体验的同时,可以大大增加用户购买量,据统计,亚马逊的 30%收入来自于他
的推荐引擎。近几年,国内互联网公司也非常重视推荐系统建设,包括阿里巴巴,京东,腾讯等。本课程以商业实战项目作为驱动来学习大数据技术在推荐系统项目
中的应用。使得学员能够亲身体会大数据项目的使用场景和开发场景及其所产生的商业价值,零距离接触企业实战型项目,学以致用,不在停留在大数据的概念环节而是进入大数据技术实战项目开发的阶段。

1)推荐系统与大数据的关系
  2
)认识推荐系统 
  3
)推荐系统设计 
  4
)大数据lambda架构 
  5
)用户画像系统

6)推荐算法
  7
Mahout推荐算法实战
  8
Spark推荐算法实战
  9
)推荐系统与Lambda架构等

课程四十五、项目实战:基于Storm流计算天猫双十一作战室项目实战

Storm是什么? 为什么学习Storm StormTwitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop 随着越来越多的场景对HadoopMapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前
已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意
义。Hadoop提供了mapreduce原语,使我们的批处理程序变得简单和高效。同样,Storm也为实时计算提供了一些简单高效的原语,而且StormTrident是基于Storm原语更高级的抽象框架,类似于基于HadoopPig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。学完本课程你可以自己开发升级版的淘宝双11”,还等什么?

1Storm架构原理详解
  2
Zookeeper集群部署和测试 
  3
Storm集群搭建及测试 
  4
WrokerExecuterTask 
  5
)滚动窗口 Tumbling Window的实战案例

6)滑动窗口 Sliding Window的实战案例
  7
Kafka集群搭建
  8
)项目-地区销售额
  9
Trident 
  10
)省份销售TopN

课程四十六、项目实战:基于人工智能项目实战

课程首先概述讲解人工智能应用与挑战,由计算机视觉中图像分类任务开始讲解人工智能的常规套路。对于复杂的神经网络,将其展开成多个小模块进行逐一攻破,
再挑战整体神经网络架构。对于人工智能模型形象解读卷积神经网络原理,详解其中涉及的每一个参数,对卷积网络架构展开分析与评估,对于现阶段火爆的对抗生
成网络以及强化学习给出形象解读,并配合项目实战实际演示效果。 基于框架实战,选择两款人工智能最火框架,CaffeTensorflow,首先讲解其基本使用方
法,并结合案例演示如何应用框架构造神经网络模型并完成案例任务。 选择经典人工智能项目实战,使用人工智能框架从零开始完成人脸检测,验证码识别,人脸关键点定位,垃圾邮件分类,图像风格转换,AI自己玩游戏等。对于每一个项目实战,从数据预处理开始一步步构建网络模型并展开分析与评估。 课程提供所涉及的所有数据,代码以及PPT,方便大家快速动手进行项目实践!

1)人工智能概述与挑战
  2
)神经网络图像分类 
  3
)验证码识别 
  4
Caffe详解 
  5
)人脸检测 
  6
)人脸关键点定位

7Tensorflow详解
  8
)垃圾邮件文本分类
  9
)图像风格转换
  10
DQN网络让AI自己玩游戏
  11
)对抗生成网络 
  12
GAN网络实例和DCGAN网络实战等

课程四十七、【项目直播】医疗保险大数据分析与统计推断项目实战【Hadoop篇】

项目(医疗保险大数据分析与统计推断项目实战【Hadoop篇】)主要分为七个部分,分别是:第一部分:业务系统(广东省新型合作医疗保险管理系统)的业务逻辑分析、数据前期清洗和数据分析目标指标的设定等,业务系统核心业务模块有:参合信息管理、门诊补偿管理、住院补偿管理、降销补偿管理、定点机构管理、保险基金管理、费用项目管理和疾病病种管理等; 第二部分:LinuxHadoop分布式集群搭建方面的内容,大数据前沿知识介绍、LinuxVmware安装和使用、Linux/Vmware文件系统操作、Hadoop的单机、伪分布、完全分布式模式的安装配置等; 第三部分:Hadoop分布式集群进阶方面课程,Hadoop2.x体系结构及Hadoop3.0新特性、 HDFS原理,HDFS Shell操作、YARN的基本构成和工作原理、MapReduce并行计算框架、基本的MapReduce算法实现和Hadoop集群上部署和执行MR Job等; 第四部分:大数据导入与存储方面的课程,关系型数据库基础知识、hive的基本语法、hive的架构及设计原理、hive安装部署与案例、Sqoop安装及使用和Sqoop与关系型数据库进行交互等; 第五部分:Hbase理论及实战方面的课程,Hbase简介、安装及配置、Hbase的数据存储与数据模型、Hbase ShellHbase 访问接口和Hbase数据备份与恢复方法等; 第六部分:医疗保险数据分析与统计推断方面的课程,背景与分析推断目标、数据抽取、数据探索分析、数据预处理等; 第七部分:数据分析与统计推断结果的展示(大数据可视化)方面的课程,主要是使用TableauD3.jsHighchartsECharts等可视化工具和技术 把最终的分析结果,以优美的图表展示给客户。

1)业务系统介绍
  2
Hadoop入门 
  3
Hadoop部署进阶 
  4
)大数据导入与存储

5Hbase理论及实战 
  6
)保险数据分析与统计推断 
  7
)数据分析与统计推断结果的展示(大数据可视化)

课程四十八、AI大数据互联网电影智能推荐(第一季)

随着科技的发展,现在视频的来源和类型多样性,互联网视频内容充斥着整个网络,如果仅仅是通过翻页的方法来寻找自己想看的视频必然会感到疲劳,现在急需一种能智能推荐的工具,推荐系统通过分析用户对视频的评分分析,对用户的兴趣进行建模,从而预测用户的兴趣并给用户进行推荐。
Python
是一种面向对象的解释型计算机程序设计语言,Python具有丰富和强大的库。它常被昵称为胶水语言,而大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,企业面临海量数据的到来,大多选择把数据从本地迁移至云端,云端将成为最大的非结构化数据存储场所。本项目主要以客户咨询为载体,分析客户的群体,分布,旨在挖掘客户的内在需求,帮助企业实现更有价值的营销。

一、教务管理系统业务介绍

1)教务管理系统框架讲解
  2
)系统业务逻辑介绍

二、大数据需求分析

1)明确数据需求
  2
)大数据分析过程
  3
)分析难点和解决方案
  4
)大数据相关技术选型

三、构建分布式大数据框架

1Hadoop分布式集群配置
  2
ZooKeeper高可用
  3
SQOOP数据转移
  4
ETL数据清洗
  5
HIVE数据分析
  6
HBase数据存储

四、基于教务管理系统大数据分析

1)业务数据分析指标设定
  2
)操作MapReduce分而治之
  3
)使用Hive进行数据整合抽离
  4
)使用HBase存储非结构话数据

五、大数据可视化

1)可视化技术选型
  2
Echarts代码展示炫酷视图
  3
)使用Tableau进行数据可视化展示

课程四十九、电商大数据情感分析与AI推断实战项目(第一季)

本项目从开发的角度以大数据、PHP技术栈为基础,使用真实商用表结构和脱敏数据,分三步构建商用系统、真实大数据环境、进行推断分析以及呈现结果。
项目课程的完整性、商业性,可以使学者尽可能完整地体会真实的商业需求和业务逻辑。完整的项目过程,使PHP技术栈的同学得以窥见和学到一个完整商业平台项目的搭建方法;真实大数据环境的搭建,使呈现、建立大数据的工具应用技术概念储备;基于大数据平台的分析需求的实现、呈现,将完整的一次大数据技术栈到分析结果的中线,平铺直述,为想要学习大数据并有开发基础的同学点亮新的能力。

一、实践项目研发

1)开发环境的安装配置
  2
)表与数据
  3
LARAVEL的快速开发实践
  4
)批量创建模型
  5
)万能控制器与表配置
  6
)统一视图的创建

二、数据分析需求设立

1)定义数据需求
  2
)分析计算过程
  3
)分析难点和解决方案
  4
)大数据技术选型

三、大数据平台搭建

1)分布式环境的模拟建立
  2
)网络环境的调通
  3
)身份验证与集群控制
  4
Hadoop环境搭建和要点说明
  5
HIVE数据分析
  6
MapReduceYarn的搭建和说明

四、大数据分析脚本编写

1MapReduce脚本编写
  2
)拆解数据需求
  3
Map逻辑详写
  4
Reduce逻辑详写
  5
)结果整理与输出

五、结果可视化

1)可视化需求和技术选型
  2
)展示页面的快速铺设
  3
)可视化JS上手
  4
)使用可视化JS展示结果

课程五十、AI法律咨询大数据分析与服务智能推荐实战项目(第一季)

本项目结合目前流行的大数据框架,在原有成熟业务的前提下,进行大数据分析处理,真实还原企业应用,让学员身临其境的感受企业大数据开发的整个流程。
项目的业务系统底层主要采用JAVA架构,大数据分析主要采用Hadoop框架,其中包括Kettle实现ETLSQOOPHiveKibanaHBASESpark以及人工智能算法等框架技术;采用真实大数据集群环境的搭建,让学员切身感受企业项目的从01的过程。

一、系统业务介绍

1)底层业务实现框架讲解
  2
)功能模块讲解

二、系统架构设计

1)总体架构分析
  2
)数据流向
  3
)各技术选型承载作用
  4
)部署方案

三、详尽实现

1)原始数据处理
  2
ETL数据导入
  3
MR数据计算
  4
Hive数据分析

四、数据可视化

1)采用Highcharts插件展示客户偏好曲线图
  2
)使用Tableau进行数据分析可视化展示

五、项目优化

1ZooKeeper实现HA
  2
)集群监控的整体联调

课程五十一、AI大数据基站定位智能推荐商圈分析项目实战(第一季)

随着当今个人手机终端的普及、出行人群中手机拥有率和使用率已达到相当高的比例,根据手机信号在真实地理空间的覆盖情况,将手机用户时间序列的手机定位数据,映射至现实地理位置空间位置,即可完整、客观地还原出手机用户的现实活动轨迹,从而挖掘出人口空间分布与活动联系特征信息。
商圈是现代市场中企业市场活动的空间,同时也是商品和服务享用者的区域。商圈划分为目的之一是研究潜在顾客分布,以制定适宜的商业对策。
本项目以实战为基础结合大数据技术Hadoop.Net技术全栈为基础,采用真实商业数据,分不同环节构建商用系统、真实大数据环境、进行推断分析及呈现数据。

一、分析系统业务逻辑讲解

1)大数据基站定位智能推荐商圈分析系统介绍
  2
)数据前期清洗和数据分析目标指标的设定等

二、大数据导入与存储

1)关系型数据库基础知识
  2
hive的基本语法
  3
hive的架构及设计原理
  4
hive安装部署与案例等
  5
Sqoop安装及使用
  6
Sqoop与关系型数据库进行交互等
  7
)动手实践

三、Hbase理论及实战

1Hbase简介、安装及配置
  2
Hbase的数据存储与数据模型
  3
Hbase Shell
  4
Hbase 访问接口
  5
Hbase数据备份与恢复方法等
  6
)动手实践(数据转储与备份)

四、基站数据分析与统计推断

1)背景与分析推断目标
  2
)分析方法与过程推断
  3
)动手实践(分析既定指标数据)

五、数据分析与统计推断结果的展示(大数据可视化)

1)使用Tableau展示数据分析结果
  2
)使用HighChartsECharts展示数据分析结果

阶段十、系统架构师之百度云实战体系

课程五十二、深入理解百度云计算基础产品/基于百度云弹性计算服务实现基础架构解决方案

全面介绍BCCCDS EIP)、BLBRDSBOSVPC等百度云弹性计算服务,介绍百度云的安全防护方案,深入介绍传统架构下如何通过百度云弹性计算服务快速构建更稳定、安全的应用; 认证培训专家将通过深入浅出,理论和实践相结合的课程帮助学员深入掌握百度云弹性计算服务。

11)快速体验百度云服务器BCC的功能全貌
  2
)基于BCC的云磁盘CDS的操作与管理 
  3
3)基于BCC的磁盘快照、自定义镜像的操作与管理 
  4
)基于自定义镜像快速生成BCC的实验 
  5
)基于磁盘快照实现数据备份与恢复的最佳实践
  6
)基于百度云安全组完成定义IP+端口的入站和出站访问策略
  7
)快速体验百度云私有网络VPC的功能全貌
  8
)基于百度云VPC+VPN快速搭建Stie-to-Stie的混合云架构
  9
)在百度云VPC网络下实现NAT地址映射的实践
  10
)快速体验百度云数据库RDS的功能全貌

11)云数据库RDS的备份与恢复操作体验
  12
)熟悉数据传输服务DTS的使用
  13
)快速体验百度云负载均衡BLB的功能全貌
  14
)快速体验百度云存储BOS的功能全貌
  15
)快速体验百度云数据库RDS的功能全貌
  16
)快速体验百度云内容分发网络CDN
  17
)基于BLBBCCRDSBOSCDN快速部署Discuz论坛实现弹性架构综合实验
  18
)快速体验百度云安全BSSDDOS防护服务
  19
)快速体验百度云监控BCM

课程五十三、基于百度云的迁移上云实战

基于百度云弹性计算服务的基础产品,实现传统IT架构迁移到百度云上的实战,为客户业务上云提升能力,提升客户上云前的信心,上云中和上云后的技术能力。以真实的客户案例,结合设计好的动手实验课提升实战经验,介绍了业务上云的过程、方法、工具以及案例等。

1)基于BCC快速部署LNMP基础环境
  2
)基于BCC快速部署LAMP基础环境 
  3
)基于BCC快速部署MySQL数据库 
  4
)基于BCC快速部署MS SQL数据库服务 
  5
)基于BCC快速部署Tomcat基础环境

6)云数据库RDS结合数据传输服务DTS实现数据迁移上云的最佳实践
  7
)基于BOS桌面实现BOS的可视化管理
  8
)基于BOS FS实现BOS服务挂载到本地文件系统
  9
)基于BOS-Util实现BOS的批量文件操作的演示
  10
)基于BOS CLI实现BOS文件的单机操作

课程五十四、在百度云平台上进行开发

全面介绍使用百度云产品进行应用开发,理解百度云主要产品特性,包括BCCBOSRDSSCS在应用开发中的使用,结合实际应用开发案例全面的介绍整个开发流程和百度云产品使用方法,以提升学员开发技能和了解百度云产品开发特点,根据一天或者两天的课程,提供多个实际动手实验,认证讲师指导实验,真正做到学以致用,为学员实现上云开发保驾护航。

1)基于百度云OpenAPI实现简化版控制台的综合实验

2)基于百度云BOS OpenAPI实现简化版的百度网盘

课程五十五、百度云天算 · 智能大数据平台介绍/实战

天算是百度云提供的大数据和人工智能平台,提供了完备的大数据托管服务、智能API以及众多业务场景模板,帮助用户实现智能业务,引领未来。本课程力求对百度大数据平台进行整体、全面的介绍,包括天算平台与解决方案介绍、主要产品(百度MapReduce BMR、百度机器学习、百度Kafka、百度OLAP引擎Palo等)的介绍、客户案例分享等。

1)在百度云上使用MapReduce--基于BMR实现“WordCount”
  2
)在百度云上使用Spark--基于BMR实现日志数据PVUV统计 
  3
)在百度云上使用Hive--基于BMR实现商品销售情况统计 
  4
)在百度云上使用HBase--基于BMR实现日志数据PVUV统计 
  5
)在百度云上使用Kafka--基于百度Kafka实现日志数据收集

6)在百度云上使用Kafka--基于百度Kafka实现日志数据收集 
  7
)安装Java SDK并使用SDK操作百度云MolaDB,包括实例操作、表操作和数据操作 
  8
)使用百度云BigSQL实现PB量级以上的半结构化数据即席查询 
  9
)使用百度云Sqoop完成数据的导入和导出--RDS上的数据导入HiveHDFS的数据导出至关系型数据库RDS

课程五十六、百度云天工 · 智能物联网天像· 智能多媒体服务平台介绍与案例分析

百度天工物联平台是一站式、全托管的物联网服务平台,依托百度云基础产品与服务,提供全栈物联网核心服务,帮助开发者快速搭建、部署物联网应用。通过全面介绍天工的IoT HubIoT ParserRule EngineIoT DeviceBMLBMROCR和语音识别等产品与服务,解析天工典型的产品架构方案,应用到工业4.0、车联网、能源、物流和智能硬件等各行业解决方案。

1)基于百度云LSS快速搭建音视频直播平台最佳实践
  2
)基于百度云VOD快速搭建音视频点播平台最佳实践 
  3
)体验百度云音视频转码MCT的转码计算服务

4)基于百度云文档服务DOC体验文档存储、转码、分发播放一站式服务体验
  5
)基于百度云物接入IoT Hub实现智能设备与百度云端之间建立安全的双向连接 
  6
)体验百度云的物管理IoT Device端到端配置实践

阶段十一、系统架构师之区块链

区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法。
区块链是比特币的底层技术,像一个数据库账本,记载所有的交易记录。这项技术也因其安全、便捷的特性逐渐得到了银行与金融业的关注。

一、课程介绍

1)区块链的发展
  2
)课程安排

3)学习目标

二、区块链的技术架构

1)数据层 创世区块   交易记录 私钥,公钥和钱包地址 
  2
)数据层 & 通讯层 记账原理 Merkle 树和简单支付验证(SPV P2P通讯 数据通信和验证 
  3
)共识层
  4
)激励层 拜占庭将军问题与POW Pos DPos PBFT 挖矿 交易费 图灵完备和非完备

5)合约层 比特币脚本   以太坊智能合约 fabic智能合约 RPC远程调用
  6
)应用层 
  7
)总结 接口调用 DAPP的使用 应用场景的部署 重要概念和原理

三、环境搭建

1)以太坊 以太坊介绍   以太坊开发过程 图形界面客户端使用 供应链的应用 保险领域的应用 DAO的介绍和应用 
  2
)以太坊 以太坊本地开发环境的搭建 以太坊分布式集群环境的搭建

3hyperledger项目fabric fabric介绍   fabric本地开发环境搭建 fabric分布式集群环境搭建

四、案例和DEMO

1)案例讲解 支付和清结算   公益行业的应用 供应链的应用 保险领域的应用 DAO的介绍和应用 
  2
Demo介绍 发币和交易Demo

3Demo介绍 数据资产的确权和追溯

阶段十二、系统架构师之阿里云认证

课程五十七、云计算 - 网站建设:部署与发布

阿里云网站建设认证课程教你如何掌握将一个本地已经设计好的静态网站发布到Internet公共互联网,绑定域名,完成工信部的ICP备案。

课程五十八、云计算 - 网站建设:简单动态网站搭建

阿里云简单动态网站搭建课程教你掌握如何快速搭建一个WordPress动态网站,并会对网站进行个性化定制,以满足不同的场景需求。

课程六十、云计算 - 云服务器管理维护

阿里云服务器运维管理课程教你掌握快速开通一台云服务器,并通过管理控制台方便地进行服务器的管理、服务器配置的变更和升级、数据的备份,并保证其可以正常运转并按业务需求随时进行配置的变更。

课程六十、云计算 - 云数据库管理与数据迁移

阿里云云数据库管理与数据迁移认证课程掌握云数据库的概念,如何在云端创建数据库、将自建数据库迁移至云数据库MySQL版、数据导入导出,以及云数据库运维的常用操作。

课程六十一、云计算 - 云存储:对象存储管理与安全

阿里云云储存认证课程教你掌握安全、高可靠的云存储的使用,以及在云端存储下载文件,处理图片,以及如何保护数据的安全。

课程六十二、云计算 - 超大流量网站的负载均衡

掌握如何为网站实现负载均衡,以轻松应对超大流量和高负载。

课程六十三、大数据 - MOOC网站日志分析

本课程可以帮助学员掌握如何收集用户访问日志,如何对访问日志进行分析,如何利用大数据计算服务对数据进行处理,如何以图表化的形式展示分析后的数据。

课程六十四、大数据 - 搭建企业级数据分析平台

模拟电商场景,搭建企业级的数据分析平台,用来分析商品数据、销售数据以及用户行为等。

课程六十五、大数据 - 基于LBS的热点店铺搜索

本课程可以帮助学员掌握如何在分布式计算框架下开发一个类似于手机地图查找周边热点(POI)的功能,掌握GeoHash编码原理,以及在地理位置中的应用,并能将其应用在其他基于LBS的定位场景中。
课程中完整的演示了整个开发步骤,学员在学完此课程之后,掌握其原理,可以在各种分布式计算框架下完成此功能的开发,比如MapReduceSpark

课程六十六、大数据 - 基于机器学习PAI实现精细化营销

本课程通过一个简单案例了解、掌握企业营销中常见的、也是必需的精准营销数据处理过程,了解机器学习PAI的具体应用,指导学员掌握大数据时代营销的利器---通过机器学习实现营销。

课程六十七、大数据 - 基于机器学习的客户流失预警分析

本课程讲解了客户流失的分析方法、流程,同时详细介绍了机器学习中常用的分类算法、集成学习模型等通用技能,并使用阿里云机器学习PAI实现流失预警分析。可以帮助企业快速、准确识别流失客户,辅助制定策略进行客户关怀,达到挽留客户的目的。

课程六十八、大数据 - 使用DataV制作实时销售数据可视化大屏

帮助非专业工程师通过图形化的界面轻松搭建专业水准的实时可视化数据大屏,以满足业务展示、业务监控、风险预警等多种业务的展示需求。

课程六十九、大数据 - 使用MaxCompute进行数据质量核查

通过本案例,学员可了解影响数据质量的因素,出现数据质量问题的类型,掌握通过MaxComputeDateIDE)设计数据质量监控的方法,最终独立解决常见的数据质量监控需求。

课程七十、大数据 - 使用Quick BI制作图形化报表

阿里云Quick BI制作图形化报表认证课程教你掌握将电商运营过程中的数据进行图表化展现,掌握通过Quick BI将数据制作成各种图形化报表的方法,同时还将掌握搭建企业级报表门户的方法。

课程七十一、大数据 - 使用时间序列分解模型预测商品销量

使用时间序列分解模型预测商品销量教你掌握商品销量预测方法、时间序列分解以及熟悉相关产品的操作演示和项目介绍。

课程七十二、云安全 - 云平台使用安全

阿里云云平台使用安全认证课程教你了解由传统IT到云计算架构的变迁过程、当前信息安全的现状和形势,以及在云计算时代不同系统架构中应该从哪些方面利用云平台的优势使用安全风险快速降低90%

课程七十三、云安全 - 云上服务器安全

阿里云云上服务器安全认证课程教你了解在互联网上提供计算功能的服务器主要面临哪些安全风险,并针对这些风险提供了切实可行的、免费的防护方案。

课程七十四、云安全 - 云上网络安全

了解网络安全的原理和解决办法,以及应对DDoS攻击的方法和防护措施,确保云上网络的安全。

课程七十五、云安全 - 云上数据安全

了解云上数据的安全隐患,掌握数据备份、数据加密、数据传输安全的解决方法。

课程七十六、云安全 - 云上应用安全

了解常见的应用安全风险,SQL注入原理及防护,网站防篡改的解决方案等,确保云上应用的安全。

课程七十七、云安全 - 云上安全管理

了解云上的安全监控方法,学会使用监控大屏来监控安全风险,并能够自定义报警规则,确保随时掌握云上应用的安全情况。

阶段十三、系统架构师之职业素养

本课程主要为广大毕业生或者工作经验较少的学员而设立,主要是为了在职业素养方面给大家提供辅导,为更加顺利走向职场而提供帮助。

为什么有些同学在技能方面过关,却还是给予别人一种书生气的感觉?
为什么简历已经通过了,却还是没有通过HR的面试?
为什么入职后,与同事的沟通总是存在问题?
为什么每天的时间都不够用,无法兼顾生活学习和工作?
为什么学习一段时间后,对工作对职场没有方向感?
为什么遇到事情,别人总是能够保持良好心态游刃有余,而我总是问题百出?

COT课程正是引领大家一起来探索其中的奥秘和方法,让大家一起在学习过程中不断深思和进步,让大家的职场路越走越顺畅!

1)团队协作

2)心态管理

3)目标管理

4)时间管理

5)学习管理

6)沟通能力

7)求职目标

8)项目管理

 

想要了解更多关于大数据、云计算系统架构师培训课程方面的信息,可以来79招生网查看或直接网上报名免费咨询!

更多课程推荐:

黑马先锋学院始建于2006年,凭借对互联网技术敏锐的洞察力,经过10多年不懈努力,已成为目前中国职业教育行业的领航者之一,中国知名互联网职业教育机构,口口相传的在线学习平台。学院以互联网为平台,为在校大学生、IT从业者提供高性价比的IT实战培训,持续提升学员的职场竞争能力,实现学员整个职业生涯“从菜鸟到技术总监”的全面提升解决方案。

黑马学院以质量、创新、专注、责任为核心价值观,致力于服务各大互联网企业,解决当前互联网技术飞速发展,而企业招不到优秀人才的困扰。 学院采用项目教学法,游戏闯关式教学模式,按职位的专业要求设置课程体系,采取随到随学、通关式学习、一对一辅导的模式,保证学习效果,学员必须通过每个阶段的考试才能进入下个阶段学习,每个学员都会经历“学习-答疑-考核”的学习过程,致力于为社会培养IT互联网领域的实战应用型人才。

黑马学院不仅着重培养学员的基础理论知识,更注重培养项目管理能力,并密切关注技术革新,不断引入先进的技术,研发更新技术课程,确保学员进入企业后不仅能独立从事开发工作,更能给企业带来新的技术体系和理念。

黑马学院的学员多为大学毕业后,想从事IT行业,但各方面条件还不成熟的年轻人。学员筛选制度非常严格,包括了严格的技术测试、自学能力测试,还包括性格测试、压力测试、品德测试等。百里挑一的残酷筛选制度确保了学员质量,并降低了企业的用人风险。

黑马学院为学员提供一站式技能学习服务,包括基础课件预习,名师真人直播,专属助教答疑,专属班主任的一站式教学服务。目前已签约300多名技术大牛、一线技术专家、知名图书作者,原创录制实战视频时长超过5000小时,已进入200多所高校,提供丰富的教学资源。

产品服务事业部:为高校、企业和政府提供包括人工智能、大数据、网络空间安全、云计算、物联网、移动互联等专业方向的教学、实验、科研及竞赛平台,服务内容包括高校实验实训室建设、专业共建、师资培训、企业内训、认证与就业培训等多种形式;专注于人工智能、大数据、高校实验室平台、教育信息化、智慧校园、VR/AR交互类产品的研发,拥有大数据教学实训室、网络安全攻防实验室、虚拟仿真实验平台、电子商务实训室等13项实验室,服务了60多所全国高等院校。

院校合作事业部:黑马蓬勃发展的十二年,是推动中国校企合作、产融结合的十二年,也是推动中国高校职业教育改革的十二年,从黑马成立之初,高校一直是黑马的亲密合作伙伴,始终致力于成为中国职业教育改革一站式解决方案,以合作办学,合作育人,合作就业,合作发展为主线,提出了黑马高校教学体系解决方案,黑马高校全方位实习解决方案,黑马高校大学生就业解决方案、企业级师资培训解决方案。黑马与全国200余家高校深度合作、专业共建,把企业的项目搬到学校,把学校的课堂搬到企业,工程师和高校老师共同协作双师教学,实现了产教共融,协同发展,更好的培养高素质人才。

使命:
让学习更简单,让人生更出彩

愿景:
创新教育、引领未来,通过教育服务提升生活品质

发展目标:
构建未来的教育生态系统

教育目标:
培养技术领袖、创新改变世界

经营理念:
以质量为生命,以客户为中心

价值观:
诚信、敬业、激情、合作、创新

课程安排时间:

白班、晚班、业余制班、周末班、一对一定制课程(详情请咨询客服)

白 班:8:30-16:30 (周一至周五白天时间段选择)

全日制:8:30-11:30/13:40-16:30 (周一至周五全天上课)

晚上班:18:00-21:00

周 末:8:30-16:30(每周六或周日全天)

具体上课时间学员根据自身时间安排选择报班。



课程周期:

课程周期长短以学员实际所报班级为准,一对一课程和培训老师沟通安排。



课程收费:

因学员自身基础和所要学习达到的程度、报班时间长短等客观因素不等,我们开设有不同的班级,费用有所区别,费用以学员所报班级为准,学员根据自身要求选择报班,如有疑问请咨询报名老师。

不同时间校区有不同的优惠活动,详细优惠以当时参加的优惠活动为准。



预约试听体验课程:

学员如需参加体验课程,至少需提前一周和顾问预约体验课程,提供给顾问参加学员姓名+电话+课程+所在地区,顾问会及时登记预约就近校区体验课程,预约成功后顾问会通过电话或短信及时通知学员。



报名须知:

1、外地学员,需代办食宿,提前和老师预约沟通。

2、学费不包含食宿费用。(全日制住宿课程除外)

3、校区顾问会不定期回访学员,了解基础情况,请学员配合顾问回访。

4、课程调换或改期,需到校区和课程老师沟通。

5、课程退班退费,学员需到校区办理。(实际情况以校区规定为准)

6、报名完成后保留好报名票据,以及课程老师联系电话,以便后期和老师跟进。

7、优惠活动请和报名老师咨询了解。



我们竭诚为您服务,如需帮助或了解优惠活动,请在线联系客服,客服会及时安排课程老师电话和您沟通介绍

  • 暂无评论!

      79招生网为第三方平台,不会向学员收取任何费用;内容素材如有侵权、虚假不实、违法违规信息等请联系我们 020-26225931。

      课程信息由培训机构(或其代理)自行发布(或提供),请用户在自辨课程虚实、有效性、及时性时留意以实际授课为准。



报名咨询

       您好,在此留下您的联系方式,我们将第一时间与您联系!

学校信息

学校优势:

黑马先锋学院始建于2006年,凭借对互联网技术敏锐的洞察力,经过10多年不懈努力,已成为目前中国职业教育行...

QQ客服

联系电话

18924037954

(微信同号)

微信公众号

79招生网微信公众号