- 首页为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS申硕疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS求职疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS申博疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS教职疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS游民疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS入门疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS升职疯子-在整为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- CS回国疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 肖哥极致人生为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美加身份疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 地球公民疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 网站为啥长这样为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 申硕|求职|身份|人生都疯为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 英语学习疯子为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国文化为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国生娃为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国买房为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国省钱|赚钱为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 美国O-1与NIW为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 墨西哥绿卡为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 文章疯了为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
- |
- 网站升级日志为确保后续访问顺畅，点击页面后会先下载约150 MB的图片，因此需加载20-23秒，请耐心等待，辛苦了~（因为图片过多且比较大，所以强烈建议用电脑端访问本网站，而不是手机端访问。）
（八）Big Data大数据学习路径
（八）Big Data大数据学习路径
1. 初阶
关于学习的顺序：参考过不同的建议后我的顺序是：
分布式理论基础和原理->Hadoop (HDFS, map reduce, yarn) -> Zookeeper -> Hive(数据仓库) -> Flume(数据采集) -> Kafka(数据传输) -> HBase(分布式数据库) -> Scala -> Spark(数据离线计算) -> Flink(实时数据的处理)
这个顺序不是固定的，可以根据自己的优先级进行调整。Hadoop、zookeeper和Hive都是Hadoop系统的
顺序 | 资源 | 知识分类/使用方法 | 推荐指数 | 链接和介绍 |
1 | 学习 Linux 基本操作 | 【Linux】 1)要熟练操作Linux常用命令以及网络配置； 2)熟悉用户以及权限管理操作； 3)熟悉软件包以及系统命令管理； 4)学习shell编程。 | 《鸟哥的Linux私房菜》 https://32931414.s21i.faiusr.com/61/ABUIABA9GAAghJiCuwYo7PKRtgQ.pdf譬如怎么在电脑上装一台 Linux 出来、怎么查看进程、怎么操作文件、软链硬链、格式化磁盘、配置网卡、curl 一个网页等。 强烈建议如果你希望自己的操作系统方面的知识好一些，赶紧把你的 Windows 系统装成 Ubuntu，或者换台 Mac 也行。 Unix和Linux的区别： | |
2 | 大数据概况 | 【大局观】 | W3C： https://www.w3cschool.cn/hadoop/hadoop_big_data_overview.html | |
【Hadoop】Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。
关于Hadoop,你至少需要搞清楚以下是什么： Hadoop 1.0、Hadoop 2.0 MapReduce、HDFS NameNode、DataNode JobTracker、TaskTracker Yarn、ResourceManager、NodeManager | ||||
1 | 快速入门 | 【Hadoop】 几篇小文章快速入门 | 1 | Hadoop极简入门： W3C： |
2 | 《Hadoop权威指南》Hadoop: The Definitive Guide | 【Hadoop】 | 17 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgwJiCuwYowLD_9wM.pdf |
3 | Github repo 大数据成神之路 | 【Hadoop】github高人气repo，是在另一个“大数据入门指南”repo的基础上的总结，包含基本那个repo所有的内容，并有增加高屋建瓴的总结。 | NA | https://github.com/wangzhiwubigdata/God-Of-BigData 进入repo后选择Hadoop |
4 | 视频课程 | 【Hadoop】【实战】喜欢看视频的可以看这个 | 1 | 黑马程序员大数据Hadoop入门视频教程： |
5 | 《Hadoop实战》（Hadoop in Action） | 【Hadoop】【实战】 | 6 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg9piCuwYo9aeAxAI.pdf |
【Zookeeper】Zookeeper是Hadoop的分布式协调服务。分布式应用程序可以基于它，来实现同步服务，配置维护和命名服务等。zookeeper可以保证数据在zookeeper集群之间的数据的事务性一致。 | ||||
1 | 《从paxos到zookeeper分布式一致性原理与实践》 | 【Zookeeper】 | 5 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgtJmCuwYoivX-rgQ.pdf |
2 | Github repo 大数据成神之路 | 【Zoopeeker】github高人气repo，是在另一个“大数据入门指南”repo的基础上的总结，包含基本那个repo所有的内容，并有增加高屋建瓴的总结。 | NA | https://github.com/wangzhiwubigdata/God-Of-BigData 进入repo后选择Zookeeper |
3 | 视频课程 | 【Zookeeper】 | 1 | 【尚硅谷】大数据技术之Zookeeper 3.5.7版本教程： |
【Hive】 Hive是基于Hadoop的一个数据仓库工具，将繁琐的MapReduce程序变成了简单方便的SQL语句实现，深受广大软件开发工程师喜爱。 这个东西对于会SQL语法的程序猿来说简直就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。 通过前面的学习，我们已经了解到了，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。 简单点来说就是，Hive的底层是MapReduce，你只要写HQL（和SQL差不了多少）就完事了！ Σ(っ °Д °;)っ | ||||
1 | Github repo 大数据成神之路 | 【Hive】github高人气repo，是在另一个“大数据入门指南”repo的基础上的总结，包含基本那个repo所有的内容，并有增加高屋建瓴的总结。 | NA | https://github.com/wangzhiwubigdata/God-Of-BigData 进入repo后选择Hive |
2 | W3Cschool | 【Hive】 | 1 | |
3 | 尚硅谷Hive教程 | 【Hive】 | 1 | https://www.bilibili.com/video/av65556024?from=search&seid=14922409626561581253 |
【Flume】Flume是Cloudera开发的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据。数据源可定制、可扩展，数据存储系统可定制、可扩展。 https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg_pmCuwYovKCx9wQ.pdf | ||||
1 | 尚硅谷大数据技术之Flume | 【Flume】 | 1 | 有三套课程可以选择： https://www.bilibili.com/video/av68376629?from=search&seid=15081053946655972416 https://www.bilibili.com/video/av65541678?from=search&seid=13455141829682550307 |
2 | Flume 1.9用户手册中文版 | 【Flume】 | 1 | |
【Kafka】 | ||||
1 | Github repo 大数据成神之路 | 【Kafka】github高人气repo，是在另一个“大数据入门指南”repo的基础上的总结，包含基本那个repo所有的内容，并有增加高屋建瓴的总结。 | NA | https://github.com/wangzhiwubigdata/God-Of-BigData 进入repo后选择Kafka |
2 | 《Kafka权威指南》 | 【Kafka】 | 11 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgyJqCuwYosIPrqAQ.pdf Kafka核心作者和业界一线人员共同执笔的作品，全面介绍Kafka设计原理和架构细节，列举非常流行的应用场景，帮助Kafka 用户在生产环境中运行Kafka 以及基于Kafka 构建健壮的高性能应用程序。 |
3 | 尚硅谷_Kafka教程 | 【Kafka】 | 2 | https://www.bilibili.com/video/av65544753?from=search&seid=12535568434906893507 |
4 | Apache kafka实战 | 【Kafka】 | 5 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg7JqCuwYomNTO6gM.pdf 本书基于1.0.0 版本，由Kafka Contributor执笔，是涵盖Apache Kafka各方面的具有实践指导意义的工具书和参考书。 作者结合典型的使用场景，对Kafka整个技术体系进行了较为全面的讲解，以便读者能够举一反三，直接应用于实践。同时，本书还对Kafka的设计原理及其流式处理组件进行了较深入的探讨，并给出了翔实的案例。 |
5 | 阅读一些文章 | 【Kafka】 | N/A | 郭俊Jason 【推荐，也是炼数成金网站Kafka视频作者】 Kafka设计解析（八）- Exactly Once语义与事务机制原理 Kafka设计解析（五）- Kafka性能测试方法及Benchmark报告 Kafka设计解析（四）- Kafka Consumer设计解析 Kafka设计解析（三）- Kafka High Availability （下） Kafka设计解析（二）- Kafka High Availability （上） 厮大 《Kafka 数据可靠性深度解读》 强烈推荐，惊为天人。【特别细，不适合入门】 飞哥 《Kafka 设计（上）》 【排版没有条理】 薛定谔的鸡 《Kafka 史上最详细原理总结》 Reference: https://www.cnblogs.com/snowwhite/p/10423377.html |
【HBase】 | ||||
1 | Github repo 大数据成神之路 | 【Hbase】github高人气repo，是在另一个“大数据入门指南”repo的基础上的总结，包含基本那个repo所有的内容，并有增加高屋建瓴的总结。 | NA | https://github.com/wangzhiwubigdata/God-Of-BigData 进入repo后选择Hbase |
2 | HBase不睡觉书 | 【Hbase】 | 3 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgzpuCuwYo_Ifl2Qc.pdf HBase是Hadoop生态当中的重要组件，也是学习Hadoop的重点之一。这本书由浅入深地讲解HBase概念、安装、配置、部署，再从应用角度介绍了高级用法、监控和性能调优，对于初学者和技术提升，都有很好的帮助。 == HBase是Apache旗下一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利用HBase技术可在廉价的PC服务器上搭建大规模的存储化集群，使用HBase可以对数十亿级别的大数据进行实时性的高性能读写，在满足高性能的同时还保证了数据存取的原子性。 本书共分为9章，由浅入深地讲解HBase概念、安装、配置、部署，让读者对HBase先有一个感性认识，再从应用角度介绍了高级用法、监控和性能调优。既兼顾了初学者，也适用于想要深入学习HBase的读者。 本书适合于以前没有接触过HBase，或者了解HBase，并希望能够深入掌握的读者，适合HBase应用开发人员和系统管理人员学习使用。 作者简介 杨曦，就职于硅谷某上市公司，对大数据、云计算等技术有较深研究以及丰富的项目实践经验。热衷编写开源项目、撰写技术博客以及折腾各种技术项目。 == 杨曦大佬著作的书，适合小白和有一定基础的工程师入门，书中知识点比较琐碎，但是按照杨大佬的推荐，阅读此书时，需要有选择性的阅读，不适合从头开始看(如果你有基础)。看完确实对Hbase的架构有了一定的认识，还对Hbase的发展有了一定的了解~ |
3 | 尚硅谷HBase教程 | 【Hbase】 | 1 | https://www.bilibili.com/video/av65548392?from=search&seid=759279005217475156 |
4 | Hbase实战中文版 | 【Hbase】 | 1 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgzpuCuwYo0dH3igM.pdf |
5 | HBase技术总结 | 【Hbase】 | 1 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgzpuCuwYohM2NnAE.pdf |
【Scala】 若想更扎实的掌握函数式编程，可以在学习Scala之前，先学习Heskell。 学习Heskell的在线书：写得简洁易懂，很生动。可以作为heskell的入门书籍 | ||||
1 | 快学scala | 【Scala】 | 3 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg4JyCuwYo6PbpXg.pdf |
2 | Twitter 的 Scala 课堂 | 【Scala】 | 1 | |
3 | Functional Programming Principles in Scala | 【Scala】 | 1 | https://www.coursera.org/learn/scala-functional-programming |
4 | 官方文档 | 【Scala】 | 1 | |
5 | 阅读一些文章 | 【Scala】 | 1 | Alvin Alexander的博客：内有诸多Scala文章，Alvin是Scala Cookbook一书的作者 http://alvinalexander.com/scala 阿里巴巴Hongjiang的博客：有很多成系列的Scala文章 http://hongjiang.info/scala/ |
6 | scala_coding_convention | 【Scala】 | 1 | |
【Spark】 其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。Spark SQL 应运而生，它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。 特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。 == 写Spark最好用scala，先学习scala语言（在这之前最好学一些java）。scala这个语言有好几个编程范式，你至少要把面向对象，面向过程和scala函数式编程弄明白。其中函数式编程最难（如果你不会java的话面向对象编程也比较难，反正scala是公认的比较难就对了）。 == 学习Spark的第一步是了解其基础知识。首先，可以访问Spark官网，阅读官方文档，了解Spark的核心概念和架构。重点要理解Spark的分布式计算模型和RDD（弹性分布式数据集）的概念。 Spark编程是学习的重点。首先，可以学习Spark提供的API，如Spark SQL、Spark Streaming、MLlib和GraphX等，通过这些API进行数据处理和分析。建议从Spark SQL开始学习，因为它提供了SQL语言的抽象层，方便进行数据查询和转换。同时，也需要学习RDD编程。 reference：https://cloud.baidu.com/article/2921382 | ||||
1 | Github repo 大数据成神之路 | 【Spark】github高人气repo，是在另一个“大数据入门指南”repo的基础上的总结，包含基本那个repo所有的内容，并有增加高屋建瓴的总结。 | NA | https://github.com/wangzhiwubigdata/God-Of-BigData 进入repo后选择Spark |
2 | Spark快速大数据分析 | 【Spark】 | 3 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg052CuwYoqK29mAY.pdf 上面推荐的书籍，我一一粗略的翻了一下，最好先看第一本《Spark快速大数据分析》 就我个人而言，了解scala基础后，在翻完《Spark快速大数据分析》，然后刷文档是非常不错的 == 《Spark 快速大数据分析》是一本为Spark 初学者准备的书，它没有过多深入实现细节，而是更多关注上层用户的具体用法。不过，本书绝不仅仅限于Spark 的用法，它对Spark 的核心概念和基本原理也有较为全面的介绍，让读者能够知其然且知其所以然。 |
3 | Spark大数据处理：技术、应用与性能优化 | 【Spark】 | 3 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg052CuwYo-MHBrAU.pdf |
4 | Spark官方文档 | 【Spark】 | 1 | 中文版： https://spark.apachecn.org/#google_vignette 英文版： https://spark.apache.org/docs/latest/ |
5 | 尚硅谷大数据Spark | 【Spark】 | 1 | [我开始看过的版本]https://www.bilibili.com/video/av49309801?p=7 [第二个看过的版本]https://www.bilibili.com/video/av51485821?from=search&seid=6784944762132058487 [2019版本]https://www.bilibili.com/video/av62992342?from=search&seid=6784944762132058487 |
黑马程序员Spark全套视频教程，4天spark3.2快速入门到精通，基于Python语言的spark教程 | 【Spark】 | 1 | https://www.bilibili.com/video/BV1Jq4y1z7VP/?vd_source=72867308e8b7b6d7774a7e4be6278f68 这里推荐一套适合新手学习的基于Python语言的Spark教程 | |
【Flink】Flink是一个分布式的计算处理引擎 刚毕业假设只是自学了flink和spark刚开始最好的切入点是数据开发，既然自学了spark和flink，肯定各个接口函数都了解，使用测试过了，并且理解了原理。其次应该能讲明白框架的设计原理，比如调度原理，分布式计算原理，数据可靠性保证，故障恢复，监控告警，周边生态的交互，也就是数据从哪里来到哪里去。尤其尤其要了解好spark sql和flink sql从解析到执行过程，原理，区别，高性能的原因。遇见了问题尤其是数据倾斜了如何处理，如何配置资源等等细枝末节的事情。阅读源码，在理解框架原理的基础上一定要去阅读源码，一是印证理解是否对，二是加深理解，三是对提高你自己的编码经验帮助比较大，4.简历好看，对找工作比较有帮助。 | ||||
1 | Github repo 大数据成神之路 | 【Flink】github高人气repo，是在另一个“大数据入门指南”repo的基础上的总结，包含基本那个repo所有的内容，并有增加高屋建瓴的总结。 | NA | https://github.com/wangzhiwubigdata/God-Of-BigData 进入repo后选择Flink |
2 | Flink官方文档 | 【Flink】 | 2 | https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/try-flink/local_installation.html 每一个学习Flink的同学，都应该熟悉官网提供的文档资源。Flink官网上拥有最全、最权威的学习资源，Flink对中国用户很友好，大部分资源都已经做了汉化。 |
3 | Apache_Flink视频课程 | 【Flink】 | 2 | https://space.bilibili.com/33807709/video https://github.com/flink-china/flink-training-course 只推Apache Flink官方教程，都是PMC、Commit亲授。没有哪个视频比他们更专业了。 https://space.bilibili.com/33807709/video 看这些就足够了，全都是免费、无广告的。 == 本系列课程由 Apache Flink Community China 官方出品。旨在为具备一定大数据基础、对 Apache Flink 感兴趣的同学提供系统性的入门教程，课程分为 基础篇、进阶篇、运维篇、实时数仓篇等，持续更新。 |
4 | Flink中文社区 | 【Flink】 | 1 | |
5 | Learning Apache Flink | 【Flink】 | 1 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgpJ6CuwYo1O72uwI.pdf Flink的一本入门书籍，是印度的一名大数据架构师写的。比较入门级，但涉及挺广，包含了：Flink DataStream编程、Flink CEP复杂事件处理、Flink 机器学习、Flink图计算、还有关于Flink的最佳实践。关注公众号：大数据君，发送消息：3358，获取下载链接。 |
6 | 阅读文章：Flink学习 | 【Flink】 | 1 | https://jasonxqh.github.io/2022/05/10/Flink%E5%AD%A6%E4%B9%A0/ |
2. 中阶
顺序 | 资源 | 知识分类/使用方法 | 推荐指数 | 链接和介绍 |
【Hadoop】 | ||||
1 | 阿里云开发者社区 | 【Hadoop】【业界】 看：阶段 1：大数据及Hadoop基础（195课时） | 1 | https://developer.aliyun.com/learning/roadmap/bigdata |
2 | 华为云开发者学堂 | 【Hadoop】【业界】 看：HDFS分布式文件系统和Zookeeper（这个和上面Hadoop的是一门课） | 1 | 学习路径overview： https://edu.huaweicloud.com/roadmap/bigdata-hcia.html 要看的课程： https://connect.huaweicloud.com/courses/learn/course-v1:HuaweiX+CBUCNXE187+Self-paced/about |
3 | Hadoop documentation | 【Hadoop】 | 1 | https://hadoop.apache.org/docs/stable/ |
4 | 《Hadoop应用开发技术详解》 by 刘刚 | 【Hadoop】 | 2 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg8J6CuwYo8LrOiAM.pdf |
5 | 《深度剖析Hadoop HDFS》 | 【Hadoop】 | 2 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg8J6CuwYo2IK-kgM.pdf 这本书基于Hadoop 2.7.1版本，全面描述了HDFS 2.X的核心技术与解决方案，对于初入门的学习者，可以帮助读者从架构设计与功能实现角度了解HDFS 2.X，同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java语言技巧等。 == 本书基于Hadoop 2.7.1版本进行分析，全面描述了HDFS 2.X的核心技术与解决方案，书中描述了HDFS内存存储、异构存储等几大核心设计，包括源码细节层面的分析，对于HDFS中比较特殊的几个场景过程也做了细粒度的分析。 阅读本书可以帮助读者从架构设计与功能实现角度了解HDFS 2.X，同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java语言技巧等。这些对于读者全面提高自己分布式技术水平有很大的帮助。 本书分为三大部分：核心设计篇、细节实现篇、解决方案篇，“核心设计篇”包括HDFS的数据存储原理、HDFS的数据管理与策略选择机制、HDFS的新颖功能特性；“细节实现篇”包括HDFS的块处理、流量处理等细节，以及部分结构分析；“解决方案篇”包括HDFS的数据管理、HDFS的数据读写、HDFS的异常场景等。本书适合于云计算相关领域研发人员、云计算相关运维工程师、高年级研究生或本科、热衷于分布式计算研究的人。 作者简介 林意群，唯品会上海研发中心数据应用部研发工程师，Apache Hadoop Committer，主要专注于HDFS模块的研究。对大数据处理、分布式计算兴趣浓厚，在实际工作中努力钻研，分享了大量技术文章，贡献了很多实践经验。 |
6 | 视频课程 | 【Hadoop】【实战】喜欢看视频的可以看这个 | 1 | 尚硅谷（视频数目略多，可以只看重要的）： |
【Zookeeper】 | ||||
1 | 阿里云开发者社区 | 【Zookeeper】【业界资源】 看：分布式协调系统 Zookeeper（23课时） | 1 | https://developer.aliyun.com/learning/roadmap/bigdata |
2 | 华为云开发者学堂 | 【Zookeeper】【业界资源】 看：HDFS分布式文件系统和Zookeeper（195课时） | 1 | 学习路径overview： https://edu.huaweicloud.com/roadmap/bigdata-hcia.html 要看的课程： https://connect.huaweicloud.com/courses/learn/course-v1:HuaweiX+CBUCNXE187+Self-paced/about |
3 | zookeeper分布式技术协同过程详解 | 【Zookeeper】 | 1 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgkqCCuwYojtH-_QM.pdf |
【Hive】 | ||||
1 | 阿里云开发者社区 | 【Hive】【业界资源】 | 1 | https://developer.aliyun.com/learning/roadmap/bigdata |
2 | 华为云开发者学堂 | 【Hive】【业界资源】 | 1 | 学习路径overview： |
3 | 尚硅谷大数据Hive教程（基于hive3.x丨hive3.1.2） | 【Hive】 | 1 | 125个视频，有点长 |
4 | 《Practical Hive: A Guide to Hadoop's Data Warehouse System》2016年的Hive参考书 | 【Hive】 | 1 | 中文版 https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg9KCCuwYonKbalAQ.pdf 简单介绍：我选这本书是因为这是比较新的Hive书（2016年）而且看书名就知道侧重点在怎么应用Hive上就是写代码很多人可能用过《ProgrammingHive》但是本很老的书（2013年）内容有没有outdated不知道 |
5 | Hive性能调优实战 by 林志煌 | 【Hive】 | 1 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg9KCCuwYo_seGgQI.pdf |
【Kafka】 | ||||
1 | 阿里云开发者社区 | 【Kafka】【业界资源】 | 1 | https://developer.aliyun.com/learning/roadmap/bigdata |
2 | 华为云开发者学堂 | 【Kafka】【业界资源】 | 1 | 学习路径overview： |
3 | Kafka技术内幕-图文详解kafka源码设计与实现 | 【Kafka】 | 3 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg7KeCuwYo04WSowQ.pdf 图文详解Kafka的内部原理、设计与实现，全面分析以Kafka为中心的分布式流平台，Kafka新特性详解，包括连接器、流处理。 |
4 | 深入理解Kafka：核心设计与实践原理 | 【Kafka】 | 3 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg6KeCuwYoopyg0Ac.pdf 基于2.0.0版本，从实战到深度的原理解析讲述Kafka的知识点、常见误区的解读、常见问题的解决方案及生态应用的扩展。 本书从Kafka的基础概念切入，循序渐进地转入对其内部原理的剖析。书中主要阐述了Kafka中生产者客户端、消费者客户端、主题与分区、日志存储、原理解析、监控管理、应用扩展及流式计算等内容。虽然Kafka的内核使用Scala语言编写，但本书基本以Java语言作为主要的示例语言，方便大多数读者的理解。 == 厮大著作的书基于Kafka2.0~ 此书基础扎实，适合小白入门，相关慨念颇多，涉及Kafka的架构设计和很多高级应用，读此一本计科了解Kafka的整体架构和理念，建议配合书上搭建源码环境进行学习，效果更佳~ |
【HBase】 | ||||
1 | 阿里云开发者社区 | 【HBase】【业界资源】 | 1 | https://developer.aliyun.com/learning/roadmap/bigdata |
2 | 华为云开发者学堂 | 【HBase】【业界资源】 | 1 | 学习路径overview： |
Hbase权威指南 | 【Hbase】 | 3 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgnauCuwYomtGu0wI.pdf 《HBase权威指南》探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单；把大型数据集分布到相对廉价的商业服务器集群中；使用本地Java客户端，或者通过提供了REST、Avro和Thrift应用编程接口的网关服务器来访问HBase；了解HBase架构的细节，包括存储格式、预写日志、后台进程等；在HBase中集成MapReduce框架；了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。 《HBase权威指南》适合使用HBase进行数据库开发的高级数据库研发人员阅读。 细心的小伙伴们可能已经发现，HBase实际上也是Hadoop生态圈的一员，但是在Hadoop权威指南中对于该部分的解读比较浅显，不是很详细。如果对HBase的底层源码，高级架构，性能优化，集群管理等进阶操作感兴趣，这必将是一本不可错过的经典之作！ | |
【Spark】 | ||||
1 | 阿里云开发者社区 | 【Spark】【业界资源】 | 1 | https://developer.aliyun.com/learning/roadmap/bigdata |
2 | 华为云开发者学堂 | 【Spark】【业界资源】 | 1 | 学习路径overview： |
《Spark The Definitive Guide》（Spark权威指南） | 【Spark】 | 3 | https://github.com/SnailDove/Translation_Spark-The-Definitive-Guide Spark作为基于内存的，用于大规模数据处理(离线计算、实时计算、快速查询（交互式查询）)的统一分析引擎。近几年在机器学习，人工智能领域发展得也是如日中天。 该书由于版权原因，在国内的电子资源非常稀少，但还是有热心网友在GitHub上分享了自己所翻译的中文版本，感兴趣的朋友可以浏览借鉴一下原作者的思路。 | |
《Spark 技术内幕 深入解析 Spark 内核架构设计与实现原理》 | 【Spark】 | 2 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg6auCuwYootuJtwc.pdf | |
《Spark机器学习：核心技术与实践》 | 【Spark】 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAg6auCuwYouJjkkAQ.pdf | ||
深入学习Scala语言 | 【Spark】【Scala】 | Scala是Spark的主要编程语言之一，因此深入学习Scala语言对于提高Spark编程水平很有帮助。了解Scala的高级特性和最佳实践，如函数式编程、面向对象编程等，可以更好地理解和应用Spark的原理。 详细可以参考Scala的学习资源。 | ||
【Others】 | ||||
1 | 阿里云开发者社区 | 【业界资源】 | 1 | |
2 | 华为云开发者学堂 | 【业界资源】 | 1 | 学习路径overview： |
3. 高阶
顺序 | 资源 | 知识分类/使用方法 | 推荐指数 | 链接和介绍 |
【Hadoop】 | ||||
《Hadoop源码分析》 | 【Hadoop】 | 1 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgqa2CuwYotMCCkAY.pdf 本书是一本全面细致的介绍和分析Hadoop源码和内部工作机理的的一本技术书籍。本书通过对Hadoop内部源码详细细致的解析，使得读者能够快速高效的理解Hadoop的内部工作机制，了解Hadoop内部源码架构，快速高效的上手Hadoop，对Hadoop有深刻的认识。同时是国内第一本详细介绍Hadoop源码的书籍。 | |
《Hadoop 2.x HDFS源码剖析》 | 【Hadoop】 | 1 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgo62CuwYo8Ka5xgY.pdf | |
《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》 | 【Hadoop】 三本书是一个系列的 | 2 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgo62CuwYopNKO-gQ.pdf | |
《Hadoop技术内幕：深入解析YARN架构设计与实现原理》 | 【Hadoop】 三本书是一个系列的 | 2 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgoq2CuwYogOmt5QE.pdf | |
《Hadoop技术内幕 深入解析HADOOP+COMMON和HDFS架构设计与实现原理》 | 【Hadoop】 三本书是一个系列的 | 0 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgo62CuwYo6YmivAU.pdf 没有人推荐过，但是因为是一个系列的，这个系列其余两本书都有被推荐过，所以也放上来了 | |
【Kafka】 | ||||
《Kafka并不难学！入门、进阶、商业实战》 | 【Kafka】 | 2 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAghbCCuwYolPCVJQ.pdf 本书基于Kafka 0.10.2.0以上版本，采用“理论+实践”的形式编写。全书共68个实例。配有155分教学视频，与图书同步。 本书结构清晰、案例丰富、通俗易懂、实用性强。详细介绍了Kafka从入门到落地应用的全过程，可以帮助读者快速上手！ | |
《深入理解Kafka核心设计与实践原理》 | 【Kafka】 | 2 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAghbCCuwYoktLWrQc.pdf | |
《Kafka源码解析与实战》 | 【Kafka】 | 3 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAghLCCuwYo5IqAhQc.pdf | |
【Spark】 | ||||
《深入理解Spark核心思想与源码分析 耿嘉安》 | 【Spark】 | 3 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgkLGCuwYooNHJ3gM.pdf | |
《Apache Spark源码剖析》 | 【Spark】 | 1 | https://32931414.s21i.faiusr.com/61/ABUIABA9GAAgkLGCuwYojuXkwwM.pdf | |