大數據學習之路【跟着大神學習一波】 -开发者知识库

大數據學習之路【跟着大神學習一波】 -开发者知识库,第1张

【轉載】http://blog.csdn.net/zys_1997/article/details/78358992

前言:

  • 一、背景介紹
  • 二、大數據介紹

正文:

  • 一、大數據相關的工作介紹
  • 二、大數據工程師的技能要求
  • 三、大數據學習規划
  • 四、持續學習資源推薦(書籍,博客,網站)
  • 五、項目案例分析(批處理 實時處理)

前言

一、背景介紹

本人目前是一名大數據工程師,項目數據50T,日均數據增長20G左右,個人是從Java后端開發,經過3個月的業余自學成功轉型大數據工程師。

二、大數據介紹

大數據本質也是數據,但是又有了新的特征,包括數據來源廣數據格式多樣化(結構化數據、非結構化數據、Excel文件、文本文件等)、數據量大(最少也是TB級別的、甚至可能是PB級別)、數據增長速度快等。

針對以上主要的4個特征我們需要考慮以下問題:

  1. 數據來源廣,該如何采集匯總?,對應出現了Sqoop,Cammel,Datax等工具。

  2. 數據采集之后,該如何存儲?,對應出現了GFS,HDFS,TFS等分布式文件存儲系統。

  3. 由於數據增長速度快,數據存儲就必須可以水平擴展。

  4. 數據存儲之后,該如何通過運算快速轉化成一致的格式,該如何快速運算出自己想要的結果?

    對應的MapReduce這樣的分布式運算框架解決了這個問題;但是寫MapReduce需要Java代碼量很大,所以出現了Hive,Pig等將SQL轉化成MapReduce的解析引擎;

    普通的MapReduce處理數據只能一批一批地處理,時間延遲太長,為了實現每輸入一條數據就能得到結果,於是出現了Storm/JStorm這樣的低時延的流式計算框架;

    但是如果同時需要批處理流處理,按照如上就得搭兩個集群,Hadoop集群(包括HDFS MapReduce Yarn)和Storm集群,不易於管理,所以出現了Spark這樣的一站式的計算框架,既可以進行批處理,又可以進行流處理(實質上是微批處理)。

  5. 而后Lambda架構,Kappa架構的出現,又提供了一種業務處理的通用架構。

  6. 為了提高工作效率,加快運速度,出現了一些輔助工具:

    • Ozzie,azkaban:定時任務調度的工具。
    • Hue,Zepplin:圖形化任務執行管理,結果查看工具。
    • Scala語言:編寫Spark程序的最佳語言,當然也可以選擇用Python。
    • Python語言:編寫一些腳本時會用到。
    • Allluxio,Kylin等:通過對存儲的數據進行預處理,加快運算速度的工具。

以上大致就把整個大數據生態里面用到的工具所解決的問題列舉了一遍,知道了他們為什么而出現或者說出現是為了解決什么問題,進行學習的時候就有的放矢了。

正文

一、大數據相關工作介紹

大數據方向的工作目前主要分為三個主要方向:

  1. 大數據工程師
  2. 數據分析師
  3. 大數據科學家
  4. 其他(數據挖掘等)

二、大數據工程師的技能要求

附上大數據工程師技能圖:

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第2张

必須掌握的技能11條

  1. Java高級(虛擬機、並發)
  2. Linux 基本操作
  3. Hadoop(HDFS MapReduce Yarn )
  4. HBase(JavaAPI操作 Phoenix )
  5. Hive(Hql基本操作和原理理解)
  6. Kafka
  7. Storm/JStorm
  8. Scala
  9. Python
  10. Spark (Core sparksql Spark streaming )
  11. 輔助小工具(Sqoop/Flume/Oozie/Hue等)

高階技能6條

  1. 機器學習算法以及mahout庫加MLlib
  2. R語言
  3. Lambda 架構
  4. Kappa架構
  5. Kylin
  6. Alluxio

三、學習路徑

假設每天可以抽出3個小時的有效學習時間,加上周末每天保證10個小時的有效學習時間;

3個月會有(21*3 4*2*10)*3=423小時的學習時間。

第一階段(基礎階段)

1)Linux學習(跟鳥哥學就ok了)—–20小時

  1. Linux操作系統介紹與安裝。
  2. Linux常用命令。
  3. Linux常用軟件安裝。
  4. Linux網絡。
  5. 防火牆。
  6. Shell編程等。

官網:https://www.centos.org/download/ 
中文社區:http://www.linuxidc.com/Linux/2017-09/146919.htm

2)Java 高級學習(《深入理解Java虛擬機》、《Java高並發實戰》)—30小時

  1. 掌握多線程。
  2. 掌握並發包下的隊列。
  3. 了解JMS。
  4. 掌握JVM技術。
  5. 掌握反射和動態代理。

官網:https://www.java.com/zh_CN/ 
中文社區:http://www.java-cn.com/index.html

3)Zookeeper學習(可以參照這篇博客進行學習:http://www.cnblogs.com/wuxl360/p/5817471.html

  1. Zookeeper分布式協調服務介紹。
  2. Zookeeper集群的安裝部署。
  3. Zookeeper數據結構、命令。
  4. Zookeeper的原理以及選舉機制。

官網:http://zookeeper.apache.org/ 
中文社區:http://www.aboutyun.com/forum-149-1.html

第二階段(攻堅階段)

4)Hadoop (《Hadoop 權威指南》)—80小時

  1. HDFS

    • HDFS的概念和特性。
    • HDFS的shell操作。
    • HDFS的工作機制。
    • HDFS的Java應用開發。
  2. MapReduce

    • 運行WordCount示例程序。
    • 了解MapReduce內部的運行機制。 
      • MapReduce程序運行流程解析。
      • MapTask並發數的決定機制。
      • MapReduce中的combiner組件應用。
      • MapReduce中的序列化框架及應用。
      • MapReduce中的排序。
      • MapReduce中的自定義分區實現。
      • MapReduce的shuffle機制。
      • MapReduce利用數據壓縮進行優化。
      • MapReduce程序與YARN之間的關系。
      • MapReduce參數優化。
  3. MapReduce的Java應用開發

官網:http://hadoop.apache.org/ 
中文文檔:http://hadoop.apache.org/docs/r1.0.4/cn/ 
中文社區:http://www.aboutyun.com/forum-143-1.html

5)Hive(《Hive開發指南》)–20小時

  1. Hive 基本概念

    • Hive 應用場景。
    • Hive 與hadoop的關系。
    • Hive 與傳統數據庫對比。
    • Hive 的數據存儲機制。
  2. Hive 基本操作

    • Hive 中的DDL操作。
    • 在Hive 中如何實現高效的JOIN查詢。
    • Hive 的內置函數應用。
    • Hive shell的高級使用方式。
    • Hive 常用參數配置。
    • Hive 自定義函數和Transform的使用技巧。
    • Hive UDF/UDAF開發實例。
  3. Hive 執行過程分析及優化策略

官網:https://hive.apache.org/ 
中文入門文檔:http://www.aboutyun.com/thread-11873-1-1.html 
中文社區:http://www.aboutyun.com/thread-7598-1-1.html

6)HBase(《HBase權威指南》)—20小時

  1. hbase簡介。
  2. habse安裝。
  3. hbase數據模型。
  4. hbase命令。
  5. hbase開發。
  6. hbase原理。

官網:http://hbase.apache.org/ 
中文文檔:http://abloz.com/hbase/book.html 
中文社區:http://www.aboutyun.com/forum-142-1.html

7)Scala(《快學Scala》)–20小時

  1. Scala概述。
  2. Scala編譯器安裝。
  3. Scala基礎。
  4. 數組、映射、元組、集合。
  5. 類、對象、繼承、特質。
  6. 模式匹配和樣例類。
  7. 了解Scala Actor並發編程。
  8. 理解Akka。
  9. 理解Scala高階函數。
  10. 理解Scala隱式轉換。

官網:http://www.scala-lang.org/ 
初級中文教程:http://www.runoob.com/scala/scala-tutorial.html

8)Spark (《Spark 權威指南》)—60小時

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第3张

  1. Spark core

    • Spark概述。
    • Spark集群安裝。
    • 執行第一個Spark案例程序(求PI)。
  2. RDD

    大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第4张

    • RDD概述。
    • 創建RDD。
    • RDD編程API(Transformation 和 Action Operations)。
    • RDD的依賴關系
    • RDD的緩存
    • DAG(有向無環圖)
  3. Spark SQL and DataFrame/DataSet

    大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第5张

    • Spark SQL概述。
    • DataFrames。
    • DataFrame常用操作。
    • 編寫Spark SQL查詢程序。
  4. Spark Streaming

    大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第6张

    大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第7张

    • park Streaming概述。
    • 理解DStream。
    • DStream相關操作(Transformations 和 Output Operations)。
  5. Structured Streaming

  6. 其他(MLlib and GraphX )

這個部分一般工作中如果不是數據挖掘,機器學習一般用不到,可以等到需要用到的時候再深入學習。

官網:http://spark.apache.org 
中文文檔(但是版本有點老):https://www.gitbook.com/book/aiyanbo/spark-programming-guide-zh-cn/details 
中文社區:http://www.aboutyun.com/forum-146-1.html

9)Python (推薦廖雪峰的博客—30小時

10)自己用虛擬機搭建一個集群,把所有工具都裝上,自己開發一個小demo —30小時

可以自己用VMware搭建4台虛擬機,然后安裝以上軟件,搭建一個小集群(本人親測,I7,64位,16G內存,完全可以運行起來,以下附上我學習時用虛擬機搭建集群的操作文檔)


集群搭建文檔1.0版本

1. 集群規划

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第8张

所有需要用到的軟件:

鏈接:http://pan.baidu.com/s/1jIlAz2Y 
密碼:kyxl

2. 前期准備

2.0 系統安裝

2.1 主機名配置

    2.1.0 vi /etc/sysconfig/network
        NETWORKING=yes

    2.1.1 vi /etc/sysconfig/network
        NETWORKING=yes
        HOSTNAME=ys02

    2.1.2 vi /etc/sysconfig/network
        NETWORKING=yes

    2.1.3 vi /etc/sysconfig/network
        NETWORKING=yes
        HOSTNAME=ys04

2.2 host文件修改
    2.2.0 vi /etc/hosts
        10.1.1.149 ys01
        10.1.1.148 ys02
        10.1.1.146 ys03
        10.1.1.145 ys04
2.3 關閉防火牆(centos 7默認使用的是firewall,centos 6 默認是iptables)

    2.3.0 systemctl stop firewalld.service (停止firewall)

    2.3.1 systemctl disable firewalld.service (禁止firewall開機啟動)

    2.3.2 firewall-cmd --state (查看默認防火牆狀態(關閉后顯示notrunning,開啟后顯示running)

2.4 免密登錄(ys01 ->ys02,03,04)
    ssh-keygen -t rsa
    ssh-copy-id ys02(隨后輸入密碼)
    ssh-copy-id ys03(隨后輸入密碼)
    ssh-copy-id ys04(隨后輸入密碼)
    ssh ys02(測試是否成功)
    ssh ys03(測試是否成功)
    ssh ys04(測試是否成功)

2.5 系統時區與時間同步
    tzselect(生成日期文件)
    cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime(將日期文件copy到本地時間中)

3. 軟件安裝

3.0 安裝目錄規划(軟件為所有用戶公用)

    3.0.0所有軟件的安裝放到/usr/local/ys/soft目錄下(mkdir /usr/local/ys/soft)

    3.0.1所有軟件安裝到/usr/local/ys/app目錄下(mkdir /usr/local/ys/app)

 3.1 JDK(jdk1.7)安裝

    3.1.1 alt p 后出現sftp窗口,cd /usr/local/ys/soft,使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下

    3.1.2解壓jdk
      cd /usr/local/ys/soft
        #解壓
        tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/ys/app

    3.1.3將java添加到環境變量中
    vim /etc/profile
    #在文件最后添加
    export JAVA_HOME= /usr/local/ys/app/ jdk-7u80
    export PATH=$PATH:$JAVA_HOME/bin

    3.1.4 刷新配置
    source /etc/profile

3.2 Zookeeper安裝

    3.2.0解壓
    tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/ys/app(解壓)

    3.2.1 重命名
    mv zookeeper-3.4.5 zookeeper(重命名文件夾zookeeper-3.4.5為zookeeper)

    3.2.2修改環境變量
    vi /etc/profile(修改文件)
    添加內容:
    export ZOOKEEPER_HOME=/usr/local/ys/app/zookeeper
    export PATH=$PATH:$ZOOKEEPER_HOME/bin

    3.2.3 重新編譯文件:
    source /etc/profile
    注意:3台zookeeper都需要修改

    3.2.4修改配置文件
    cd zookeeper/conf
    cp zoo_sample.cfg zoo.cfg
    vi zoo.cfg
    添加內容:
    dataDir=/usr/local/ys/app/zookeeper/data
    dataLogDir=/usr/local/ys/app/zookeeper/log
    server.1=ys01:2888:3888 (主機名, 心跳端口、數據端口)
    server.2=ys02:2888:3888
    server.3=ys04:2888:3888

    3.2.5 創建文件夾
    cd /usr/local/ys/app/zookeeper/
    mkdir -m 755 data
    mkdir -m 755 log

    3.2.6 在data文件夾下新建myid文件,myid的文件內容為:
    cd data
    vi myid
    添加內容:
        1
    將集群下發到其他機器上
    scp -r /usr/local/ys/app/zookeeper ys02:/usr/local/ys/app/
    scp -r /usr/local/ys/app/zookeeper ys04:/usr/local/ys/app/

    3.2.7修改其他機器的配置文件
    到ys02上:修改myid為:2
    到ys02上:修改myid為:3

    3.2.8啟動(每台機器)
    zkServer.sh start
    查看集群狀態
    jps(查看進程)
    zkServer.sh status(查看集群狀態,主從信息)

3.3 Hadoop(HDFS Yarn)

    3.3.0 alt p 后出現sftp窗口,使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下

    3.3.1 解壓jdk
      cd /usr/local/ys/soft
        #解壓
        tar -zxvf cenos-7-hadoop-2.6.4.tar.gz -C /usr/local/ys/app

    3.3.2 修改配置文件

core-site.xml

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第9张

hdfs-site.xml

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第10张

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第11张

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第12张

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第13张

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第14张

yarn-sifite.xml

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第15张

svales

ys02
ys03
ys04

3.3.3集群啟動(嚴格按照下面的步驟)
    3.3.3.1啟動zookeeper集群(分別在ys01、ys02、ys04上啟動zk)
        cd /usr/local/ys/app/zookeeper-3.4.5/bin/
        ./zkServer.sh start
        #查看狀態:一個leader,兩個follower
        ./zkServer.sh status

    3.3.3.2啟動journalnode(分別在在mini5、mini6、mini7上執行)
        cd /usr/local/ys/app/hadoop-2.6.4
        sbin/hadoop-daemon.sh start journalnode
        #運行jps命令檢驗,ys02、ys03、ys04上多了JournalNode進程

    3.3.3.3格式化HDFS
        #在ys01上執行命令:
        hdfs namenode -format
        #格式化后會在根據core-site.xml中的hadoop.tmp.dir配置生成個文件,這里我配置的是/usr/local/ys/app/hadoop-2.6.4/tmp,然后將/usr/local/ys/app/hadoop-2.6.4/tmp拷貝到ys02的/usr/local/ys/app/hadoop-2.6.4/下。
        scp -r tmp/ ys02:/usr/local/ys /app/hadoop-2.6.4/
        ##也可以這樣,建議hdfs namenode -bootstrapStandby

    3.3.3.4格式化ZKFC(在ys01上執行一次即可)
        hdfs zkfc -formatZK

    3.3.3.5啟動HDFS(在ys01上執行)
        sbin/start-dfs.sh

    3.3.3.6啟動YARN
        sbin/start-yarn.sh

3.3MySQL-5.6安裝
    略過

3.4 Hive

    3.4.1 alt p 后出現sftp窗口,cd /usr/local/ys/soft,使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下

    3.4.2解壓
    cd /usr/local/ys/soft
tar -zxvf hive-0.9.0.tar.gz -C /usr/local/ys/app

    3.4.3 .配置hive

        3.4.3.1配置HIVE_HOME環境變量  vi conf/hive-env.sh 配置其中的$hadoop_home

        3.4.3.2配置元數據庫信息   vi  hive-site.xml 

添加如下內容:

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第16张

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第17张

    3.4.4 安裝hive和mysq完成后,將mysql的連接jar包拷貝到$HIVE_HOME/lib目錄下
    如果出現沒有權限的問題,在mysql授權(在安裝mysql的機器上執行)
    mysql -uroot -p
    #(執行下面的語句  *.*:所有庫下的所有表   %:任何IP地址或主機都可以連接)
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
    FLUSH PRIVILEGES;

    3.4.5 Jline包版本不一致的問題,需要拷貝hive的lib目錄中jline.2.12.jar的jar包替換掉hadoop中的 /usr/local/ys/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar

    3.4.6啟動hive
    bin/hive

3.5 Kafka
    3.5.1 下載安裝包
    http://kafka.apache.org/downloads.html
    在linux中使用wget命令下載安裝包
    wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz

  3.5.2 解壓安裝包
    tar -zxvf /usr/local/ys/soft/kafka_2.11-0.8.2.2.tgz -C /usr/local/ys/app/
cd /usr/local/ys/app/
ln -s kafka_2.11-0.8.2.2 kafka

  3.5.3 修改配置文件
    cp 
    /usr/local/ys/app/kafka/config/server.properties
   /usr/local/ys/app/kafka/config/server.properties.bak
    vi  /usr/local/ys/kafka/config/server.properties

輸入以下內容:

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第18张

    3.5.4 分發安裝包
    scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys02: /usr/local/ys/app/
    scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys03: /usr/local/ys/app/
    scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys04: /usr/local/ys/app/
    然后分別在各機器上創建軟連
    cd /usr/local/ys/app/
    ln -s kafka_2.11-0.8.2.2 kafka

 3.5.5 再次修改配置文件(重要)
   依次修改各服務器上配置文件的的broker.id,分別是0,1,2不得重復。

 3.5.6 啟動集群
    依次在各節點上啟動kafka
    bin/kafka-server-start.sh  config/server.properties

3.6 Spark

    3.6.1 alt p 后出現sftp窗口,cd /usr/local/ys/soft,使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下

    3.6.2  解壓安裝包
tar -zxvf /usr/local/ys/soft/ spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/ys/app/

    3.6.3 修改Spark配置文件(兩個配置文件spark-env.sh和slaves)
    cd /usr/local/ys/soft/spark-1.6.1-bin-hadoop2.6
    進入conf目錄並重命名並修改spark-env.sh.template文件
    cd conf/
    mv spark-env.sh.template spark-env.sh
    vi spark-env.sh
    在該配置文件中添加如下配置
    export JAVA_HOME=/usr/java/jdk1.7.0_45
    export SPARK_MASTER_PORT=7077
    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark"
    保存退出
    重命名並修改slaves.template文件
    mv slaves.template slaves
    vi slaves
    在該文件中添加子節點所在的位置(Worker節點)
    Ys02
    Ys03
    Ys04
    保存退出

    3.6.4 將配置好的Spark拷貝到其他節點上
    scp -r spark-1.6.1-in-hadoop2.6/ ys02:/usr/local/ys/app
    scp -r spark-1.6.1-bin-hadoop2.6/ ys03:/usr/local/ys/app
    scp -r spark-1.6.1-bin-hadoop2.6/ ys04:/usr/local/ys/app

    3.6.5 集群啟動
    在ys01上執行sbin/start-all.sh腳本
    然后在ys02上執行sbin/start-master.sh啟動第二個Master

3.7 Azkaban

    3.7.1 azkaban web服務器安裝
        解壓azkaban-web-server-2.5.0.tar.gz
        命令: tar –zxvf /usr/local/ys/soft/azkaban-web-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
       將解壓后的azkaban-web-server-2.5.0 移動到 azkaban目錄中,並重新命名 webserver
     命令: mv azkaban-web-server-2.5.0 ../azkaban
       cd ../azkaban
        mv azkaban-web-server-2.5.0   webserver

     3.7.2 azkaban 執行服器安裝
         解壓azkaban-executor-server-2.5.0.tar.gz
         命令:tar –zxvf /usr/local/ys/soft/azkaban-executor-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
     將解壓后的azkaban-executor-server-2.5.0 移動到 azkaban目錄中,並重新命名 executor
   命令:mv azkaban-executor-server-2.5.0  ../azkaban
   cd ../azkaban
   mv azkaban-executor-server-2.5.0  executor

    3.7.3 azkaban腳本導入
        解壓: azkaban-sql-script-2.5.0.tar.gz
        命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
        將解壓后的mysql 腳本,導入到mysql中:
        進入mysql
        mysql> create database azkaban;
        mysql> use azkaban;
        Database changed
        mysql> source /usr/local/ys/soft/azkaban-2.5.0/create-all-sql-2.5.0.sql;

    3.7.4 創建SSL配置
    參考地址: http://docs.codehaus.org/display/JETTY/How to configure SSL
    命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA
    運行此命令后,會提示輸入當前生成 keystor的密碼及相應信息,輸入的密碼請勞記,信息如下(此處我輸入的密碼為:123456)
    輸入keystore密碼: 
    再次輸入新密碼:
    您的名字與姓氏是什么?
    [Unknown]: 
    您的組織單位名稱是什么?
    [Unknown]: 
    您的組織名稱是什么?
    [Unknown]: 
    您所在的城市或區域名稱是什么?
    [Unknown]: 
    您所在的州或省份名稱是什么?
    [Unknown]: 
    該單位的兩字母國家代碼是什么
     [Unknown]:  CN
    CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正確嗎?
    [否]:  y
輸入<jetty>的主密碼(如果和 keystore 密碼相同,按回車): 
再次輸入新密碼
完成上述工作后,將在當前目錄生成 keystore 證書文件,將keystore 考貝到 azkaban web服務器根目錄中.如:cp keystore azkaban/webserver

    3.7.5 配置文件
    注:先配置好服務器節點上的時區
    先生成時區配置文件Asia/Shanghai,用交互式命令 tzselect 即可
    拷貝該時區文件,覆蓋系統本地時區配置
    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  

    3.7.6 azkaban web服務器配置
    進入azkaban web服務器安裝目錄 conf目錄
    修改azkaban.properties文件
    命令vi azkaban.properties

內容說明如下:

*Azkaban Personalization Settings
azkaban.name=Test                           #服務器UI名稱,用於服務器上方顯示的名字
azkaban.label=My Local Azkaban                               #描述
azkaban.color=#FF3601 #UI顏色
azkaban.default.servlet.path=/index                         #
web.resource.dir=web/                                                 #默認根web目錄
default.timezone.id=Asia/Shanghai                           #默認時區,已改為亞洲/上海 默認為美國

*Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager   #用戶權限管理默認類
user.manager.xml.file=conf/azkaban-users.xml              #用戶配置,具體配置參加下文

*Loader for projects
executor.global.properties=conf/global.properties    # global配置文件所在位置
azkaban.project.dir=projects                                                #

database.type=mysql                                                              #數據庫類型
mysql.port=3306                                                                       #端口號
mysql.host=localhost                                                      #數據庫連接IP
mysql.database=azkaban                                                       #數據庫實例名
mysql.user=root                                                                 #數據庫用戶名
mysql.password=Root123456                                                        #數據庫密碼
mysql.numconnections=100                                                  #最大連接數

* Velocity dev mode
velocity.dev.mode=false
* Jetty服務器屬性.
jetty.maxThreads=25                                                               #最大線程數
jetty.ssl.port=8443                                                                   #Jetty SSL端口
jetty.port=8081                                                                         #Jetty端口
jetty.keystore=keystore                                                          #SSL文件名
jetty.password=123456                                                             #SSL文件密碼
jetty.keypassword=123456                                                      #Jetty主密碼 與 keystore文件相同
jetty.truststore=keystore                                                                #SSL文件名
jetty.trustpassword=123456                                                   # SSL文件密碼

* 執行服務器屬性
executor.port=12321                                                               #執行服務器端

*郵件設置
mail.sender=xxxxxxxx@163.com                                       #發送郵箱
mail.host=smtp.163.com                                                       #發送郵箱smtp地址
mail.user=xxxxxxxx                                       #發送郵件時顯示的名稱
mail.password=**********                                                 #郵箱密碼
job.failure.email=xxxxxxxx@163.com                              #任務失敗時發送郵件的地址
job.success.email=xxxxxxxx@163.com                            #任務成功時發送郵件的地址
lockdown.create.projects=false                                           #
cache.directory=cache                                                            #緩存目錄

         3.7.7azkaban 執行服務器executor配置
         進入執行服務器安裝目錄conf,修改azkaban.properties
         vi azkaban.properties
*Azkaban
default.timezone.id=Asia/Shanghai                                              #時區

* Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes                   #jobtype 插件所在位置

*Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

*數據庫設置
database.type=mysql                                                                       #數據庫類型(目前只支持mysql)
mysql.port=3306                                                                                #數據庫端口號
mysql.host=192.168.20.200                                                           #數據庫IP地址
mysql.database=azkaban                                                                #數據庫實例名
mysql.user=root                                                                       #數據庫用戶名
mysql.password=Root23456                                #數據庫密碼
mysql.numconnections=100                                                           #最大連接數

*執行服務器配置
executor.maxThreads=50                                                                #最大線程數
executor.port=12321                                                               #端口號(如修改,請與web服務中一致)
executor.flow.threads=30                                                                #線程數
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
    3.7.8用戶配置
    進入azkaban web服務器conf目錄,修改azkaban-users.xml
    vi azkaban-users.xml 增加 管理員用戶

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第19张

    3.7.9 web服務器啟動
    在azkaban web服務器目錄下執行啟動命令
    bin/azkaban-web-start.sh
    注:在web服務器根目錄運行
    或者啟動到后台
    nohup  bin/azkaban-web-start.sh  1>/tmp/azstd.out  2>/tmp/azerr.out &

    3.7.10執行服務器啟動

    在執行服務器目錄下執行啟動命令
    bin/azkaban-executor-start.sh
    注:只能要執行服務器根目錄運行

    啟動完成后,在瀏覽器(建議使用谷歌瀏覽器)中輸入https://服務器IP地址:8443 ,即可訪問azkaban服務了.在登錄中輸入剛才新的戶用名及密碼,點擊 login

3.8 Zeppelin
參照如下文件:
http://blog.csdn.net/chengxuyuanyonghu/article/details/54915817
http://blog.csdn.net/chengxuyuanyonghu/article/details/54915962

3.9 HBase
    3.9.1解壓
    tar –zxvf  /usr/local/ys/soft/hbase-0.99.2-bin.tar.gz  -C /usr/local/ys/app

    3.9.2重命名
    cd  /usr/local/ys/app
    mv hbase-0.99.2 hbase

    3.9.3修改配置文件
     每個文件的解釋如下:
    hbase-env.sh
    export JAVA_HOME=/usr/local/ys/app/jdk1.7.0_80   //jdk安裝目錄
    export HBASE_CLASSPATH=/usr/local/ys/app/hadoop-2.6.4/etc/hadoop  //hadoop配置文件的位置
    export HBASE_MANAGES_ZK=false #如果使用獨立安裝的zookeeper這個地方就是false(此處使用自己的zookeeper)

hbase-site.xml

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第20张

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第21张

Regionservers    //是從機器的域名
Ys02
ys03
ys04

注:此處HBase配置是針對HA模式的hdfs

    3.9.4將Hadoop的配置文件hdfs-site.xml和core-site.xml拷貝到HBase配置文件中
    cp /usr/local/ys/app/Hadoop-2.6.4/etc/hadoop/hdfs-site.xml /usr/local/ys/app/hbase/conf
    cp /usr/local/ys/app/hadoop-2.6.4/etc/hadoop/core-site.xml /usr/local/ys/app/hbase/conf

    3.9.5發放到其他機器
    scp –r /usr/local/ys/app/hbase ys02: /usr/local/ys/app
    scp –r /usr/local/ys/app/hbase ys03: /usr/local/ys/app
    scp –r /usr/local/ys/app/hbase ys04: /usr/local/ys/app

    3.9.6啟動
    cd  /usr/local/ys/app/hbase/bin
    ./ start-hbase.sh

    3.9.7查看
    進程:jps
    進入hbase的shell:hbase shell
    退出hbase的shell:quit
    頁面:http://master:60010/ 

3.10KAfkaOffsetMonitor(Kafka集群的監控程序,本質就是一個jar包)

    3.10.1上傳jar包
    略

3.10.2 運行jar包
nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh 5.minutes --retain 1.day --port 8089 $

4. 集群調優

4.1 輔助工具盡量不安裝到數據或者運算節點,避免占用過多計算或內存資源。

4.2 dataNode和spark的slave節點盡量在一起;這樣運算的時候就可以避免通過網絡拉取數據,加快運算速度。

4.3 Hadoop集群機架感知配置,配置之后可以使得數據在同機架的不同機器2份,然后其他機架機器1份,可是兩台機器四台虛機沒有必要配感知個人感覺。

4.4 配置參數調優
可以參考http://blog.csdn.net/chndata/article/details/46003399

第三階段(輔助工具工學習階段)

11)Sqoop(CSDN,51CTO ,以及官網)—20小時

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第22张

  1. 數據導出概念介紹
  2. Sqoop基礎知識
  3. Sqoop原理及配置說明
  4. Sqoop數據導入實戰
  5. Sqoop數據導出實戰、
  6. Sqoop批量作業操作

推薦學習博客:http://student-lp.iteye.com/blog/2157983 
官網:http://sqoop.apache.org/

12)Flume(CSDN,51CTO ,以及官網)—20小時

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第23张

  1. FLUME日志采集框架介紹。
  2. FLUME工作機制。
  3. FLUME核心組件。
  4. FLUME參數配置說明。
  5. FLUME采集nginx日志案例(案例一定要實踐一下)

推薦學習博客:http://www.aboutyun.com/thread-8917-1-1.html 
官網:http://flume.apache.org

13)Oozie(CSDN,51CTO ,以及官網)–20小時

大數據學習之路【跟着大神學習一波】 -开发者知识库,enter image description here,第24张

  1. 任務調度系統概念介紹。
  2. 常用任務調度工具比較。
  3. Oozie介紹。
  4. Oozie核心概念。
  5. Oozie的配置說明。
  6. Oozie實現mapreduce/hive等任務調度實戰案例。

推薦學習博客:http://www.infoq.com/cn/articles/introductionOozie 
官網:http://oozie.apache.org/

14)Hue(CSDN,51CTO ,以及官網)–20小時

推薦學習博客:http://ju.outofmemory.cn/entry/105162 
官網:http://gethue.com/

第四階段(不斷學習階段)

每天都會有新的東西出現,需要關注最新技術動態,不斷學習。任何一般技術都是先學習理論,然后在實踐中不斷完善理論的過程。

備注

1)如果你覺得自己看書效率太慢,你可以網上搜集一些課程,跟着課程走也OK 。如果看書效率不高就很網課,相反的話就自己看書。

2)企業目前更傾向於使用Spark進行微批處理,Storm只有在對時效性要求極高的情況下,才會使用,所以可以做了解。重點學習Spark Streaming。

3)快速學習的能力解決問題的能力溝通能力**真的很重要。

4)要善於使用StackOverFlow和Google(遇到解決不了的問題,先Google,如果Google找不到解決方能就去StackOverFlow提問,一般印度三哥都會在2小時內回答你的問題)。

/*

5)視頻課程推薦:

可以去萬能的淘寶購買一些視頻課程,你輸入“大數據視頻課程”,會出現很多,多購買幾份(100塊以內可以搞定),然后選擇一個適合自己的。個人認為小象學院的董西成和陳超的課程含金量會比較高。\

*/

四、持續學習資源推薦

  1. Apache 官網(http://apache.org/
  2. Stackoverflow(https://stackoverflow.com/
  3. Github(https://github.com/)
  4. Cloudra官網(https://www.cloudera.com/)
  5. Databrick官網(https://databricks.com/)
  6. About 雲 :http://www.aboutyun.com/
  7. CSDN,51CTO (http://www.csdn.net/http://www.51cto.com/
  8. 至於書籍當當一搜會有很多,其實內容都差不多。

最佳答案:

本文经用户投稿或网站收集转载,如有侵权请联系本站。

发表评论

0条回复