八戒影院午夜福利_亚洲最新中文字幕成人_免费无限 观看深夜视频_麻豆91久久婷婷五月_男女猛烈xx00动态图高清_精品一级毛片视频_亚洲综合播放_欧美一级黄色内射_无码人妻一区二区三区免费看_亚洲系列欧美系列手机在线

第六周-大數(shù)據(jù)學習班,深圳模具廠,模塑科技

2019-10-20 09:12:26

回顧第5周  , 上周的 Hbase 軟件, 盧老師提供過百度云盤的記錄。   或者自己下載。

image.png


image.png



Hbase  增刪改查 的 操作;

image.png


image.png

image.png

image.png

image.png


image.png


image.png


image.png

      image.png

     多種類型可以混合應用


     image.png

可以增加邏輯判斷和計算, 在條件中, 這是  scala 的強大之處。


image.png

image.png

image.png


這種是遞歸的函數(shù), 也就是函數(shù)中調(diào)用了自己本身的函數(shù)


image.png


image.png


     image.png


    image.png

  image.png

變長數(shù)組,定長數(shù)組, 可變數(shù)組,  可以相互轉(zhuǎn)化。


image.png

reverse  , 這個是  取反 的意思,  也就是倒序。

image.png

%2  取模 , 也就是去偶數(shù)


image.png


.min 是進行取小。 



image.png

映射,必須有鍵值對,有K 有 V,   對鍵值對的調(diào)換、


Scala 主要是計算  文本搜索統(tǒng)計中, 得到的統(tǒng)計結(jié)果, 

MAP 映射相關的操作。


1、壓平, 

2、鍵值對,

3、統(tǒng)計,

4、鍵值對調(diào)換,

5、在進行排序,

6、再次統(tǒng)計。


定義元組 

image.png

這個元組, 也就是一個容器, 可以對他取值。

image.png  這就是結(jié)果。   


parton 用的很多,  


image.png

image.png

image.png


=JaVa 中的重載


image.png

這些就是   SCALA 的 類的運用 


image.png


image.png


image.png

image.png


image.png


image.png



image.png




上周  Hbase  和  Scala的復習


接下來講    kafaka     再講    zookeppr


-------------------------------------------------------------------------------------------------------------------------------------------------

image.png


KAFAKA   ,首先要了解  KAFAKA 的如下內(nèi)容

image.png


產(chǎn)生的背景, 一個分布式的發(fā)布以及訂閱的消息系統(tǒng),她最初由  linkdin 開發(fā)的, 

使用   scala 語音書寫的。  最終成為 Apache項目的一部分,可劃分, 多訂閱者

image.png


image.png



image.png

舉例說明:   灑水車是  kafaka  裝水就是 生產(chǎn) ,     灑水就是消費的過程。

灌水的速度 和 灑水的速度是多少?    就是消息





image.png



-----------------下午開始學習   KAFAKA  


  image.png

parttion  有序列號, 可以并行處理更多的數(shù)據(jù), 每個消息都有ID , 也叫 offset 。


  image.png

image.png





image.png

image.png



image.png



image.png




image.png


image.png

image.png

image.png

image.png

image.png





image.png

image.png

             image.png



image.png


image.png

一個生產(chǎn)交易系統(tǒng),  每天產(chǎn)生 1億的訂單量 , (分布在很多?。?nbsp; ,  需要全國的銷量監(jiān)控,  以及各個省份的, 

匯總到北京, 可以做到, 各個省份的排名, 


1、 實際放入 的數(shù)據(jù), 是實時產(chǎn)生的, 并不是同時產(chǎn)生的, 所以輸入到 KAFKA 中, 然后由 Spark 取出來計算出來。

      具體的接口


2、統(tǒng)計第一步,  第二步, 預測 , 學習,  挖掘 。   甚至可以人臉識別。 

image.png

  


image.png


image.png

image.png

image.png


image.png







image.png

image.png


image.png


image.png


image.png


image.png


KaFKa 的 Message  , 也就是把 Message  。    下周講      10-13  上課 。









Hbase  是No SQL數(shù)據(jù)庫 ,  



深圳塑膠模具廠,深圳市模具廠,深圳模具廠,深圳模具,深圳塑膠模具
首頁
產(chǎn)品
新聞
聯(lián)系