第六周-大數(shù)據(jù)學習班,深圳模具廠,模塑科技
回顧第5周 , 上周的 Hbase 軟件, 盧老師提供過百度云盤的記錄。 或者自己下載。
Hbase 增刪改查 的 操作;
多種類型可以混合應用
可以增加邏輯判斷和計算, 在條件中, 這是 scala 的強大之處。
這種是遞歸的函數(shù), 也就是函數(shù)中調(diào)用了自己本身的函數(shù)
變長數(shù)組,定長數(shù)組, 可變數(shù)組, 可以相互轉(zhuǎn)化。
reverse , 這個是 取反 的意思, 也就是倒序。
%2 取模 , 也就是去偶數(shù)
.min 是進行取小。
映射,必須有鍵值對,有K 有 V, 對鍵值對的調(diào)換、
Scala 主要是計算 文本搜索統(tǒng)計中, 得到的統(tǒng)計結(jié)果,
MAP 映射相關的操作。
1、壓平,
2、鍵值對,
3、統(tǒng)計,
4、鍵值對調(diào)換,
5、在進行排序,
6、再次統(tǒng)計。
定義元組
這個元組, 也就是一個容器, 可以對他取值。
這就是結(jié)果。
parton 用的很多,
=JaVa 中的重載
這些就是 SCALA 的 類的運用
上周 Hbase 和 Scala的復習
接下來講 kafaka 再講 zookeppr
-------------------------------------------------------------------------------------------------------------------------------------------------
KAFAKA ,首先要了解 KAFAKA 的如下內(nèi)容
產(chǎn)生的背景, 一個分布式的發(fā)布以及訂閱的消息系統(tǒng),她最初由 linkdin 開發(fā)的,
使用 scala 語音書寫的。 最終成為 Apache項目的一部分,可劃分, 多訂閱者
的
舉例說明: 灑水車是 kafaka 裝水就是 生產(chǎn) , 灑水就是消費的過程。
灌水的速度 和 灑水的速度是多少? 就是消息
-----------------下午開始學習 KAFAKA
parttion 有序列號, 可以并行處理更多的數(shù)據(jù), 每個消息都有ID , 也叫 offset 。
一個生產(chǎn)交易系統(tǒng), 每天產(chǎn)生 1億的訂單量 , (分布在很多?。?nbsp; , 需要全國的銷量監(jiān)控, 以及各個省份的,
匯總到北京, 可以做到, 各個省份的排名,
1、 實際放入 的數(shù)據(jù), 是實時產(chǎn)生的, 并不是同時產(chǎn)生的, 所以輸入到 KAFKA 中, 然后由 Spark 取出來計算出來。
具體的接口
2、統(tǒng)計第一步, 第二步, 預測 , 學習, 挖掘 。 甚至可以人臉識別。
KaFKa 的 Message , 也就是把 Message 。 下周講 10-13 上課 。
Hbase 是No SQL數(shù)據(jù)庫 ,