1. <dd id="jcnig"><nav id="jcnig"><delect id="jcnig"></delect></nav></dd>
      <dfn id="jcnig"><tt id="jcnig"><sup id="jcnig"></sup></tt></dfn>

    2. <cite id="jcnig"></cite>
      <cite id="jcnig"><tt id="jcnig"></tt></cite>

      <address id="jcnig"><nav id="jcnig"></nav></address>
    3. <address id="jcnig"><nav id="jcnig"></nav></address>
      400-650-7353

      精品課程

      您所在的位置:首頁 > IT干貨資料 > 大數據 > 【大數據基礎知識】Spark算子介紹及map算子的使用

      【大數據基礎知識】Spark算子介紹及map算子的使用

      • 發布: 大數據培訓
      • 來源:大數據干貨資料
      • 2021-07-07 18:48:01
      • 閱讀()
      • 分享
      • 手機端入口

      進入到大數據圈的朋友們都對Spark的強大功能有所了解,那么提到Spark,我們就想到了其中的算子,Spark的強大功能如何實現,自然離不開其中的算子了。怎么理解這些算子呢,我們可以簡單把它理解為方法或函數,Spark已經定義好了很多功能強大的方法或函數,在這里稱為算子。

      Spark中的算子分為兩類:一是轉換類算子(Transformation),二是行動類算子(Action)。轉換類算子執行后得到新的RDD,并且不會立即執行,需要有行動類算子觸發才能執行。行動類算子是立即執行的,并且執行后得到的不再是RDD。

      這次,我們用命令行的方式先來看看這些算子如何使用。

      首先,我們進入spark-shell命令行方式:

      [root@node2 ~]# spark-shell --master spark://node1:7077

      執行上面命令后,就進入了命令行方式:

      此時,我們就可以測試使用Spark中的算子了。

      有一點我們要注意的 ,這些算子都是作用在RDD上,所以我們首先要得到RDD。

      map算子

      map算子實現的是一一映射。

      對某一個rdd執行map,rdd中每一條數據都會執行操作。也就是說rdd中有幾條數據,就會被迭代幾次。

      執行map算子后返回值的數據類型,取決于給map傳遞的函數的返回值類型。

      scala> val rdd=sc.makeRDD(List(1,2,3,4,5,6,7),3)

      rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[3] at makeRDD at :24

      首先,我們通過makeRDD,將一個list轉換成RDD,并且指定分區數為3。

      scala> val rdd1=rdd.map(_>5)

      rdd1: org.apache.spark.rdd.RDD[Boolean] = MapPartitionsRDD[4] at map at :26

      執行map算子,傳遞的函數是判斷元素是否大于5,結果得到一個新的的RDD,并且元素類型是Boolean類型。由此我們也可以看到,結果RDD的元素類型就是由傳入map算子的函數決定的。

      此時,實際上還沒有真正執行,我們需要使用一個Action算子觸發執行。

      scala> rdd1.collect

      [Stage 0:===================> res0: Array[Boolean] = Array(false, false, false, false, false, true, true)

      我們使用collect算子觸發執行,得到結果。Collect算子是Action類算子,是將結果回收到客戶端。在生產環境中,要慎用此算子。我們測試中因為數據量非常小,用此算子是沒有問題的。

      學習疑問申請解答
      您的姓名
      您的電話
      意向課程
       

      中公優就業

      IT小助手

      掃描上方二維碼添加好友,請備注:599,享學習福利。

      >>本文地址:
      注:本站稿件未經許可不得轉載,轉載請保留出處及源文件地址。

      推薦閱讀

      優就業:ujiuye

      關注中公優就業官方微信

      • 關注微信回復關鍵詞“大禮包”,享學習福利
      QQ交流群
      在線疑問解答
      (加群備注“網站”)
      IT培訓交流群 加入群聊 +
      軟件測試 加入群聊 +
      全鏈路UI/UE設計 加入群聊 +
      Python+人工智能 加入群聊 +
      互聯網營銷 加入群聊 +
      Java開發 加入群聊 +
      PHP開發 加入群聊 +
      VR/AR游戲開發 加入群聊 +
      大前端 加入群聊 +
      大數據 加入群聊 +
      Linux云計算 加入群聊 +
      優就業官方微信
      掃碼回復關鍵詞“大禮包”
      享學習福利

      測一測
      你適合學哪門IT技術?

      1 您的年齡

      2 您的學歷

      3 您更想做哪個方向的工作?

      獲取測試結果
       
      課程資料、活動優惠 領取通道
       
       
      日本一本二本三本av网站,一本加勒比HEZYO东京热高清,一本久久A久久精品综合