1. <dd id="jcnig"><nav id="jcnig"><delect id="jcnig"></delect></nav></dd>
      <dfn id="jcnig"><tt id="jcnig"><sup id="jcnig"></sup></tt></dfn>

    2. <cite id="jcnig"></cite>
      <cite id="jcnig"><tt id="jcnig"></tt></cite>

      <address id="jcnig"><nav id="jcnig"></nav></address>
    3. <address id="jcnig"><nav id="jcnig"></nav></address>
      400-650-7353

      精品課程

      您所在的位置:首頁 > IT干貨資料 > 大數據 > 【大數據基礎知識】Hadoop之HDFS概述

      【大數據基礎知識】Hadoop之HDFS概述

      • 發布: 大數據培訓
      • 來源:大數據干貨資料
      • 2021-03-03 10:44:32
      • 閱讀()
      • 分享
      • 手機端入口

      隨著我們業務數據量越來越大,在一個操作系統管轄的范圍內存不下了,那么就需要分配到更多的操作系統管理的磁盤中。但是這給我們帶來的一個問題就是,更多的操作系統非常不方便集中管理和維護。這時迫切需要一種系統來管理多臺機器上的文件,這就產生了分布式文件管理系統。HDFS只是分布式文件管理系統中的一種。

      HDFS(Hadoop Distributed File System),它是一個分布式文件管理系統。一是,用于存儲文件,通過目錄樹來定位文件;其次,它是分布式的,由很多服務器聯合起來實現其功能,并且集群中的服務器有各自的角色。集群不一定是分布式的,但是分布式一定是集群。HDFS的設計適合一次寫入,多次讀出的場景,但不支持文件的修改。HDFS適合用來做數據分析,并不適合用來做網盤應用。

      下面我們來看下HDFS的優缺點吧。

      HDFS優點:

      (1) 高容錯性

      a)每份數據都自動保存多個副本。HDFS正是通過增加副本的的方式來提高容錯性;

      b)如果某個副本丟失,HDFS還可以自動恢復。

      (2) 適合大數據處理

      (a)數據規模:能夠處理數據規模達到GB、TB、甚至PB級別的數據;

      (b)文件規模:能夠處理百萬規模以上的文件數量,數量相當之大。

      (3) 流式數據訪問,它能保證數據的一致性。

      (4) 可構建在廉價機器上,通過多副本機制,提高可靠性。這一點也是HDFS的突出優勢,高性能的集群無需采用價格高昂的服務器,而是構建在廉價的機器上呢。

      HDFS缺點:

      (1) 不適合低延時數據訪問,比如毫秒級的存儲數據,是做不到的。

      (2) 無法高效的對大量小文件進行存儲。

      a) 存儲大量小文件的話,它會占用NameNode大量的內存來存儲文件、目錄和塊信息。這樣是不可取的,因為NameNode的內存畢竟是有限的。

      b) 小文件存儲的尋址時間會超過讀取時間,它違反了HDFS的設計目標。

      (3) 不支持并發寫入、文件隨機修改。

      a) 一個文件只能有一個寫,不允許多個線程同時寫;

      b) 僅支持數據append(追加),不支持文件的隨機修改。

      學習疑問申請解答
      您的姓名
      您的電話
      意向課程
       

      中公優就業

      IT小助手

      掃描上方二維碼添加好友,請備注:599,享學習福利。

      >>本文地址:
      注:本站稿件未經許可不得轉載,轉載請保留出處及源文件地址。

      推薦閱讀

      優就業:ujiuye

      關注中公優就業官方微信

      • 關注微信回復關鍵詞“大禮包”,享學習福利
      QQ交流群
      在線疑問解答
      (加群備注“網站”)
      IT培訓交流群 加入群聊 +
      軟件測試 加入群聊 +
      全鏈路UI/UE設計 加入群聊 +
      Python+人工智能 加入群聊 +
      互聯網營銷 加入群聊 +
      Java開發 加入群聊 +
      PHP開發 加入群聊 +
      VR/AR游戲開發 加入群聊 +
      大前端 加入群聊 +
      大數據 加入群聊 +
      Linux云計算 加入群聊 +
      優就業官方微信
      掃碼回復關鍵詞“大禮包”
      享學習福利

      測一測
      你適合學哪門IT技術?

      1 您的年齡

      2 您的學歷

      3 您更想做哪個方向的工作?

      獲取測試結果
       
      課程資料、活動優惠 領取通道
       
       
      日本一本二本三本av网站,一本加勒比HEZYO东京热高清,一本久久A久久精品综合