您好,歡迎來到網暖!
?
當前位置:網暖 » 站長資訊 » 建站基礎 » 網絡技術 » 文章詳細 訂閱RssFeed

Hadoop HA 集群配置文件

來源:網絡整理 瀏覽:293次 時間:2019-12-08

> 1、hadoop-env.sh配置

export JAVA_HOME=(jdk安裝地址)

> 2、hdfs-site.xml配置文件

<此新名稱服務的邏輯名稱>
<property>
<name> dfs.nameservices </ name>
<value> mycluster </ value>
</property>
<名稱服務中每個NameNode的唯一標識符>
<property>
<name> dfs.ha.namenodes.mycluster </ name>
<value>master,slave1</ value>
</ property>
<namenode的rpc服務器的監聽地址>
<property>
<name> dfs.namenode.rpc-address.mycluster.master </ name>
<value> master:50070 </ value>
</ property>
<property>
<name> dfs.namenode.rpc-address.mycluster.slave1 </ name>
<value> slave1:50070 </ value>
</ property>
<每個NameNode監聽的標準HTTP地址>
<property>
<name> dfs.namenode.http-address.mycluster.master </ name>
<value> master:9000 </ value>
</ property>
<property>
<name> dfs.namenode.http-address.mycluster.slave1 </ name>
<value> slave1:9000 </ value>
</ property>
<配置JournalNodes 集群的URI>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<配置故障轉移代理類>
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<sshfence -SSH到Active NameNode并終止進程>
<property>
<name> dfs.ha.fencing.methods </ name>
<value> sshfence </ value>
</ property>
<property>
<name> dfs.ha.fencing.ssh.private-key-files </ name>
<value> /root/.ssh/id_rsa </ value>
</ property>
<shell-運行一個任意的shell命令來隔離Active NameNode>
<property>
<name> dfs.ha.fencing.methods </ name>
<value> shell(/bin/true)</ value>
</ property>
<journalnode日志存放路徑>
<property>
<name> dfs.journalnode.edits.dir </ name>
<value>/usr/local/src/hadoop/data/journalnode/jn</ value>
</property>
<自動故障轉移>
<property>
<name> dfs.ha.automatic-failover.enabled </ name>
<value> true </ value>
</ property>

> 3、core-site.xml配置文件

<指定hdfs的nameservice>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<指定hadoop臨時目錄>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/tmp/hadoop/ha</value>
</property>
<zookeeper的地址>
<property>
<name>ha.zookeeper.quorum</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>

> 4、mapred-site.xml配置

<property>
<name>mapreduce.farmework.name</name>
<value>yarn</calue>
</property>

> 5、yarn-site.xml配置

<打開高可用>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<啟用自動故障轉移 >
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-rm-cluster</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分別指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>server1</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master:2181,server1:2181,server2:2181</value>
</property>
<配置YARN的http端口>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>slave1:8088</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

> 6、slaves配置(DataNode)
master
slave1
slave2

推薦站點

  • 騰訊騰訊

    騰訊網(www.QQ.com)是中國瀏覽量最大的中文門戶網站,是騰訊公司推出的集新聞信息、互動社區、娛樂產品和基礎服務為一體的大型綜合門戶網站。騰訊網服務于全球華人用戶,致力成為最具傳播力和互動性,權威、主流、時尚的互聯網媒體平臺。通過強大的實時新聞和全面深入的信息資訊服務,為中國數以億計的互聯網用戶提供富有創意的網上新生活。

    www.qq.com
  • 搜狐搜狐

    搜狐網是全球最大的中文門戶網站,為用戶提供24小時不間斷的最新資訊,及搜索、郵件等網絡服務。內容包括全球熱點事件、突發新聞、時事評論、熱播影視劇、體育賽事、行業動態、生活服務信息,以及論壇、博客、微博、我的搜狐等互動空間。

    www.sohu.com
  • 網易網易

    網易是中國領先的互聯網技術公司,為用戶提供免費郵箱、游戲、搜索引擎服務,開設新聞、娛樂、體育等30多個內容頻道,及博客、視頻、論壇等互動交流,網聚人的力量。

    www.163.com
  • 新浪新浪

    新浪網為全球用戶24小時提供全面及時的中文資訊,內容覆蓋國內外突發新聞事件、體壇賽事、娛樂時尚、產業資訊、實用信息等,設有新聞、體育、娛樂、財經、科技、房產、汽車等30多個內容頻道,同時開設博客、視頻、論壇等自由互動交流空間。

    www.sina.com.cn
  • 百度一下百度一下

    百度一下,你就知道

    www.baidu.com
?
买北京单场