Step 1: 做下saveNamespace操作,停掉集群,并备份下 HDFS 的 Metadata
1.1 让namenode进入safe mode状态
$ bin/hadoop dfsadmin -safemode enter
1.2 执行saveNamespace操作
$ bin/hadoop dfsadmin -saveNamespace
1.3 stop 集群
1.4 备份 dfs.name.dir 下面的元数据
Step 2: 下载 CDH4,把CDH3的配置拷过来
注意CDH3配置文件是在conf目录下面,CDH4的配置文件目录已经改成了etc/hadoop目录
Step 3: 升级 HDFS Metadata
3.1 进入CDH4目录下执行:
sbin/hadoop-daemon.sh start namenode -upgrade -clusterid mycluster-test
说明mycluster-test是clusterid,可以指定,也可以不指定,如果不指定那么系统会自动生成一个
3.2 查看日志目录下的namenode日志,如果出现:
Upgrade of ${dfs.namenode.name.dir} is complete
说明元数据已经升级成功
3.3 启动DataNodes:
在每一台datanode上面启动datanode服务
sbin/hadoop-daemon.sh start datanode
datanode节点会自动升级
3.4 等待namenode退出安全模式,然后执行fsck
bin/hdfs fsck /
3.5 确认目录健康,没有block丢失后可以执行finalzeUpgrade及启动secondarynamenode
bin/hdfs dfsadmin -finalizeUpgrade
#finalized后将不能rollback
sbin/hadoop-daemon.sh start secondarynamenode
#请清理掉dfs.namenode.checkpoint.dir目录下老版本文件,否则会启动失败
回滚操作:
若在升级过程中出了问题,想回滚到cdh3版本,一定不能执行bin/hdfs dfsadmin -finalizeUpgrade。在执行finalizeUpgrade之前都可以回滚
在cdh3 版本下面执行
(1)回滚Namenode,在namenode机器上面执行
bin/hadoop-daemon.sh start namenode -rollback
(2)回滚DataNode,在namenode机器上面执行
bin/hadoop-daemons.sh start datanode -rollback
也可以手工操作,把数据move回来,然后正常启动
(1)回滚Namenode的数据
remove dfs.name.dir/current目录,mv dfs.name.dir/previous dfs.name.dir/current目录
这样子就恢复回namenode的元数据了
(2)回滚DataNode的数据
remove dfs.data.dir/current目录,mv dfs.data.dir/previous dfs.data.dir/current目录
这样子就恢复回datanode的数据了
操作完后就可以重新启动cdh3版本了
总的来说,升级是:mv current previous,创建current,读旧的元数据,写成新版本到current里面,而DataNode节点上面的block数据通过hardlink来放到current目录下面
回滚是:rm current,mv previous current
参考:
http://cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/cdh4ig_topic_6_3.html
相关推荐
HDFS 读写性能测试
3离线安装Cloudera Manager5和CDH5 7 3.1创建本地yum软件源 7 3.2使用本地类库安装CM 10 3.3 设置cloudera manager使用的mysql数据库 10 3.4 使用本地类库安装CDH5 11 4 HDFS启用HA高可用性(基于Quorum-based ...
CDH5.9.0集群的节点删除,步骤详细,并附有步骤的截图。
CDH目前不带flink组件,文档为Flink在CDH集群上的配置部署及读取kafka的实例验证;
1.flume所需要的hdfs包 2.hive-conf :hive-env.sh ;hive-log4j.properties ; hive-site.xml 3.telnet 和netcat 等四个 :netcat-1.10-891.2.x86_64.rpm ; telnet-server-0.17-47.el6_3.1.x86_64.rpm;xinetd-2.3.14-...
14、HDFS 透明加密KMS 网址:https://blog.csdn.net/chenwewi520feng/article/details/130429278 本文旨在简单介绍hdfs的透明加密作用及其使用。 前提依赖:hadoop环境部署好且可用。部署文章可参考本专栏相关文章。...
3、需要自己保证版本兼容,比如升级Hadoop版本后需要自己保证与Hive、Hbase等的兼容 4、安全性很低 Apache官方和一些第三方就发布了一些Hadoop发行版本来解决此类问题。一些有名的发行版本列举如下: • Apache ...
将2个jar包(一个为Flink运行在Yarn上,一个Flink使用自己的集群模式)上传到CDH的csd目录下,...最后将flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar包放置在flink的bin目录下(此包为Flink和HDFS的连接包)
之前一直在网上找社区版hadoop的配置,发现CDH安装直接界面搞定,自动生成配置。供检查学习。
HBase is one of Hadoop core components, included in CDH parcel already. HDFS and
1. Hadoop发行商 Apache:开源免费 CDH: Clouder公司研发。只支持64位操作系统。更加详细信息后面会介绍。 HDP: Hortonworks公司研发。 亚马逊: 阿里云: ...2. 公司常用版本及介绍 ...4. cdh相关概念介绍
耗时两天周末,win7 X64环境自己编译的bin目录 hadoop.dll winutils.exe hadoop hadoop.cmd ...hdfs hdfs.cmd hdfs.dll hdfs.lib hdfs.pdb libwinutils.lib mapred mapred.cmd rcc winutils.pdb yarn yarn.cmd
数据库传递数据工具,实现mysql,sql server与hdfs,hbase,hive等数据库的数据传递
Flume配置HDFS所需jar包 commons-configuration-1.6.jar commons-io-2.6.jar hadoop-auth-2.6.0-cdh5.16.2.jar hadoop-common-2.6.0-cdh5.16.2....hadoop-hdfs-2.6.0-cdh5.16.2.jar htrace-core-3.2.0-incubating.jar
熟练掌握HDFS的Java API接口访问
CDH 5.10.0 离线安装部署文档 使用了青云的3台云主机 安装的服务有HDFS、YARN 与 ZooKeeper
使用Apache Impala做为对HDFS,HBase的高性能SQL查询引擎;也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库;Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera ...
手把手视频详细讲解项目开发全...4. 添加HDFS服务 5. 添加Yarn服务 6. 添加Zookeeper服务 7. 添加Hive服务 8. 添加Oozie服务 9. 添加Sqoop服务 10. 添加HBase服务 11. 添加Spark服务 12. 添加Hue服务 13. 添加新服务器
CDH环境搭建详细步骤及如何使用C++对hdfs, yarn, hbase进行开发
CDH集群大数据hadoop报错解决办法及思路整理,主要解决大数据在运行过程中所遇到的问题,相关解决办法都是实践验证过。