把最近经常使用的Hadoop,Ceph的命令总结一下,很实用。
Hadoop 
	
	
		检查nm是否存活,bin/yarn node list
	
	
		删除目录,hadoop dfs -rm -r /directory
	
	
		hadoop classpath 可以查看所有的类的路径
	
	
		Hadoop离开安全模式的方法:hadoop dfsadmin -safemode leave 
	
	
		 
		
			
				 wordcount 程序:
			
			
				        生成随机文本     bin/hadoop jar  hadoop-mapreduce-examples-2.4.1.jar randomtextwriter -Dmapreduce.randomtextwriter.totalbytes=8589934592 /usr/mrinput  
			
         wordcount测试   time bin/hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /usr/mrinput /usr/mroutput      
		 
		
			       terasort 程序:  
		
		
			
				       生成待排序数据  bin/hadoop jar hadoop-mapreduce-examples-2.4.1.jar teragen 4589934592 terasort/2-input  
			
       terasort程序运行     hadoop jar hadoop-mapreduce-examples-2.4.1.jar terasort -Dmapred.reduce.tasks=4 terasort/2-input terasort/1G-outputs 
		 
 
	 
	
		
 
	
	
		 
	
 
ceph 
	
 
	
		
			 
		
		
			 
			
				David的脚本:
			
			
				
			
			
				mount ceph文件系统
			
			
				sudo mount.ceph 10.196.131.238:6789:/ ~/ -o name=admin,secret=AQDFWMBVuwkXARAA/O8kdBTVoCuterXiRMtmrg==
			
 
		 
		
			
 
		
		
			创建一个cephfs,ceph fs new cephfs hadoop1 hadoop2   
 
		
		
			rados -p poolname ls 可以查看有哪些object。 
		
		
			rados -p hadoop2 stat 1000000109d.00000b2a 可以查看object的信息。 
		
		
			
 
		
		
	 
 
	创建pool:ceph osd pool create hadoop1 1320 1320 
	查看pool列表 :ceph osd pool ls 
	设置pool的size ceph osd pool set hadoop1 size 3 
	
		
			 
			
			
			
				
			
			
				ceph osd tree 查看osd列表信息
			
			
				ceph mds add_pool hadoop2
			
			
				
			
			
				 ceph mds rm 0 mds.tdw-xxx    
			
			
				mds gid 0 dne
			
 
		 
	 
	
		
	
	
		删除一个cephfs的方法:
	
	
		
			sudo /etc/init.d/ceph stop mds.c223
ceph mds rm 0 mds.c223
ceph mds newfs 1 2 --yes-i-really-mean-it
ceph fs rm cephfs --yes-i-really-mean-it
sudo ceph osd pool delete cephfs_data cephfs_data --yes-i-really-really-mean-it
sudo ceph osd pool delete cephfs_metadata cephfs_metadata --yes-i-really-really-mean-it
		
查看 auth列表,ceph auth list
	
 
	
		
	
	
		修改client.admin里面访问mds的权限:
	
	
		ceph auth caps client.admin mon ‘allow *‘ mds ‘allow *‘ osd ‘allow *‘
updated caps for client.admin
ceph tell mds.tdw-xxx injectargs -- --debug-mds-log 20     
	
	
		
			ceph tell mds.tdw-xxx injectargs -- --debug-mds 20   
		
	 
OS 
	
		sgdisk -Z /dev/sdk 可以清除sdk的信息
uuidgen可以产生一个唯一的id
	
	
		
			安装rzsz    yum install lrzsz 
		
		
			查看有哪些包已经安装上 yum list installed
		
		
			查看该包安装到了哪些路径 yum  -ql cephfs-java
		
	 
 常见的Hadoop和Ceph的命令总结
原文:http://blog.chinaunix.net/uid-25267728-id-5154546.html