Linux
RedHat--CentOs CentOs 6.4
Debian--Ubuntu
VMware 虚拟机
关于虚拟机实现上网的解决办法
NAT: 网络地址转换
当在专用网内部的一些主机本来已经分配到了本地IP地址即仅在本专用网内使用的专用地址,但现在又想和因特网上的主机通讯时可以使用NAT的方法。这种方法需要在专用网连接到因特网的路由器上安装路由器软件即NAT路由器他至少有一个有效的外部全球IP地址,这样所有使用本地地址的主机在和外界通信时都要在NAT路由器上转换成全球IP地址,才能和因特网连接。
主机给虚拟机分配一个ip地址,虚拟机通过NAT方式为其内部的操作系统分配IP地址。
桥接:所有操作系统处在同一个网段,使用相同的主机IP。
centos的安装
镜像安装:直接安装新的系统,自动分配IP地址不用管
安装已有虚拟机:使用vmdk文件安装后,需要修改以下几点
1.mac地址,不使用动态生成的ip地址
2. vi /etc/sysconfig/network-scripts/ifcfg-eth0
vi /etc/udev/rules.d/70-persistent-net.rules
以上内容修改即可
secureCRT
SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,简单地说是Windows下登录UNIX或Linux服务器主机的软件。
serial:串行接口。
ssh1:
SSH 为 Secure Shell 的缩写,由 IETF 的网络小组(Network Working Group)所制定;SSH 为建立在应用层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序,后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、Digital UNIX、Irix,以及其他平台,都可运行SSH。
telnet:
Telnet协议是TCP/IP协议族中的一员,是Internet远程登陆服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用telnet程序,用它连接到服务器。终端使用者可以在telnet程序中输入命令,这些命令会在服务器上运行,就像直接在服务器的控制台上输入一样。可以在本地就能控制服务器。要开始一个telnet会话,必须输入用户名和密码来登录服务器。Telnet是常用的远程控制Web服务器的方法。
Rlogin:
DHCP:
DHCP(Dynamic Host Configuration Protocol,动态主机配置协议)是一个局域网的网络协议,使用UDP协议工作, 主要有两个用途:给内部网络或网络服务供应商自动分配IP地址,给用户或者内部网络管理员作为对所有计算机作中央管理的手段,在RFC 2131中有详细的描述。DHCP有3个端口,其中UDP67和UDP68为正常的DHCP服务端口,分别作为DHCP Server和DHCP Client的服务端口;546号端口用于DHCPv6 Client,而不用于DHCPv4,是为DHCP failover服务,这是需要特别开启的服务,DHCP failover是用来做“双机热备”的。
DNS:DNS(Domain Name System,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串。通过主机名,最终得到该主机名对应的IP地址的过程叫做域名解析(或主机名解析)。DNS协议运行在UDP协议之上,使用端口号53。在RFC文档中RFC 2181对DNS有规范说明,RFC 2136对DNS的动态更新进行说明,RFC 2308对DNS查询的反向缓存进行说明.
网关:
file zilla
是一款使用ftp(文件传输协议)的软件,通过IP地址连接可实现数据传送。
vmnet0 vmnet1 vmnet8
vmnet0,实际上就是一个虚拟的网桥,这个网桥有很若干个端口,一个端口用于连接你的Host,一个端口用于连接你的虚拟机,他们的位置是对等的,谁也不是谁的网关。所以在Bridged模式下,你可以让虚拟机成为一台和你的Host相同地位的机器。
vmnet1,这是一个Host-Only网络模式,这是用于建立一个与世隔绝的网络环境所用到的,其中vmnet1也是一个虚拟的交换机,交换机的一个 端口连接到你的Host上,另外一个端口连接到虚拟的DHCP服务器上(实际上是vmware的一个组件),另外剩下的端口就是连虚拟机了。虚拟网卡 “VMWare Virtual Ethernet Adapter for VMnet1”作为虚拟机的网关接口,为虚拟机提供服务。在虚拟机启动之后,如果你用ipconfig命令,你会很清楚的看到,你的默认网关就是指向 “VMWare Virtual Ethernet Adapter for VMnet1”网卡的地址的。(实际上它并不能提供路由,这是VMware设计使然,它是干了除了提供路由之外的一些事情——实际上是我也不知道它干了什 么事情),这里没有提供路由主要表现在没有提供NAT服务,使得虚拟机不可以访问Host-Only模式所指定的网段之外的地址。
vmnet8,这是一个NAT方式,最简单的组网方式了,从主机的“VMWare Virtual Ethernet Adapter for VMnet8”虚拟网卡出来,连接到vmnet8虚拟交换机,虚拟交换机的另外的口连接到虚拟的NAT服务器(这也是一个Vmware组件),还有一个口 连接到虚拟DHCP服务器,其他的口连虚拟机,虚拟机的网关即是“VMWare Virtual Ethernet Adapter for VMnet8”网卡所在的机器,废话,这肯定就是你的Host机器啦。同样,用ipconfig也可以看出来,你的虚拟机的默认网关也指向了你的 “VMWare Virtual Ethernet Adapter for VMnet8”虚拟网卡地址。相比之下,可以看出来,NAT组网方式和Host-Only方式,区别就在于是否多了一个NAT服务。
Hadoop
HDFS
YARN
mapreduce
安装Hadoop
windows里的hosts文件:c Windows system32 drivers etc hosts
2.1.3 关闭防火墙
检查是否关闭:service iptables status
关闭:service iptables stop
开机不自启:
3.1.4 安装jdk
3.1.5 安装Hadoop
Hadoop包在/opt/software 下 tar -zxvf hadoop-2.5.0-gz -C 安装目录
接下来配置:
NO1
/etc/profile --
# JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
# HADOOP_HOME
export HADOOP_HOME=/opt/modules/hadoop-2.5.0
export PATH=$PATH:$HADOOP_HOME/bin
NO2
hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
NO3 core-site.xml
<configuration>
<!-- 配置namenode所在的主机和端口 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://lee.com.cn:8020</value>
</property>
<!-- hadoop在运行过程中产生的临时文件放置点 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/tmp</value>
</property>
</configuration>
NO4 hdfs.site.xml
<configuration>
<!-- 伪分布式的副本数量设置 和datanode数量一直表示就一台服务器 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
NO5 mapred.-site.xml.template ---mapred.-site.xml
<configuration>
<!--告诉 Hadoop mapreduce运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
NO6 yarn-site.xml
<configuration>
<!-- nodemanager 获取数据的方式是shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定yarn的管理者resourcemanager在哪里 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>lee.com.cn</value>
</property>
</configuration>
NO7
slaves
lee.com.cn
NO8 格式化
hdfs namenode -format
NO 9 启动
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode
./hadoop-daemon.sh start secondarynamenode
./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager
查看
jps
hostname:50070
hostname:8088
Hadoop 的安装及配置
原文:http://www.cnblogs.com/simple-argument/p/6374370.html