NFS服务简介
同时也是一种网络协议,NFS依赖RPC才能工作。(RHEL5.0上是NFS V3而RHEL6.0上是NFS V4)
NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”,它是独立于操作系统,容许不同硬件及操作系统的系统共同进行文件的分享。
NFS在文件传送或信息传送过程中依赖于RPC协议。RPC,远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的,但NFS却能让我们通过网络进行资料的分享,这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以这么理解RPC和NFS的关系:NFS是一个文件系统,而RPC是负责负责信息的传输。
RPC协议介绍
RPC(Remote Procedure Call)远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。其工作在TCP/UDP的111端口。建立在Socket之上的,主要是简化编程的工作在底层提供网络之间的通信。
RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。
在Linux6中实现RPC协议的软件是RPCbind程序包,进程名称是portmapper。RPC并不提供任何具体的服务,要想提供具体的服务就必须在Linux上提供具体的软件。而网络文件系统(NFS)就是基于RPC协议工作的,如NFS客户端——-Portmap客户端——Portmap服务端——NFS服务端。如图是RPC的工作原理:
NFS V4相关进程
$ rpcinfo mountd 负责客户端来源认证的进程,认证成功后接受客户端的挂载请求,工作在随机端口,即时向RPC注册。 nfs 负责文件读写,工作在TCP/UDP的2049端口。 quotad 负责限定客户端在本地能使用多大磁盘空间,工作在随机端口,即时向RPC注册。 idmapd 负责用户ID映射。 nlockmgr NFS的服务器端锁机制进程,当有一个客户端进程要访问服务器端处理文件之前就会先向NFS注册加锁,以免同时两个客户端进程同时处理一个文件导致文件崩溃;一个进程处理完成之后就会通知NFS释放锁。
NIS服务介绍
NIS(network information service)网络信息服务,也是SUN公司开发的统一认证服务器,并且SUN也有商业版的NIS+。NIS本身十分不安全,也无法完成安全用户认证,它只能够帮助用户认证并且能够把账号密码集中存放起来,类似于Windows的AD域。在使用中更多的是使用NIS结合kerberos来完成安全认证或只使用kerberos完成安全认证。而在大规模NFS环境中会用到LDAP协议,它能够实现大规模的安全统一认证,并且能够基于SSL,还能够实现多主模型,高可能集群等等。而Windows的AD域就是使用的LADP协议。
什么时候会需要统一认证服务器呢,就需要先了解NFS的权限问题?
NFS服务器端目前只能基于主机认证客户端的来源,而不能基于用户名进行验证。那么在安全性上就大大减弱了。如果NFS客户端挂载服务器端之后以tom的用户创建一个文件而在NFS服务器端没有tom用户那么这个文件就会显示tom的ID号,恰好此ID号正好是NFS服务器端的Jerry用户那么此文件的属主就会是jerry了。因此由于root用户的UID都是0,所以默认NFS客户端Root都被映射为来宾账号,不然客户端都可以以本地Root的权限来操作NFS服务器了。
为了解决这个问题,就可以使用NIS集中式认证。也就是说另外再找一台服务器做NIS认证,那么当NFS客户端登陆时必须要先到认证服务器确认用户名和密码。登陆成功后创建文件时就会以当前用户为准,而NFS服务器端解析此文件的用户ID时就会到认证服务器去请求解析。这样一来就不会出现文件权限的诡异了。
NFS实践
安装rpcbind
属于RPC的服务器端,默认已安装。
$ rpm -q rpcbind rpcbind-0.2.0-11.el6.x86_64
安装nfs-utils
nfs-utils是NFS的服务器端管理工具(NFS是内核模块),不光服务端需要,客户端也需要安装,不然无法挂载成功。
$ yum install nfs-utils # CentOS 6启动方式; $ service nfs restart $ chkconfig nfs on # CentOS 7启动方式; $ systemctl enable nfs.service $ systemctl start nfs.service
编辑NFS配置文件
$ cat /etc/sysconfig/nfs # mound进程设置固定端口; MOUNTD_PORT=892 # quotad进程设置固定端口; RQUOTAD_PORT=875 # lockd进程设置固定端口; LOCKD_TCPPORT=32803 LOCKD_UDPPORT=32769
PS:以上进程都是RPC提供的,在启动时要向RPC注册监听在某端口上,RPC会从未使用的端口中随机挑选一个给此进程,而设置固定端口以免随机端口占用到服务端口。
导出NFS共享目录
# 创建用户; $ useradd -u 1000 test # 创建共享目录; $ mkdir /share # 给共享目录设置test用户权限; $ setfacl -m u:test:rwx /share $ cat /etc/exports /share 172.168.0.0/16(rw,async)
NFS服务的配置文件为/etc/exports,这个文件是NFS的主要配置文件,不过系统并没有默认值,所以这个文件不一定会存在,可能要使用vim手动建立,然后在文件里面写入配置内容。
/etc/exports文件内容格式,如下:
< 输出目录> [客户端1 选项(访问权限,用户映射,其他)] [客户端2 选项(访问权限,用户映射,其他)] 输出目录:输出目录是指NFS系统中需要共享给客户机使用的目录,如/share。 客户端:客户端是指网络中可以访问这个NFS输出目录的计算机,如172.168.10.0/16。 选项:选项用来设置输出目录的访问权限、用户映射等。 A)访问权限 ro:设置输出目录只读。 rw:设置输出目录读写。 B)用户映射 root_squash:将root用户映射为来宾账号(nfsnoboydy用户),默认启用。 no_root_squash:不映射客户端root账号为来宾账号,也就意味着客户端root具有服务端root的用户权限。 all_squash:将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody)。 no_all_squash:与all_squash取反(默认设置); anonuid=501:指定映射的账号UID。 anongid=501:指定映射的账号GID。 C)其他 secure:限制客户端只能从小于1024的tcp/ip端口连接nfs服务器(默认设置)。 insecure:允许客户端从大于1024的tcp/ip端口连接服务器。 sync:将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性。 async:将数据先保存在内存缓冲区中,必要时才写入磁盘,默认使用。 wdelay:检查是否有相关的写操作,如果有则将这些写操作一起执行,这样可以提高效率(默认设置)。 no_wdelay:若有写操作则立即执行,应与sync配合使用。 subtree:若输出目录是一个子目录,则nfs服务器将检查其父目录的权限(默认设置)。 no_subtree:即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,这样可以提高效率。
NFS客户端挂载共享目录
客户端首先也要安装nfs-utils,不然无法识别nfs文件系统。
$ yum install nfs-utils 然后挂载共享目录。 $ mount -t nfs -o soft 172.168.10.100:/share /mnt 这里如果使用root用户来创建文件,是没有权限创建的,一是因为root在此被映射为nfsnobody了,二是因为/share只开放给了test用户。 $ touch /mnt/test.txt touch: cannot touch `/mnt/test.txt': Permission denied 创建用户 $ useradd -u 1000 test 切换到test用户 $ su - test $ touch /mnt/test.txt $ ll /mnt/ -rw-rw-r--. 1 test test 0 Mar 31 2015 test.txt
创建测试文件,如果NFS服务器端不给/share设置test允许写入,那么在客户端上的test用户就没有写入权限,因为在客户端只是执行命令而真正要创建文件还是服务器端以本地test用户的权限来创建文件。另外如果两个服务器上的test用户ID号不同也不能创建文件。
$ cat /etc/fstab 172.168.10.100: /share /mnt nfs defaults,_rnetdev 0 0
_rnetdev表示系统启动时如果挂载不到NFS就跳过,默认挂载不到系统启动不了。
NFS命令
服务器端相关命令 # 查看RPC相关进程; $ rpcinfo # 查看导出的文件系统; $ exportfs # 重新导出所有文件系统; $ exportfs -a -r # 取消导出所有文件系统; $ exportfs -a -u # 查看NFS服务器所有被挂载的文件系统; $ showmount -a 172.168.10.100 客户端相关命令 查看NFS服务器导出的所有文件系统; $ showmount -e 172.168.10.100 NFS有很多默认的参数,打开/var/lib/nfs/etab查看分享出来的/share完整权限设定值。 $ cat /var/lib/nfs/etab /share192.168.60.0/24(rw,async,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash, no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534)
NFS故障处理
NFS客户端卡死问题
在客户端df -h的时候系统直接就卡住了,umount -f /mnt提示device is busy,并且尝试访问挂载目录、ctrl+c也不能强行退出。造成这种现象的原因是nfs服务器/网络挂了,NFS客户端还存在,nfs客户端挂载默认采用hard-mount选项,而不是soft-mount。他们的区别是:
soft-mount: 当客户端加载NFS不成功时,重试retrans设定的次数,如果retrans次都不成功,则放弃此操作,返回错误信息 “Connect time out” hard-mount: 当客户端加载NFS不成功时,一直重试,直到NFS服务器有响应。所以就会出现客户端卡死问题。 hard-mount是系统的缺省值,在选定hard-mount时,最好同时选intr , 允许中断系统的调用请求,避免引起系统的挂起。当NFS服务器不能响应NFS客户端的hard-mount请求时,NFS客户端会显示”NFS server hostname not responding, still trying”。 下面列出mount关于nfs相关的参数: -a:把/etc/fstab中列出的路径全部挂载。 -t:需要mount的类型,如nfs等。 -r:将mount的路径定为read only。 -v mount:过程的每一个操作都有message传回到屏幕上。 -o rsize=n:在NFS服务器读取文件时NFS使用的字节数,默认值是4096个字节。 -o wsize=n:向NFS服务器写文件时NFS使用的字节数,默认值是4096个字节。 -o timeo=n:从超时后到第1次重新传送占用的1/7秒的数目,默认值是7/7秒。 -o retry=n:在放弃后台mount操作之前可以尝试的次数,默认值是7000次。 -o soft:使用软挂载的方式挂载系统,若Client的请求得不到回应,则重新请求并传回错误信息。 -o hard:使用硬挂载的方式挂载系统,该值是默认值,重复请求直到NFS服务器回应。 -o intr:允许NFS中断文件操作和向调用它的程序返回值,默认不允许文件操作被中断。 fg:一直在提示符下执行重复挂载。 bg:如果第1次挂载文件系统失败,继续在后台尝试执行挂载,默认值是失败后不在后台处理。 tcp:对文件系统的挂载使用TCP,而不是默认的UDP。 如:mount -t nfs -o soft -o intr -o retry=10 192.168.1.2:/home/nfs /mnt
NFS客户端无法启动
造成NFS客户端无法启动的原因也是由于nfs服务器/网络挂了,客户端在系统启动时一直去连接NFS服务端,但是一直连接不上,就一直卡死在哪里启动不了。同样解决方式使用soft-mount方式挂载NFS。