高性能Linux服务器运维实战:shell编程、监控告警、性能优化与实战案例
上QQ阅读APP看书,第一时间看更新

1.1 Linux命令行与shell

1.1.1 命令是Linux的精髓

Linux是由命令行组成的操作系统,精髓在命令行,无论图形界面发展到什么水平,命令行方式的操作永远是不会变的。Linux命令有许多强大的功能:从简单的磁盘操作、文件存取,到复杂的多媒体图像和流媒体文件的制作,都离不开命令行。虽然Linux也有桌面系统,但是X-window也只是运行在命令行模式下的一个应用程序。

因此,可以说命令是学习Linux系统的基础,在很大程度上学习Linux就是学习命令,很多Linux高手其实都是命令使用很熟练的人。

也许对于刚刚从Windows系统转入Linux系统的初学者来说,立刻开始枯燥的命令学习实在太难,但是学会后你肯定会对Linux爱不释手,因为它的功能实在太强大了。

很多初学者都会遇到这样一个问题:自己对系统的每个命令都很熟悉,但是在系统出现故障的时候,却无从下手,甚至不知道在什么时候用什么命令去检查系统。这是很多Linux新手最无奈的事情。说到底,就是学习的理论知识没有很好地与系统实际操作相结合。

很多Linux知识,如每个命令的参数含义,在书本上说得很清楚,看起来也很容易理解,但是一旦组合起来使用,却并不那么容易,不经过多次的动手练习,其中的技巧是无法完全掌握的。

1.1.2 用户和操作系统内核之间通信的桥梁shell

shell的本意是“壳”,很形象地说明了shell在Linux系统中的作用。shell就是围绕在Linux内核之外的一个“壳”程序,用户在操作系统上完成的所有任务都是通过shell与Linux系统内核的交互来实现的。DOS系统中有一个command.com程序,shell的功能与此类似,但是shell的功能更加强大、更加好用。

各种操作系统都有自己的shell。以DOS为例,它的shell就是command.com程序。DOS下还出现了很多第三方命令解释程序,如4DOS、NDOS等,这些命令解释程序完全可以取代标准的command.com程序。同样,Linux下除了默认的Bourne again shell(Bash)外,还有很多其他的shell,如C shell(csh)、Korn shell(ksh)、Bourne shell(sh)和Tenex C shell(tcsh)等。每个版本shell的功能基本相同,但也有各自的特点,现在的Linux系统发行版一般都以Bash作为默认的shell。

shell本身是一个C语言编写的程序,是用户和操作系统内核之间通信的桥梁。shell既是一种命令解释程序,又是一种功能强大的解释型程序设计语言。作为命令解释程序,shell可以解释用户输入的命令,然后提交到内核处理,最后把结果返回给用户。

为了加快命令的运行,同时更有效地定制shell程序,shell中定义了一些内置的命令,一般把shell自身解释执行的命令称为内置命令,如下面将要讲到的cd、pwd、exit和echo等命令,都是属于Bash的内置命令。当用户登录系统后,shell以及内置命令就被系统载入到内存,并且一直运行,直到用户退出系统为止。除了内置命令,Linux系统上还有很多可执行文件。可执行文件类似于Windows下的.exe文件,这些可执行文件也可以作为shell命令来执行。其实Linux上很多命令都不是shell的内置命令,如ls就是一个可执行文件,存放在/bin/ls中。这些命令与shell内置命令不同,只有当它们被调用时,才由系统装入内存执行。

当用户登录系统后,如果是登录字符界面,将出现shell命令提示符。#表示登录的用户是系统超级用户,*表示登录到系统的是普通用户。shell执行命令解释的具体过程为:用户在命令行输入命令提交后,shell程序首先检测是否为内置命令,如果是,就通过shell内部的解释器将命令解释为系统调用,然后提交给内核执行;如果不是shell内置的命令,那么shell会按照用户给出的路径或者根据系统环境变量的配置信息在硬盘寻找对应的命令,然后将其调入内存,最后再将其解释为系统调用,提交给内核执行。

shell还是强大的解释型程序设计语言,它定义了各种选项和变量,几乎支持高级程序语言的所有程序结构,如变量、函数、表达式和循环等。利用shell可以编写shell脚本程序,类似于Windows/DOS下的批处理文件,但是shell功能更加完善、更加强大。

Linux下的各种shell的主要区别在于命令行的语法。对于一些普通的命令,各个shell版本的语法基本相同,只有在编写一个shell脚本或者使用一些shell高级特性的时候,各个版本shell的差异才会显示出来。

shell语法分析是指shell对命令的扫描处理过程,也就是把命令或者用户输入的内容分解成要处理的各个部分的操作。在Linux系统下,shell语法分析包含很多的内容,如重定向、文件名扩展和管道等。

本节以Bash为例,介绍shell命令的语法分析。

1.1.3 shell命令行的格式以及如何使用

用户登录系统后,shell命令行启动。Shell按照一定的语法格式将用户输入的命令进行分析解释并传递给系统内核。shell命令的一般格式为:

根据习惯,一般把具有以上格式的字符串称为命令行。命令行是用户与shell之间对话的基本单位。对上面命令的含义解释如下。

➢ command:表示命令的名称。

➢ options:表示命令的选项。

➢ arguments:表示命令的参数。

在命令行中,选项是包含一个或多个字母的代码,主要用于改变命令的执行方式。一般在选项前面有一个-符号,用于区别参数,例如:

ls命令加上-a选项后,列出当前目录下的所有文件(包含隐藏文件)。如果ls不加-a选项,则仅仅显示当前目录下的文件名和目录(不显示隐藏文件)。一般命令都有很多选项,可以单独列出它们,也可以在-后面把需要的选项都列出来,例如:

也可以写成:

很多命令都可以接受参数。参数就是在选项后面紧跟的一个或多个字符串,这些字符串指定了命令的操作对象,如文件或者目录。例如,要显示/etc目录下的所有文件及信息,可用以下命令:

特殊情况下,有些命令可以不带参数,如ls命令,而有些命令必须带参数。当参数不够时,shell就会给出错误提示。例如,mv命令至少需要两个参数:

在shell的一个命令行中,还可以输入多个命令,用分号将各个命令分开,例如:

相反,也可以在多行中输入一个命令,用\将一个命令持续到下一行:

1.1.4 shell中常用通配符的使用

通配符主要是为了方便用户对文件或者目录的描述,例如,用户仅仅需要以.sh结尾的文件时,使用通配符就能很方便地实现。各个版本的shell都有通配符,这些通配符是一些特殊的字符,用户可以在命令行的参数中使用这些字符进行文件名或者路径名的匹配。shell将把符合命令行中指定的匹配规则的所有文件名或者路径名作为命令的参数,然后执行这个命令。

Bash中常用的通配符有*、?、[ ]。

1.*——匹配任意一个或多个字符

请看下面例子:

上面这个命令表示列出当前目录中所有以.txt结尾的文件(除去以.开头的文件)。

上面这个命令表示将doc目录下的所有文件(除去以.开头的文件)复制到/opt目录下。

上面这个命令表示列出/etc目录的子目录下所有以.conf结尾的文件。在/etc目录下的以.conf结尾文件将不会列出。

2.?——匹配任意单一字符

请看下面例子:

上面这个命令将列出当前目录下以ab开头,随后一个字母是任意字符,并且以.txt结尾的文件。

上面这个命令将列出当前目录下以ab开头,随后的两个字母是任意字符,并且以.txt结尾的文件。

3.[ ]——匹配任何包含在方括号内的单字符

请看下面例子:

上面这个命令列出了在/dev目录下以sda开头,第4个字符是1、2、3、4或5的所有文件。

上面这个命令中,在方括号中1-5给出了匹配的范围,与前一条命令完全等效。

4.通配符的组合使用

在Linux下,通配符也可以组合使用,例如:

上面这个命令列出了当前目录下以数字开头,随后一个是任意字符,并且以.conf结尾的所有文件。

上面这个命令列出了当前目录下以x、y或z开头,并且以.txt结尾的文件。

1.1.5 shell的输入、输出和错误重定向

Linux下系统打开3个文件,即标准输入、标准输出和标准错误输出。用户的shell将键盘设为默认的标准输入,屏幕为默认的标准输出和标准错误输出。也就是用户从键盘输入命令,然后将结果和错误信息输出到屏幕。

所谓的重定向,就是不使用系统默认的标准输入输出,而是重新指定,因此重定向分为输入重定向、输出重定向和错误输出重定向。要实现重定向就需要了解重定向操作符,shell就是根据重定向操作符来决定重定向操作的。

1.输入重定向

输入重定向用于改变命令的输入源,利用输入重定向可以将一个文件的内容作为命令的输入,而不从键盘输入。

用于输入重定向的操作符有<和<<。例如:

用wc命令统计输入给它的文件/etc/shadow的行数、单词数和字符数。还有一种输入重定向<<,这种重定向告诉shell当前命令的标准输入为来自命令行中一对分隔号之间的内容。例如:

上面的命令将一对分隔号aa之间的内容作为wc命令的输入。分隔号可以是任意字符。shell将在第一个分隔号后开始读取内容,直到出现另一个分隔号结束,然后将内容送给wc命令处理。

2.输出重定向

输出重定向是将命令的输出结果不在屏幕输出,而是输出到一个指定文件中。在Linux下输出重定向用得很多。例如,某个命令的输出很长,一个屏幕无法全部显示,可以将命令的输出指定到一个文件,然后用more命令查看这个文件,从而得到命令输出的完整信息。

用于输出重定向的操作符有>和>>,例如:

将ps -ef输出的系统运行的进程信息全部输出到ps.txt文件,而不是输出到屏幕上,可以用cat命令查看ps.txt文件中系统运行的进程信息。

再看下面这个例子:

上面这个cat命令是查看文件的内容,将file1、file2和file3的内容全部输出到file文件中,类似于文件内容的合并。

如果在>后面指定的文件不存在,shell就会自动新建一个文件;如果文件存在,那么这个文件原有的内容将被覆盖;如果不想覆盖存在的文件,可以使用>>操作符,例如:

上面这个命令表示将/etc目录及其子目录下的所有文件信息追加到/root/install.log文件的后面。/root/install.log文件原来的内容仍然存在。

3.错误重定向

错误重定向和标准输出重定向一样,可以使用操作符2>和2>>实现,例如:

上面这个命令中,tar是打包命令,可以在屏幕上看到tar的解压过程。如果text.tar.gz是个损坏的压缩包,就会把错误信息输出到error.txt文件。

1.1.6 shell中的管道如何使用

管道可以把很多命令连接起来,可以把第1个命令的输出当作第2个命令的输入,第2个命令的输出当作第3个命令的输入,依此类推。因此,管道的作用就是把一个命令的输出当作下一个命令的输入,而不经过任何中间文件。

通过管道符|可以建立一个管道连接,例如:

上面这个命令表示将/etc目录以及子目录下的所有文件分屏显示。再看下面这个例子:

上面这个命令是查看系统中正在运行的httpd进程,并计算httpd的进程数。

1.1.7 shell中3种引用字符如何使用

在Bash中有很多特殊字符,这些字符本身就具有特殊含义,如果在shell的参数中使用它们,就会出现问题。Linux中使用了“引用”技术来忽略这些字符的特殊含义,引用技术就是通知shell将这些特殊字符当作普通字符处理。

shell中用于引用的字符有转义字符\、单引号' '、双引号""。

1.转义字符\

如果将\放到特殊字符前面,shell就忽略这些特殊字符的原有含义,将其当作普通字符对待,例如:

上面是将abc?*重命名为abc,将C:\backup重命名为backup。因为文件名中含有特殊字符,所有都使用了转义字符\。

2.单引号' '

将字符串放到一对单引号之间,那么字符串中所有字符的特殊含义将被忽略,例如:

上面两条命令完全等效。

3.双引号""

双引号的引用与单引号基本相同,包含在双引号内的大部分特殊字符可以当作普通字符处理,但是仍有一些特殊字符即使用双引号括起来,也仍然保留自己的特殊含义,例如,$、\和`。看下面几个例子:

从上面输出可以看出,$和\在双引号内仍然保留了特殊含义。继续看下面例子:

上面的输出中,字符`在双引号中也保留了自己的特殊含义。