[TOC]

Linux常用命令Json帅哥特供版

• 没错这里的帅哥指的就是我自己

  把/dev/null看作"黑洞". 它非常等价于一个只写文件. 所有写入它的内容都会永远丢失. 而尝试从它那儿读取内容则什么也读不到. 然而, /dev/null对命令行和脚本都非常的有用

  禁止标准输出.

  文件内容丢失，而不会输出到标准输出.

  cat /etc/passwd >/dev/null
  

  禁止标准错误 # 这样错误信息[标准错误]就被丢到太平洋去了. rm /etc/passwd 2>/dev/null

注意

1n 换行符,在Windows下的换行符为rn,而Linux下则是一个n.但是需要注意如果在命令行下使用时,换行符需要"n".
2
3下面两个命令主要是我在命令行下,运行希望调用系统命令来运行文件里的程序时常用的命令.或者直接进入相应的SHELL
4    bash命令是 Bourne Again SHell 是linux标准的默认shell ，它基于Bourne shell，吸收了C shell和Korn shell的一些特性。
5        bash完全兼容Bourne shell,也就是说用Bourne shell的脚本不加修改可以在bash中执行。 
6
7    sh命令是Bourne shell 这个是UNIX标准的默认shell，对它评价是concise简洁 compact紧凑  fast高效 有AT&T编写，属于系统管理shell。
8        一般我在Mac上老用这个
9        
10    sh和bash常用命令
11    -c string：命令从-c后的字符串读取。
12    -i：实现脚本交互。
13    -n：进行shell脚本的语法检查。
14    -x：实现shell脚本逐条语句的跟踪。
15    
16如:
17    我们在生成的一个文件中test.sh有很多nohup程序,一行一行的.这个时候如果在Unix下则用sh ./test.sh运行即可
18    如果直接使用./test.sh运行则会提示权限不足,也不用在文件的开头指定#!/bin/bash
19    

查看系统信息

1自上而下, 由简到繁
2
3cat /etc/issue  查看系统版本
4    root@a4d2b54ae4a4:~# cat /etc/issue
5    Ubuntu 16.04.4 LTS n l
6    
7lsb_release -a  查看版本号和cat /etc/lsb-release性质一样 命令如果不存在 apt-get install  lsb-release
8    root@a4d2b54ae4a4:~# lsb_release -a
9    No LSB modules are available.
10    Distributor ID:	Ubuntu
11    Description:	Ubuntu 16.04.4 LTS
12    Release:	16.04
13    Codename:	xenial
14
15cat /etc/os-release 查看系统版本和支持网站
16    root@a4d2b54ae4a4:~# cat /etc/os-release
17    NAME="Ubuntu"
18    VERSION="16.04.4 LTS (Xenial Xerus)"
19    ID=ubuntu
20    ID_LIKE=debian
21    PRETTY_NAME="Ubuntu 16.04.4 LTS"
22    VERSION_ID="16.04"
23    HOME_URL="http://www.ubuntu.com/"
24    SUPPORT_URL="http://help.ubuntu.com/"
25    BUG_REPORT_URL="http://bugs.launchpad.net/ubuntu/"
26    VERSION_CODENAME=xenial
27    UBUNTU_CODENAME=xenial
28
29cat /proc/version   查看linux 内核
30    root@a4d2b54ae4a4:~# cat /proc/version
31Linux version 4.9.87-linuxkit-aufs (root@95fa5ec30613) (gcc version 6.4.0 (Alpine 6.4.0) ) #1 SMP Wed Mar 14 15:12:16 UTC 2018
32
33uname   当前系统相关信息缺省值为s
34    $ uname -a　　//显示所有信息
35    Linux BigManing 4.4.0-83-generic #106-Ubuntu SMP Mon Jun 26 17:54:43 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
36
37    $ uname -s　　//显示内核名称
38    Linux
39
40    $ uname -n　　//显示网络节点上的主机名
41    BigManing
42
43    $ uname -r　　//显示内核发行号
44    4.4.0-83-generic
45
46    $ uname -v　　　//显示内核版本号
47    #106-Ubuntu SMP Mon Jun 26 17:54:43 UTC 2017
48
49    $ uname -m　　　//显示机器硬件名称　显示i686说明你安装了32位操作系统　　　显示 x86_64说明你安装了64位操作系统
50    x86_64
51
52    $ uname -p　　　//显示处理器类型
53    x86_64
54
55    $ uname -i　　　//显示硬件平台
56    x86_64
57
58    $ uname -o　　　//操作系统
59    GNU/Linux
60    

查看系统变量

1export
2
3功能说明：设置或显示环境变量。
4
5语　　法：export [-fnp][变量名称]=[变量设置值]
6
7补充说明：在shell中执行程序时，shell会提供一组环境变量。export可新增，修改或删除环境变量，供后续执行的程序使用。export的效力仅及于该此登陆操作。
8
9参　　数：
10　-f 　代表[变量名称]中为函数名称。 
11　-n 　删除指定的变量。变量实际上并未删除，只是不会输出到后续指令的执行环境中。 
12　-p 　列出所有的shell赋予程序的环境变量。
13
14例      子：
15　　设置环境变量：设置环境变量PATH：
16　　export PATH=$PATH:/home/liuhao/XXX
17
18 
19　　查看是否已经设好，可用命令export查看

查看所有环境变量

1env或printenv   查看所有环境变量
2$PATH环境变量   定义的是系统搜索命令的路径,所有命令都依赖组成的环境命令.
3当我们命令时,系统会去以下命令进行搜索.如果没有输入的命令就会报错.
4

Linux结构目录

1/bin		-> 存储命令(所有用户都能执行的)
2/sbin		-> 存储命令(超级管理员执行的命令)
3/boot		-> 存储系统的启动引导文件
4/dev		-> 存储设备文件名的目录
5/etc 		-> 存储配置文件的目录
6/lib 		-> 系统的函数库存储的目录
7/tmp		-> 临时文件的目录
8/var		-> 存储系统日志的目录
9/usr        -> 存放与系统用户有关的文件和目录
10/mnt		-> 挂载目录
11/media		-> 挂载目录(一般为软驱之类的)
12/root		-> 超级管理员的家目录
13/home		-> 普通用户的家目录
14
15
16/usr目录结构
17/usr通常是一个庞大的文件夹，其下的目录结构与根目录相似，但根目录中的文件多是系统级的文件，而/usr中是用户级的文件，一般与具体的系统无关。
18
19提示： 
20usr最早是user的缩写，/usr的作用与现在的/home相同。而目前其通常被认为是 User System Resources 的缩写，其中通常是用户级的软件等，与存放系统级文件的根目录形成对比。[2]
21应注意，程序的配置文件、动态的数据文件等都不会存放到/usr，所以除了安装、卸载软件外，一般无需修改/usr中的内容。说在系统正常运行时，/usr甚至可以被只读挂载。由于这一特性，/usr常被划分在单独的分区，甚至有时多台计算机可以共享一个/usr。
22/usr/bin
23多数日常应用程序存放的位置。如果/usr被放在单独的分区中，Linux的单用户模式不能访问/usr/bin，所以对系统至关重要的程序不应放在此文件夹中。
24/usr/include
25存放C/C++头文件的目录
26/usr/lib
27系统的库文件
28/usr/local
29新装的系统中这个文件夹是空的，可以用于存放个人安装的软件。安装了本地软件的/usr/local里的目录结构与/usr相似
30/usr/sbin
31在单用户模式中不用的系统管理程序，如apache2等。
32/usr/share
33与架构无关的数据。多数软件安装在此。
34/usr/X11R6
35该目录用于保存运行X-Window所需的所有文件。该目录中还包含用于运行GUI要的配置文件和二进制文件。
36/usr/src
37源代码
38
39
40
41/var目录结构
42/var中包括了一些数据文件，如系统日志等。/var的存放使得/usr被只读挂载成为可能。
43
44/var/cache
45应用程序的缓存文件
46/var/lib
47应用程序的信息、数据。如数据库的数据等都存放在此文件夹。
48/var/local
49/usr/local中程序的信息、数据
50/var/lock
51锁文件
52/var/log
53日志文件
54/var/opt
55/opt中程序的信息、数据
56/var/run
57正在执行着的程序的信息，如PID文件应存放于此
58/var/spool
59存放程序的假脱机数据（即spool data）
60/var/tmp
61临时文件
62

设置定时任务

crontab命令

1不同用户之间crontab通过crontab命令看不到彼此的定时任务
2每个用户的定时任务,都会被运行,只是用户之间通过crontab命令看不到而已.
3crontab -u  设定某个用户的定时任务
4crontab -e  编辑某个用户定时任务
5crontab -l  展示某个用户定时任务
6crontab -r  清空某个用户定时任务
7
8定时任务内容文件保存位置,使用crontab命令操作定时任务时会,该文件也会被操作.
9同样的, 操作该文件的同时,也会影响crontab命令的内容.
10/var/spool/cron/用户名
11不同用户设置的定时任务,以不同的用户名作为文件名保存在该目录下.
12同样的, 不同用户之间crontab -e也看不到彼此的定时任务
13
14
15注意:
16    Mac版的定时任务格式和Linux的格式略有不同,具体的话可以去看Mac篇的笔记
17
18crontab任务配置基本格式：
19*   *　 *　 *　 *　　command
20分钟(0-59)　小时(0-23)　日期(1-31)　月份(1-12)　星期(0-6,0代表星期天)　 命令
21
22第1列表示分钟1～59 每分钟用*或者 */1表示
23第2列表示小时1～23（0表示0点）
24第3列表示日期1～31
25第4列表示月份1～12
26第5列标识号星期0～6（0表示星期天）
27第6列要运行的命令
28
29在以上任何值中，星号（*）可以用来代表所有有效的值。譬如，月份值中的星号意味着在满足其它制约条件后每月都执行该命令。
30整数间的短线（-）指定一个整数范围。譬如，1-4 意味着整数 1、2、3、4。
31用逗号（,）隔开的一系列值指定一个列表。譬如，3, 4, 6, 8 标明这四个指定的整数。
32正斜线（/）可以用来指定间隔频率。在范围后加上 /<integer> 意味着在范围内可以跳过 integer。譬如，0-59/2 可以用来在分钟字段定义每两分钟。间隔频率值还可以和星号一起使用。例如，*/3 的值可以用在月份字段中表示每三个月运行一次任务。
33开头为井号（#）的行是注释，不会被处理。 
34
35
36例子：
37
380 1 * * * /home/testuser/test.sh
39每天晚上1点调用/home/testuser/test.sh
40
41*/10 * * * * /home/testuser/test.sh
42每10钟调用一次/home/testuser/test.sh
43
4430 21 * * * /usr/local/etc/rc.d/lighttpd restart
45上面的例子表示每晚的21:30重启apache。
46
4745 4 1,10,22 * * /usr/local/etc/rc.d/lighttpd restart
48上面的例子表示每月1、10、22日的4 : 45重启apache。
49
5010 1 * * 6,0 /usr/local/etc/rc.d/lighttpd restart
51上面的例子表示每周六、周日的1 : 10重启apache。
52
530,30 18-23 * * * /usr/local/etc/rc.d/lighttpd restart
54上面的例子表示在每天18 : 00至23 : 00之间每隔30分钟重启apache。
55
560 23 * * 6 /usr/local/etc/rc.d/lighttpd restart
57上面的例子表示每星期六的11 : 00 pm重启apache。
58
59* */1 * * * /usr/local/etc/rc.d/lighttpd restart
60每一小时重启apache
61
62* 23-7/1 * * * /usr/local/etc/rc.d/lighttpd restart
63晚上11点到早上7点之间，每隔一小时重启apache
64
650 11 4 * mon-wed /usr/local/etc/rc.d/lighttpd restart
66每月的4号与每周一到周三的11点重启apache
67
680 4 1 jan * /usr/local/etc/rc.d/lighttpd restart
69一月一号的4点重启apache
70
71*/30 * * * * /usr/sbin/ntpdate 210.72.145.44
72每半小时同步一下时间
73

查看当前系统登录的用户

who命令

1[vagrant@localhost ~]$ who
2vagrant  pts/0        2019-01-02 11:27 (10.0.2.2)
3vagrant  pts/1        2019-01-02 11:34 (10.0.2.2)
4
5第一列显示用户名称 
6第二列显示用户连接方式。Tty意味着用户直接连接到电脑上，而pts意味着远程登录。  
7第三、四列分别显示日期和时间  
8第五列显示用户登录IP地址
9
10whoami 显示的是当前“操作用户”的用户名
11who am i显示的是“登录用户”的用户名（用户登录时用过的id）
12who am i  此命令相当于 who -m 显示的是“登录用户”的用户名（用户登录时用过的id）
13who -H  为每一列添加标题
14who -q 统计当前登录用户数量
15who -m -H 只显示当前用户
16who -T -H 显示终端属性
17who -l -H 显示用户登录来源

系统负载

w命令

1w(选项)(参数)
2w命令 显示登录系统的用户列表,用户正在执行的命令, 当前平均负载
3选项
4    -h：不打印头信息；
5    -u：当显示当前进程和cpu时间时忽略用户名；
6    -s：使用短输出格式；
7    -f：显示用户从哪登录；
8    -V：显示版本信息。
9参数
10    用户名：仅显示指定的用户
11案例
12    [work@jp_aws_liuhaoDemo_kline00 ~]$ w
13     13:14:35 up 169 days, 18:03,  1 user,  load average: 356.28, 352.64, 349.92
14    USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
15    work     pts/1    111.204.124.34   13:13    3.00s  0.02s  0.02s w
16 　
17与who不同的是，使用man w查询的Linux对该命令的介绍是“Show who is logged on and what they are doing.”，w命令可查询登录当前系统的用户信息，以及这些用户目前正在做什么操作，这些信息对于Linux系统管理员来说都是价值的，另外其中的load average后面的三个数字则显示了系统最近1分钟、5分钟、15分钟的系统平均负载情况。

uptime命令

1只显示负载情况,不像w命令显示那么多信息
2[vagrant@localhost ~]$ uptime
3 11:59:01 up 31 min,  2 users,  load average: 8.97, 9.30, 8.45
4 
5
6uptime命令回显中的load average所表示的意思和w命令相似，都是表示过去的1分钟、5分钟和15分钟内进程队列中的平均进程数量。
7
8这里需要注意的是load average这个输出值，这三个值的大小一般不能大于系统逻辑CPU的个数，例如，本输出中系统有4个逻辑CPU，如果load average的三个值长期大于4时，说明CPU很繁忙，负载很高，可能会影响系统性能，但是偶尔大于4时，倒不用担心，一般不会影响系统性能。相反，如果load average的输出值小于CPU的个数，则表示CPU还有空闲，比如本例中的输出，CPU是比较空闲的。

free命令 显示内存的使用情况

1free指令会显示内存的使用情况，包括实体内存，虚拟的交换文档内存，共享内存区段，连同系统核心使用的缓冲区等
2
3free 显示内存的使用情况:
4　　-b 　  以Byte为单位显示内存使用情况。
5　　-k 　  以KB为单位显示内存使用情况。
6　　-m 　  以MB为单位显示内存使用情况。
7　　-g     以GB为单位显示内存使用情况
8　　-o 　  不显示缓冲区调节列。
9　　-s 　  持续观察内存使用状况。
10　　-t 　  显示内存总和列。
11　　-V 　  显示版本信息。
12　　
13free工具用来查看系统可用内存:
14              total        used        free      shared  buff/cache   available
15Mem:         998308      310944       81204       16328      606160      486148
16Swap:       1046524        3456     1043068
17
18查看结果中used已使用的内存表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。
19
20所以 空闲内存=free+buffers+cached=total-used
21
22
23对于应用程序来说，buffers/cached 是等于可用的，因为buffer/cached是为了提高文件读取的性能，当应用程序需在用到内存的时候，buffer/cached会很快地被回收。
24所以从应用程序的角度来说，可用内存=系统free memory buffers cached.
25

vmstat命令 查看CPU使用，内存使用，虚拟内存交换使用,IO读写情况

1 vmstat 查看CPU使用，内存使用，虚拟内存交换使用,IO读写情况和free有点类似的工具
2vmstat 1 10 （1表示每隔1秒采集一次，10表示采集10次）
3vmstat 1    每隔一秒采集一次
4vmstat 2 -S m 每两秒采集一次, 输出结果以m为单位.
5
6常用命令:
7    -a：显示活跃和非活跃内存
8    -f：显示从系统启动至今的fork数量 。
9    -m：显示slabinfo
10    -n：只在开始时显示一次各字段名称。
11    -s：显示内存相关统计信息及多种系统活动数量。
12    delay：刷新时间间隔。如果不指定，只显示一条结果。
13    count：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。
14    -d：显示磁盘相关统计信息。
15    -p：显示指定磁盘分区统计信息
16    -S：(大S)使用指定单位显示。参数有 k 、K 、m 、M ，分别代表1000、1024、1000000、1048576字节（byte）。默认单位为K（1024 bytes）
17    -V：(大V)显示vmstat版本信息。
18    
19输出结果字段说明：
20    字段说明：
21    Procs（进程）：
22        r: 运行队列中进程数量
23        b: 等待IO的进程数量
24    Memory（内存）：
25        swpd: 使用虚拟内存大小
26        free: 可用内存大小
27        buff: 用作缓冲的内存大小
28        cache: 用作缓存的内存大小
29    Swap：
30        si: 每秒从交换区写到内存的大小
31        so: 每秒写入交换区的内存大小
32    IO：（现在的Linux版本块的大小为1024bytes）
33        bi: 每秒读取的块数
34        bo: 每秒写入的块数
35    system：
36        in: 每秒中断数，包括时钟中断。
37        cs: 每秒上下文切换数。
38    CPU（以百分比表示）：
39        us: 用户进程执行时间(user time)
40        sy: 系统进程执行时间(system time)
41        id: 空闲时间(包括IO等待时间),中央处理器的空闲时间 。以百分比表示。
42    
43输出结果字段说明图

top命令 任务管理器

18.1. top命令交互操作指令
2下面列出一些常用的 top命令操作指令
3
4数字1: 查看每个逻辑cpu的使用率
5q：退出top命令
6<Space>：立即刷新
7s：设置刷新时间间隔
8c：显示命令完全模式
9t:：显示或隐藏进程和CPU状态信息
10m：显示或隐藏内存状态信息
11l：显示或隐藏uptime信息
12f：增加或减少进程显示标志
13S：累计模式，会把已完成或退出的子进程占用的CPU时间累计到父进程的MITE+
14P：按%CPU使用率排行
15T：按MITE+排行
16M：按%MEM排行
17u：指定显示用户进程
18r：修改进程renice值
19kkill：进程
20i：只显示正在运行的进程
21W：保存对top的设置到文件^/.toprc，下次启动将自动调用toprc文件的设置。
22h：帮助命令。
23q：退出
24在top基本视图中,按键盘“b”（打开/关闭加亮效果）；
25
26top启动常用命令:
27    -b 批处理,搭配 "n" 参数一起使用，可以用来将 top 的结果输出到指定的文件内
28    -c 显示完整的治命令
29    切换显示模式，共有两种模式，一是只显示执行档的名称，另一种是显示完整的路径与名称S : 累积模式，会将己完成或消失的子行程 ( dead child process ) 的 CPU time 累积起来
30    -I 忽略失效过程
31    -s 安全模式，将交谈式指令取消, 避免潜在的危机
32    -S 累积模式
33    -i不显示任何闲置 (idle) 或无用 (zombie) 的行程
34    -u<用户名> 指定用户名
35    -p<进程号> 指定进程
36    -n<次数> 循环显示的次数
37    -q 没有任何延迟的显示速度，如果使用者是有 superuser 的权限，则 top 将会以最高的优先序执行
38    -d 改变显示的更新速度，或是在交谈式指令列( interactive command)按 s
39
40注：强调一下，使用频率最高的是P、T、M，因为通常使用top，我们就想看看是哪些进程最耗cpu资源、占用的内存最多； 注：通过”shift + >”或”shift + <”可以向右或左改变排序列 如果只需要查看内存：可用free命令。只查看uptime信息（第一行），可用uptime命令；
41  top - 09:14:56 up 264 days, 20:56,  1 user,  load average: 0.02, 0.04, 0.00
42    Tasks:  87 total,   1 running,  86 sleeping,   0 stopped,   0 zombie
43    Cpu(s):  0.0%us,  0.2%sy,  0.0%ni, 99.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.2%st
44    Mem:    377672k total,   322332k used,    55340k free,    32592k buffers
45    Swap:   397308k total,    67192k used,   330116k free,    71900k cached
46    PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
47    1 root      20   0  2856  656  388 S  0.0  0.2   0:49.40 init
48    2 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kthreadd
49    3 root      20   0     0    0    0 S  0.0  0.0   7:15.20 ksoftirqd/0
50    4 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/0
51    
52    
53第一行
5409:14:56 ： 系统当前时间
55264 days, 20:56 ： 系统开机到现在经过了多少时间
561 users ： 当前2用户在线
57load average: 0.02, 0.04, 0.00： 系统1分钟、5分钟、15分钟的CPU负载信息
58第二行
59Tasks：任务;
6087 total：很好理解，就是当前有87个任务，也就是87个进程。
611 running：1个进程正在运行
6286 sleeping：86个进程睡眠
630 stopped：停止的进程数
640 zombie：僵死的进程数
65第三行
66Cpu(s)：表示这一行显示CPU总体信息
670.0%us：用户态进程占用CPU时间百分比，不包含renice值为负的任务占用的CPU的时间。
680.7%sy：内核占用CPU时间百分比
690.0%ni：改变过优先级的进程占用CPU的百分比
7099.3%id：空闲CPU时间百分比
710.0%wa：等待I/O的CPU时间百分比
720.0%hi：CPU硬中断时间百分比
730.0%si：CPU软中断时间百分比
74注：这里显示数据是所有cpu的平均值，如果想看每一个cpu的处理情况，按1即可；折叠，再次按1；
75第四行
76Men：内存的意思
778175320kk total：物理内存总量
788058868k used：使用的物理内存量
79116452k free：空闲的物理内存量
80283084k buffers：用作内核缓存的物理内存量
81第五行
82Swap：交换空间
836881272k total：交换区总量
844010444k used：使用的交换区量
852870828k free：空闲的交换区量
864336992k cached：缓冲交换区总量
87进程信息
88再下面就是进程信息：
89PID：进程的ID
90USER：进程所有者
91PR：进程的优先级别，越小越优先被执行
92NInice：值
93VIRT：进程占用的虚拟内存
94RES：进程占用的物理内存
95SHR：进程使用的共享内存
96S：进程的状态。S表示休眠，R表示正在运行，Z表示僵死状态，N表示该进程优先值为负数
97%CPU：进程占用CPU的使用率
98%MEM：进程使用的物理内存和总内存的百分比
99TIME+：该进程启动后占用的总的CPU时间，即占用CPU使用时间的累加值。
100COMMAND：进程启动命令名称
101
102
103

htop命令

1像TOP一样的界面管理, 但是更人性化.更直观.
2一般系统时需要安装的, 
3更强大的工具
4htop
5htop 是一个 Linux 下的交互式的进程浏览器，可以用来替换Linux下的top命令。
6与top相比，htop有以下优点：
7
8可以横向或纵向滚动浏览进程列表，以便看到所有的进程和完整的命令行。
9在启动上，比top 更快。
10杀进程时不需要输入进程号。
11htop 支持鼠标操作。
12
13Ubuntu sudo apt-get install htop
14Mac     brew install htop
15
16例如: 
17    杀进程的时候按下小写k, 方向键选中, 回车,即可杀死.
18

su切换用户

1刚才我在使用dockerfile 中使用了su liuhao切换账户,提示su: must be run from a terminal
2就是说:su命令必须在终端中使用,
3在stackoverflow上的高赞回答是使用-tt进行登录或者ssh开启了相关服务和端口后，ssh localhost 连接到了本机，并成功使用了su和sudo命令。 
4
5用户：指定要切换身份的目标用户。
6 
7-c<指令>或--command=<指令>：执行完指定的指令后，即恢复原来的身份；
8-f或——fast：适用于csh与tsch，使shell不用去读取启动文件；
9-l或——login：改变身份时，也同时变更工作目录，以及HOME,SHELL,USER,logname。此外，也会变更PATH变量；
10-m,-p或--preserve-environment：变更身份时，不要变更环境变量；
11-s<shell>或--shell=<shell>：指定要执行的shell；
12--help：显示帮助；
13--version；显示版本信息。
14
15案例:
16     # 变更帐号为root并在执行ls指令后退出变回原使用者：
17     su -c ls root
18     #  变更帐号为root并传入-f选项给新执行的shell：
19     su root -f
20     #  变更帐号为test并改变工作目录至test的家目录：
21     su -test

历史命令history

1~/.bash_history文件保存的内容是,上次登录正确注销后保存的.
2history命令看到的,不光是上次保存的,还有这次操作的.
3
4# 查看历史命令
5history [选项] [历史命令要保存文件]
6    -n 数字,要列出最近的 n 笔命令列表
7    -c 清空历史命令,正确退出或者使用-w命令后同样会同步到文件中
8    -w 将目前的 history 记忆内容写入 histfiles, 把缓存中的历史命令写如历史命令保存文件~/.bash_history
9    -r 将 histfiles 的内容读到目前这个 shell 的 history 记忆中
10
11历史命令默认保存1000条,可以在环境变量的配置文件中进行修改
12/etc/profile
13HISTSIZE=1000
14上下箭头,查看历史记录
15!n重复执行第N条
16!!重复执行上一条
17!字符串 重复执行最后一条,以该字符串开头的命令
18

解压与压缩

1压缩:
2    压缩包的后缀名	
3    	.tar.gz 	-> gzip
4    	.tar.bz2	-> bzip2
5    tar -xxx 三个字符的顺序是不能颠倒的
6    
7    		第一个字符 表示使用的算法 z gzip j bzip2
8    		第二个字符 表示是压缩还是解压缩 c压缩 x 解压缩
9    		第三个字符 压缩包的名字 f
10    			
11    tar -zcf XXX
12    		z 表示使用 gzip压缩算法压缩
13    		c 表示我是在压缩 create
14    		f 指定压缩之后的包的名字
15		XXX 可选, 压缩到指定目录
16    		
17    tar -jcf XXX
18    		j 表示使用 bzip2压缩算法
19    		c 表示要压缩
20    		f 压缩包的名字
21		XXX 可选, 压缩到指定目录
22	
23	xz文件解压缩 需要单独安装
24	sudo apt-get install xz-utils
25	解压需要两步
26    xz -d 文件名.tar.xz # 先解除xz压缩
27    tar -xvf 文件名.tar.xz # 然后使用tar进行解压即可
28	
29    
30    zip文件解压缩 需要单独安装
31        -r : 包括子目录。
32        -1 : 最快压缩，压缩率最差。
33        -9 : 最大压缩，压缩率最佳。
34        -d : 从 zip 文件移出一个文件
35        -f : 以新文件取代现有文件。
36        -F : 修复已经损毁的压缩文件。
37        -n : 不压缩特定扩展名的文件。
38        -q : 安静模式，不会显示相关讯息和提示。
39        -t : 只处理 mmddyy 日期以后的文件。
40        -T : 测试 zip 文件是否正常。
41        -u : 只更新改变过的文件和新文件。
42        -x : 不需要压缩的文件。
43        -# : 设定压缩速度，-0 表示不压缩，-1 表示最快速度的压缩，
44        -9 表示最慢速度的压缩 ( 最佳化的压缩 )，预设值为 -6。
45        -v 查看压缩文件目录，但不解压。
46        -d 目录 把压缩文件解到指定目录下。
47        -n 不覆盖已经存在的文件。
48        -o 覆盖已存在的文件且不要求用户确认。
49
50解压:
51    tar -zxf -C XXX
52    		z 表示解压所用的算法 gzip
53    		x 表示解压缩
54    		f 指定压缩包
55		-C 可选,解压到指定目录
56    
57    tar -jxf -C XXX
58    
59    		
60    unzip和unrar需要单独安装用以解压rar和zip文件, 两者用法相同
61        unrar   文件名
62        <命令>
63        e             解压文件到当前目录
64        l[t,b]        列出压缩文档信息[technical, bare]
65        p             打印文件到标准输出
66        t             测试压缩我俄当
67        v[t,b]       列出压缩文档的详细信息[technical,bare]
68        x             解压文件到完整路径 
69

常用配置文件路径

1Ubutnu
2    DNS配置在vim /etc/resolv.conf
3    开机加载日志在 vim /var/log/kern.log
4    IP配置vim /etc/network/interfaces
5

ls命令 查看目标下的文件列表

1默认ll = ls -lha (Mac下默认没有ll命令,需要自己建别名)
2
3ls命令 查看目标下的文件列表
4    -a 显示隐藏文件
5    -C 多列输出(默认)
6    -l 单列输出(默认)
7    -h 人性化显示文件大小
8    -F 如果文件是目录，在文件名后面放置一个 /（斜杠），如果文件可执行，那么放置一个 *（星号），如果文件为套接字，那么放置一个 =（等号），如果为 FIFO，那么放置一个 |（管道）符号，如果是符号链接，那么放置一个 @。除非指定了 -H 或 -L 标志，否则不允许使用命名为操作数的符号链接
9    -p 如果文件是目录，在每个文件名后面放置一个斜杠。
10    --file-type与-p相关,Mac下没有这个命令,只有-F和-p
11    -m 用,分割每个文件名称
12    -s 按照千字节（包括间接块）给出每一项的大小。
13    -S 按大小排序文件
14    -R 递归处理，将指定目录下的所有文件及子目录一并处理
15    -n 标志除 显示用户和组 ID 而不是用户和组名称以外，它显示和 -l 标志同样的信息
16    --full-time 列出完整的日期与时间
17    
18    ls -lc filename 列出文件的 ctime （最后更改时间）
19    ls -lu filename 列出文件的 atime（最后存取时间）
20    ls -l filename 列出文件的 mtime （最后修改时间）
21    
22案例:
23    删除该目录下,所有文件
24    # 列出当前文件同时展示文件形态,匹配不以/结尾的文件, 做删除操作
25    ls --file-type | grep -v "/$" | xargs rm -f
26    # 按照时间,最新的在下面
27    ls -lrt
28    # 按照时间,最旧的在下面
29    ls -lnt
30    # 按照由大到小排序
31    ls -Slh
32    # 按照由小到大排序
33    ls -Slr
34

修改DNS

1sudo vim /etc/systemd/resolved.conf
2
3修改如下：
4
5[Resolve]
6
7DNS=119.29.29.29
8
9保存退出后
10
11systemctl restart systemd-resolved.service
12

stat命令 获取文件时间

1通过stat filename.txt来查，如：
2# stat filetime.txt 
3  File: `filetime.txt'
4  Size: 39              Blocks: 8          IO Block: 4096   Regular File
5Device: 802h/2050d      Inode: 17          Links: 1    
6Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
7Access: 2009-08-04 15:13:44.000000000 +0800
8Modify: 2009-08-04 15:13:44.000000000 +0800
9Change: 2009-08-04 15:13:44.000000000 +0800
10
11说明：Access访问时间。Modify修改时间。Change状态改动时间。可以stat *查看这个目录所有文件的状态。
12ctime=change time
13atime=access time
14mtime=modifiy time

grep命令 全面搜索匹配(可以使用正则表达式并把行打印出来)

1格式: 
2    grep [option] pattern filename 
3注意: 
4    pattern如果是表达式或者超过两个单词的, 需要用引号引用. 可以是单引号也可双引号, 区别是单引号无法引用变量而双引号可以.
5
6grep 不仅可以用来匹配|后的内容,也可以用来匹配文件中的内容.
7甚至可以用来查找多级目录下的所有文件中的指定内容.
8如:
9    #  查看进行, 正则匹配含有PHP字符的进行
10    ps -ef | grep php
11    # 正则匹配当前文件,含有254的字符内容,(只显示,命中的部分)
12    grep '254' ./passwd
13    # 不区分大小写,匹配服务器中所有文件中包含PS1=的内容
14    grep -i -r "PS1=" ./
15    # 查看当前目录下所有的文件含有error字段的内容
16    grep -e 'error' ./*
17    # 匹配代码常用命令,一帮不用-w匹配整个单词
18    grep -rin '匹配的代码' ./目录
19    # 在当前目录中匹配代码,但是仅匹配PHP文件
20    grep -rin --include='*.php' '匹配代码' ./目录
21    
22    常用参数:
23        -V 查看grep的版本
24        -v 显示不匹配的信息(即: 不匹配XX ps -ef | grep -v php, 不匹配含有PHP的信息)
25        -e 显示文件中符合条件的字符,仅显示该字符
26        -R 搜索子目录
27        -A 数字N 	找到所有的匹配行，并显示匹配行后N行
28        -B 数字N 	找到所有的匹配行，并显示匹配行前面N行
29        -i 不区分大小写 ignore 忽略
30        -w 匹配整个单词
31        -c 只输出匹配到的行数
32        -h 查询多文件时不输出文件名
33        -I 查询多文件时,只输出高寒匹配字符的w文件名.
34        -s 不显示不存在的或无匹配的错误信息.
35        -n 显示结果在文件内的行号
36        -r 递归查找
37       -E 扩展的正则表达式即:egrep,可以用来匹配多个.如果使用了grep 命令的选项-E，则应该使用 | 来分割多个pattern，以此实现OR操作。如果不使用grep的任何选项，可以通过使用 '|' 来分割多个pattern，以此实现OR的操作。
38       --include 指定匹配的文件,支持正则表达式
39
40grep和egrep,fgrep的区别
41    
42    fgrep 很简单就是固化表达式的搜索,意思$和...等没有转义的意义.
43    egrep = grep -E 可以使用基本的正则表达外, 还可以用扩展表达式. 注意区别.
44    
45扩展表达式:
46    + 匹配一个或者多个先前的字符, 至少一个先前字符.
47    ? 匹配0个或者多个先前字符.
48    a|b|c 匹配a或b或c
49    () 字符组, 如: love(able|ers) 匹配loveable或lovers.
50    (..)(..)12 模板匹配. 1代表前面第一个模板, 2代第二个括弧里面的模板.
51    x{m,n} =x{m,n} x的字符数量在m到n个之间.
52
53这是是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。
54Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。
55egrep是grep的扩展，支持更多的re元字符， fgrep就是fixed grep或fastgrep，它们把所有的字母都看作单词，
56也就是说在fgrep中，正则表达式中的元字符表示回其自身的字面意义，不再特殊。
57linux使用GNU版本的grep。它功能更强，可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。
58
59grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。
60搜索的结果被送到屏幕，不影响原文件内容。
61
62grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。
63我们利用这些返回值就可进行一些自动化的文本处理工作。
64       

sed命令 流处理编辑器

1sed和awk的区别
2	sed和awk都可以处理文本
3	awk侧重于复杂逻辑
4	sed侧重于正则判断
5	可以共同使用
6	
7文件或管道输入,后进行处理.读入一行显示一行.
8
9脚本格式:
10sed -f scriptfile file(s)
11
12命令行格式:
13sed [options] 'command' file(s)
14options: 选项
15    -e  多个sed时使用 
16    -n  抑制标准输出即:读取一行,显示一行
17
18command: 行定位(正则) + sed命令(操作)
19    'p' 打印相关的行(记得和-n配合,因为sed本身就是读取一行,输出一行,加上'p'之后会重复打印)
20    's'	查询XXX替换为XXX.(后面需要分隔符,可以用/或者,#等, 一般我都是用/符号)
21    'g' 全局匹配(默认为只替换每行的第一个)s和g应该是数据Linux正则的一部分
22
23    例子:
24        # 'p'打印passwd,-n禁止标准输入.
25        sed -n 'p' ./passwd
26        # 显示所有带有Error的行
27        sed -n '/Error/p' ./error.log
28        sed -n '/root/p' ./passwd
29        sed -e '10,20d' -e 's/false/true/g'
30    
31行定位:
32        行号和正则两者都可以
33        定位一行 : x(行号); /pattern/(正则)
34        定位多行 : x,y(区间行号); /pattern/,x(正则可以取代区间行号)
35        去反操作即不打印某些行, 在最后一个行号加!.正则匹配也是一样.
36        定位间隔行: first~step 从第X行开始,每次间隔X行开始
37    
38    例子:
39           
40        # 行定位,定位第十行,打印输出 
41        sed -n '10p' ./passwd
42        # 验证上一步,是不是打印的第10行,nl可以带行号输出
43        nl ./passwd | sed -n '10p'
44        # 正则匹配,输出包含www的行
45        sed -n '/www/p' ./passwd
46        # 打印10行-20行
47        nl ./passwd | sed -n '10,20p' 
48        # 打印nobody区间到www区间的所有行
49        nl ./passwd | sed -n '/nobody/,/www/p'
50        # 不打印第10行
51        nl ./passwd | sed -n '10!p'
52        # 不打印1-20行
53        nl ./passwd | sed -n '1,20!p'
54        # 不打印nobody-www区间的内容
55        nl ./passwd | sed -n '/nobody/,/www/!p'
56        # 间各行输出,从第1行开始,每次间隔10行输出
57        nl ./passwd | sed -n '1~10p'
58        # 使用s替换,将文件中的fasle替换为true
59        nl ./passwd | sed 's/false/true'
60        # 使用c替换正字匹配到的行
61        sed -i "/dirs.//c dir /home/liuhao/applicatoins/redis/data" ./redis.conf
62        # 使用s和g进行全局替换,将:替换为===
63        nl ./passwd | sed 's/:/===/g'
64
65行处理命令:
66        a 新增行 
67        i 插入行
68        c 替代行
69        d 删除行
70        
71        需要注意的是在Linux和Unix中的写法是不同的.
72        以Mac为例:
73            # 此种命令后需要断行执行
74            nl ./passwd | sed '102 a
75            ====='
76
77    例子:
78        # 在passwd文件内第5行后面插入一个=====(该操作会直接影响文件本身不像后面nl ./passwd | sed xxx)
79        sed -i '5a ====' ./passwd 
80        # 将config文件中含有ProxyCommand的行删除
81        sed -i '/ProxyCommand/d' ~/.ssh/config
82        (此写法不兼容Unix,同时nl操作不会影响原文件,毕竟已经nl出来用管道符接住操作了,如果要操作文件本身可以直接sed -i,上面的例子)
83        # 在每一行后面都新增一个=====
84        nl ./passwd | sed 'a ====='
85        # 在第5行后面新增=号
86        nl ./passwd | sed '5a =============='
87        # 在第1行到5行见的每一行后面新增=号
88        nl ./passwd | sed '1,5a ============='
89        # 在第1行到第10行见的每一行前插入=号
90        nl ./passwd | sed '1,10i ====='
91        # 将第10行替换为=======
92        nl ./passwd | sed '10c =========='
93        # 将第1行到第10行替换为====,非逐行替换,而是整体替换
94        nl ./passwd | sed '1,10c ====='
95        # 删除正则匹配命中liuhao的指定行,指定行和区间行删除于此相同.
96        nl ./passwd | sed '/liuhao/d'
97    重要示例:
98        # 在指定文件末尾追加内容,可以使用n换行t制表符等符号
99        # 第一句话的时候,如果有制表符,空格,之类的,可以使用与command隔开.
100        nl ./passwd | sed '$a \t我是追加的第一行测试内容nt我是追加的第二行内容'
101        # 删除文本内的所有空行,正则使用^$代表空行
102        sed '/^$/d' ./passwd
103        # 将这几行中的#注释全部替换掉
104        sed -i '65,71s/#/ /' $APP_PATH/nginx/etc/nginx.conf
105        
106sed 高级操作
107		
108		'{}'	大括号使用多个sed命令,多个命令使用;分割
109		'n'	读取下一个输入行(用下一个命令处理)n是Command中的-n
110		'&'	结合s替换整体命中的固定字符串
111		'()'	反向匹配,使用1 2 ... 进行反向引用
112		'u'	元字符,进行首字母大写转换
113		'l'	元字符,进首字母小写转换
114		'U'	元字符,进行全部大写转换
115		'L'	元字符,进行全部小写转换
116		'r'	复制指定的文件插入到匹配行(在缓冲区中)1r:第一行
117		'w'	复制匹配行到拷贝指定文件里(直接覆盖文件,非缓冲区)1w:第一行
118		'q'	退出sed操作
119		
120    例子:
121        # 删除10行到20行,同时将system替换为liuhao_system,
122        nl ./passwd | sed '{10,20d;s/systemd/liuhao_system/}'
123        # 结合p使用,从一开始就,跳过一行,输入下一行,达到不显示奇数行.即13579...
124        nl ./passwd | sed -n '{n;p}'
125        # 结合p使用,从第二行开始,跳过一行进行数据,即不显示偶数行
126        nl ./passwd | sed -n '{p;n}'
127        # 结合p使用,跳过两行显示
128        nl ./passwd | sed -n '{n;n;p}'
129        # 使用间隔行符号进行跳1行,对比'n'跳行,作为了解
130        nl ./passwd | sed -n '1~2p'# 这里的2代表一行
131        # 同时匹配多个条件使用;分开即可,或者后面继续使用|写多个sed
132 		sed '/ProxyCommand/d;/ServerAliveInterval/d' ~/.ssh/config
133        
134        # 使用s进行替换, 对比使用&进行替换,对比下面使用&的替换
135        nl ./passwd | sed -n 's/system/system_liuhao/p'
136        # 使用s进行替换同时&匹配命中的字符, 对比上面未使用&进行替换
137        nl ./passwd | sed -n 's/system/&_liuhao  /p'
138        # 使用&替换所有用户名,在&后面追加四个空格,同时注意看此处的+需要转义
139        nl ./passwd | sed -n 's/[a-z-]+/&    /p'
140        # 使用&替换所有用户为大写此处注意U需要转义
141        nl ./passwd | sec -n 's/[a-z-]+/U&    /p'
142        # 把当前目录所有.txt文件名转换为大写,利用非贪婪模式,匹配.之前的文件名
143        ls *.txt | sed -n 's/[a-z]+/U&/p'
144        # 正则命中用户名1输出第一个命中的部分,这里为什么不用nl
145        # 因为nl会输出行号,带行号就不是[a-z开头了]
146        sed 's/(^[a-z_-]+):.*$/1/' ./passwd
147        # 正则命中用户名和权限1和2依次输出,在这两次使用反向应用中
148        # 发现, 如果想要正确的反向匹配必须要有.*$,否则无效.....
149       	sed 's/(^[a-z_-]+):x:([0-9]+).*$/1  2/' ./passwd
150       	
151       	# 读取abc.txt内容,插入到123.txt的第一行后面
152       	sed '1r ./abc.txt' 123.txt
153       	# 将123.txt的第一行,拷贝到abc.txt当中
154       	# 该操作会直接影响文件,同时用123.txt的第一行覆盖abc.txt
155       	# 显示的时候会输出所有, 但是文件里写入的,其实就1行
156       	sed '1w ./abc.txt' 123.txt
157        # 将123.txt的所有内容覆盖到abc.txt中
158     	sed 'w ./abc.txt' 123.txt
159 		# 匹配到用户名liuhao则退出sed
160 		sed '/liuhao:/q' ./passwd
161

awk命令 文本分析工具

1sed和awk的区别
2	sed和awk都可以处理文本
3	awk侧重于复杂逻辑
4	sed侧重于正则判断
5	可以共同使用
6
7awk是一种可编程的文本和数据处理工具，用于在linux/unix下对文本和数据进行处理.
8非常的强大, 但是一般我在命令行中, 只用来匹配文本.
9简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
10所有的命令都在command中处理.
11
12
13awk的处理方式和格式:
14	awk一次处理一行内容,与sed不同的是awk可以对行进行切片处理.
15	命令行格式:
16		awk [options] 'command' file
17
18		基本格式:
19			awk [options] 'command' file
20				command: pattern {awk操作命令}
21				pattern: 正则表达式; 逻辑判断式.需要注意,放在命令即{}之前.
22				awk操作命令:内置函数 print printf getline...;if(){...}else{...}while()...
23		扩展格式:
24			BEGION{print"start"}pattern{commands}END{print "end"}
25			awk是一个行处理的过程,需要读取一行输出一行,所有的处理命令都在中间的Command中完成的.
26			BEGION和END不参与循环之间的,且BEGIN和END可以分开使用,即并非为成对出现.
27			BEGIN 在读入行之前操作之前,就已经执行的
28			END	在完全读入行完成之后,才执行.
29
30			案例:
31				awk -F ':' 'BEGIN{print "Line Col User"}{print NR,NF,$1}END{print "--------"}'
32
33	脚本格式:
34		awk -f awk-script-file file
35
36	awk内置参数应用:
37			$0	表示当前行
38			$1	表示第一个字段
39			$2 表示第二个字段
40			......
41			-F 设定分隔符(设置$1$2...的分隔符)默认使用空格作为分隔符
42				如: 
43				# 读取/etc/passwd文件,设置:为分隔符,读取第一个字段,即用户名
44				awk -F ':' '{print $1}' /etc/passwd
45				# 打印多列,使用字符串分割需要用引号包起来,逗号代表一个空格
46				awk -F ':' '{print $1"t"$2"t"$3}' /etc/passwd
47
48			NR 每行的行号
49			NF 字段数量的变量(按照分隔符区分,一共有多少列)
50			FILENAME 正在处理的文件名
51				如:
52				# 输出当前行,总列,文件名
53				awk -F ':' '{print NR,NF,FILENAME}' ./passwd
54
55	内置参数使用案例:
56		# 使用print打印该文件中的,行号,总列数,用户名
57		awk -F ':' '{print "Line:" NR, "Col:" NF, "User:"$1 }' ./passwd
58		# 使用printf打印以上内容,记得使用n否则不会换行
59		awk -F ':' '{printf("Line:%s Col:%s User:%sn",NR,NF,$1)}' ./passwd
60		# 使用%s中插入数字,来设置字符的长度,可以用来做到对齐.
61		awk -F ':' '{printf("Line:%5s Col:%5s User:%sn",NR,NF,$1)}' ./passwd
62
63		# 使用if...else...显示passwd中用户ID大于100的行号和用户名,
64		# if和else以及else if之间需要;分好间隔.else if 注意空格.
65		awk -F ':' '{if ($3>100) printf("Line:%s User:%sn", NR, $1)}' ./passwd
66
67		# 正则匹配错误日志(使用默认的空格作为分隔符),打印时间
68		awk '/Error/{print $1}' ./error.log
69		# 配合sed,打印时间,与上面的结果是相同的
70		sed '/Error/p' ./error.log | awk '{print $1}'
71
72awk逻辑判断式:
73		~, !~			正则的匹配与不匹配
74		==,!=,<,>	判断逻辑表达式
75
76		逻辑判断案例(这里可以看到,所有的逻辑都在{}之前):
77			# 将该文件按照:分割,匹配该文件第一列$1以m开头的行,并且输出第一列$1
78			awk -F ':' '$1~/^m.*/{print $1}' ./passwd
79			# 将该文件按照:分割,不匹配该文件第一列$1以m开头的行,并且输出第一列$1
80			awk -F ':' '$1~/^m.*/{print $1}' ./passwd
81			# 输出UID大于100的用户名
82			awk -F ':' '$3>100 {print $1}' ./passwd
83
84awk逻辑处理案例:
85	# 统计当前文件夹下的文件/目录占用的大小,通过变量进行累加实现
86	# 同时通过除法计算折合为m单位
87	ls -l | awk 'BEGIN{size=0}{size+=$5}END{print "size is "size/1024/1024"m"}'
88	# 统计显示/etc/passwd的账户的总人数,同时使用正则,判断不为空行的行才计算
89	awk -F ':' 'BEGIN{count=0}$1!~/^$/{count++}END{print "count = "count}'  ./passwd
90
91	# 统计显示UID大于100的用户名
92	# 通过初始变量count=0然后if判断uid>100,
93	# 然后将该行的用户名作为值count的叠加为下标,赋值给name
94	# 然后for循环输出name下标和值
95	#  if和else以及else if之间需要;分好间隔.else if 注意空格.
96	# 只有一个{}中只有一个判断语句一直到头,if else不用加分号,否则要加分号
97	awk '{if ($1==1) print "A"; else if ($1==2) print "B"; else print "C"}'
98	awk -F ':' 'BEGIN{count=0}{if ($3>100) name[count++]=$1}END{for (i=0;i<count;i++) print i,name[i]}' ./passwd
99
100	# 统计netstat -anp状态下为LISTEN和CONNECTED的连接数量,
101	# 通过对字段6进行正则匹配为CONNECTED或LISTEN,同时将两者6字段作为下标生成一个数组
102	# 将两者数组的值进行叠加, 最后for循环输出下标和值,得到CONNECTED和LISTEN的个数
103	netstat -annp | awk '$6~/CONNECTED|LISTEN/{sum[$6]++}END{for (i in sum) print i,sum[i]}'
104
105
106
107我的简单用法:
108    1.直接在命令行中单独使用.
109        awk '{print $0}' ./log
110    
111    2.结合其他命令使用
112        ps -ef | grep php | grep -v php | awk '{print $2}' | xargs kill -9
113
114    3.在死循环加逻辑判断中使用,这里的system()用来调用外部命令
115           while(true);do date;sleep 1; lsof -i:9999 | wc -l | awk -F 'n' '{if ($0<3) system("nc -l -v 9999 | tar xz"); else print "already use"}';done;
116           while(true);do date;sleep 1; ps -ef | grep tar | wc -l | awk -F 'n' '{if ($0<3) system("nc -l -v 9999 | tar xz"); else print "already runing"}';done;
117
118awk工作流程：
119    读入有'n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，
120    $0则表示所有域,$1表示第一个域,$n表示第n个域。
121    默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，
122    $3表示登录用户ip,以此类推。
123    

cut命令 从文件或标准输入中处理每一行的数据并输出

cut命令用于从文件或者标准输入中读取内容并截取每一行的特定部分并送到标准输出。

它是以每一行为一个处理对象的，这种机制和sed是一样的。

注意，cut命令如果使用了-b选项，那么执行此命令时，cut会先把-b后面所有的定位进行从小到大排序，然后再提取。不能颠倒定位的顺序。

语法:

1cut命令主要是接受三个定位方法
2第一，字节（bytes），用选项-b
3第二，字符（characters），用选项-c
4第三，域（fields），用选项-f
5
6cut -c/-b list [file...]
7cut -f list [-d delim] [file]或cut [-d delim] -f list
8
9cut -c num1-num2 filename   说明：显示每行从开头算起 num1 到 num2 的字符
10
11

实用案例:

-b：按字节截取方式

1# 在-b后面必须指定数字，表示要截取哪个字节
2who | cut -b 3
3# 想要截取多个的写法
4who | cut -b 2,3-5,10
5who | cut -b 3-5,10,2
6# 第三个字符以及后面所有
7who | cut -b 3-
8# 第三个字符以及前面所有
9who | cut -b -3
10# 第三个字符不会重复,截取两边的字符
11who | cut -b -3,3-
12# 多字节字符,输出乱码,这是因为一个中文3个字节.只取一个肯定是乱码
13echo '你好啊世界' | cut -b 1
14# 这里取1-3的所有字节,肯定没问题,成功输出你字,如果是-4就乱码了.
15echo '你好啊世界' | cut -b -3

-c：按字符截取方式

1# 截取多个字符,结果看着和-b没有区别,这是因为who输出的都是单字节字符
2who | cut -c 3,5
3# 功截取到第一个字符,你字.用-c来截取多字符没有任何报错
4echo '你好啊世界' | cut -c 1

-f list: 按字段截取

1list为字段编号或一段范围的列表（以逗号隔开）
2-d delim：通过-f选项，使用delim作为定界符。默认的定界符为制表符（Tab）
3
4# 从当前文件内容取出第二行
5echo "a,b,ctnb,c,dtne,f,g n" > ./fileName
6cut -d , -f 3 ./fileName
7# 如果遇到空格和制表符时可以通过sed来查看
8sed -n l fileName
9a,b,ct$
10b,c,dt$
11e,f,g $
12$
13# 如果设定一个空格为间隔符, 两个单引号之间可确实要有一个空格
14cut -f 1 -d ' ' ./fileName
15# 默认为tab键；所以要使用制表符作为分割符时,完全就可以省略-d选项,直接用－f来取域。
16 cut -f 1 fileName

-b，-c 和 －f 参数可以跟以下子参数：

1N 第N个字符或字段
2N- 从第一个字符或字段到文件结束
3-N 从第一个到第N个字符或字段
4N-M 从第N个到第M个字符或字段
5
6cut -d , -f 1,3 fileName > fileName1

xargs命令 构造参数又称管道命令

1是给命令传递参数的一个过滤器,也是组合多个命令的一个工具 
2它把一个数据流分割为一些足够小的块,以方便过滤器和命令进行处理 。
3简单的说 就是把 其他命令的给它的数据 传递给它后面的命令作为参数
4xargs能够处理管道或者stdin并将其转换成特定命令的命令参数。
5xargs也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。
6xargs的默认命令是echo，空格是默认定界符。
7这意味着通过管道传递给xargs的输入将会包含换行和空白，不过通过xargs的处理，换行和空白将被空格取代。
8xargs是构建单行命令的重要组件之一。
9
10我都是拿来和其他命令混合使用, 他最大的功能就是
11把管道符前面的值, 作用在xargs后面的命令.
12
13常用参数
14    -0 ：当sdtin含有特殊字元时候，将其当成一般字符，像/'空格等
15    -e flag ，注意有的时候可能会是-E，flag必须是一个以空格分隔的标志，当xargs分析到含有flag这个标志的时候就停止。
16    -n num 后面加次数，表示命令在执行的时候一次用的argument的个数，默认是用所有的。
17    -i 或者是-I，这得看linux支持了，将xargs的每项名称，一般是一行一行赋值给{}，可以用{}代替。
18    使用-I指定一个替换字符串{}，这个字符串在xargs扩展时会被替换掉，当-I与xargs结合使用，每一个参数命令都会被执行一次,不指定第二个{}时,则作为按行输出
19    注意，-I 必须指定替换字符　－i 是否指定替换字符-可选
20    注意：cshell和tcshell中，需要将{}用单引号、双引号或反斜杠，否则不认识。bash可以不用。
21    -d delim 分隔符，默认的xargs分隔符是回车，argument的分隔符是空格，这里修改的是xargs的分隔符
22
23如:
24        # 杀死所有含有php字符的进程
25        ps -ef | grep php | grep -v php | awk '{print $2}' | xargs kill -9
26        
27        # 复制所有图片文件到 /tmp/images 目录下
28        # 注意看下面两个的区别,已知: Mac下没有-i参数
29        locate '*.png' | xargs -i cp {} /tmp/imgs
30        locate '*.png' | xargs -I {} cp {} /tmp/imgs
31        # 将符合条件的命令,通过-I 参数逐行取出,然后用echo输出再后面追加5个-,注意echo这个位置必须是一个命令或者文件路径
32        php ./index.php | grep /trade/trade/region | xargs -I {} echo {}------
33        # 将符合条件的命令,通过-I 参数逐行取出,然后用echo输出111来替换原来的行里的内容,注意echo这个位置必须是一个命令或者文件路径
34        php ./index.php | grep /trade/trade/region | xargs -I {} echo 111
35        # 匹配命令,同时按照n换行来作为分割符号为一行,来输出,每次指定输出1行,mac 下没有-d参数
36        php ./index.php | grep /trade/trade/region | xargs -d "n" -n 1
37        # MAC 下调用系统sh执行xargs匹配到的命令
38        php ./index.php | grep /trade/trade/region | xargs -I {} sh -c {}
39        # linux 下调用系统bash执行xargs匹配到的命令
40        php ./index.php | grep /trade/trade/region | xargs -I {} bash -c {}
41
42
43
44
45
46        

find命令&exec命令 文件搜索

1find
2
3find pathname -options [-print -exec -ok ...]
4
5命令格式:
6    pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。
7    -print： find命令将匹配的文件输出到标准输出。
8    -exec： find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为'command' { } /;，注意{ }和/；之间的空格。
9    -ok： 和-exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行。
10
11
12命令的参数:
13    -name
14    按照文件名查找文件。
15    -iname
16    按照文件名查找文件(不区分大小写)。
17    -perm
18    按照文件权限来查找文件。
19    -prune
20    使用这一选项可以使find命令不在当前指定的目录中查找，如果同时使用-depth选项，那么-prune将被find命令忽略。
21    -user
22    按照文件属主来查找文件。
23    -group
24    按照文件所属的组来查找文件。
25    -mtime -n +n
26    按照文件的更改时间来查找文件， - n表示文件更改时间距现在n天以内，+ n表示文件更改时间距现在n天以前。find命令还有-atime和-ctime 选项，但它们都和-m time选项。
27    -nogroup
28    查找无有效所属组的文件，即该文件所属的组在/etc/groups中不存在。
29    -nouser
30    查找无有效属主的文件，即该文件的属主在/etc/passwd中不存在。
31    -newer file1 ! file2
32    查找更改时间比文件file1新但比文件file2旧的文件。
33    -type
34    查找某一类型的文件，诸如：
35    b - 块设备文件。
36    d - 目录。
37    c - 字符设备文件。
38    p - 管道文件。
39    l - 符号链接文件。
40    f - 普通文件。
41    -size n：[c] 查找文件长度为n块的文件，带有c时表示文件长度以字节计。
42    -depth：在查找文件时，首先查找当前目录中的文件，然后再在其子目录中查找。
43    -fstype：查找位于某一类型文件系统中的文件，这些文件系统类型通常可以在配置文件/etc/fstab中找到，该配置文件中包含了本系统中有关文件系统的信息。
44    -mount：在查找文件时不跨越文件系统mount点。
45    -follow：如果find命令遇到符号链接文件，就跟踪至链接所指向的文件。
46    -cpio：对匹配的文件使用cpio命令，将这些文件备份到磁带设备中。
47    
48    另外,下面三个的区别:
49        -amin n
50    　　查找系统中最后N分钟访问的文件
51    　　-atime n
52    　　查找系统中最后n*24小时访问的文件
53    　　-cmin n
54    　　查找系统中最后N分钟被改变文件状态的文件
55    　　-ctime n
56    　　查找系统中最后n*24小时被改变文件状态的文件
57      　-mmin n
58    　　查找系统中最后N分钟被改变文件数据的文件
59    　　-mtime n
60    　　查找系统中最后n*24小时被改变文件数据的文件
61
62
63
64-exec
65
66该命令必须和find一起使用
67参数后面跟的是command命令，它的终止是以;为结束标志的，
68所以这句命令后面的分号是不可缺少的，考虑到各个系统中分号会有不同的意义，所以前面加反斜杠。
69exec选项后面跟随着所要执行的命令或脚本，然后是一对儿{ }，一个空格和一个，最后是一个分号。
70任何形式的命令都可以在-exec选项中使用。
71
72如:
73    find / -name filename 再根目录里面搜索文件名为filename的文件
74    find /etc -name *s*在目录里面搜索带有s的文件
75    find /etc -name *S 在目录里面搜索以s结尾的文件
76    find /etc -name s*在目录里面搜索以s开头的文件
77    find / -amin -10在系统中搜索最后１０分钟访问的文件
78    find / -atime -2查找在系统中最后４８小时访问的文件
79    find / -empty 查找在系统中为空的文件或者是文件夹
80    find / -group groupname 查找在系统中属于groupname的文件
81    find / -mmin -5查找在系统中最后５分钟修改过的文件
82    find / -mtime -1查找在系统中最后２４小时修改过的文件
83    find /－nouser查找在系统中属于费用户的文件
84    find / -user username 查找在系统中属于username的文件
85    find / -ctime -1查找在系统中最后２４小时被改变状态的文件
86    find / -fstype type查找在系统中文件类型为？的文件
87    find / -user user１name -or -user user２name查找在系统中属于user1name或着属于user2name的文件
88    find / -user user1name -and -user2name在系统中查找既属于user1name又属于user2name用户的文件．
89
90    find ./ -name ".DS_Store" -exec echo {} ;
91    find . -name "*.log" -exec cp {} test3 ;
92    find . -type f -exec ls -l {} ; 
93    find  .  -name  '*.bmp' -type f -print -exec rm -rf {} ;
94
95在下面的例子中我们使用grep。find命令首先匹配所有文件名为“ passwd*”的文件，例如passwd、passwd.old、passwd.bak，然后执行grep看看在这些文件中是否存在一个sam用户。
96find /etc -name "passwd*" -exec grep "sam" {} ;
97
98显示文件夹下面所有文件的详细信息并按照文件大小倒序排序
99find /etc -type f | xargs ls -l | sort -rn -k 5

文件统计相关

1tree命令    树型查看目录结果(需要安装第三方)
2    tree -L 2 查看结果深度
3
4uniq命令 用于报告或忽略文件中的重复行，一般与sort命令结合使用。
5	-c或——count：在每列旁边显示该行重复出现的次数；
6	-d或--repeated：仅显示重复出现的行列；
7	-f<栏位>或--skip-fields=<栏位>：忽略比较指定的栏位；
8	-s<字符位置>或--skip-chars=<字符位置>：忽略比较指定的字符；
9	-u或——unique：仅显示出一次的行列；
10	-w<字符位置>或--check-chars=<字符位置>：指定要比较的字符。
11
12
13sort命令    排序
14        -b   忽略每行前面开始出的空格字符。
15        -c   检查文件是否已经按照顺序排序。
16        -d   排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
17        -f   排序时，将小写字母视为大写字母。
18        -i   排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
19        -m   将几个排序好的文件进行合并。
20        -M   将前面3个字母依照月份的缩写进行排序。
21        -n   依照数值的大小排序。
22        -r   以相反的顺序来排序。
23		-k 按照那一列进行排序,可以按照多列进行排序。
24        -o<输出文件>   将排序后的结果存入指定的文件。
25        -t<分隔字符>   指定排序时所用的栏位分隔字符。
26        +<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
27        --help   显示帮助。
28        --version   显示版本信息
29
30    使用案例:
31		将当前文件按照大小进行降序
32        du -d 1  | sort -n
33		显示文件夹下面所有文件的详细信息并按照文件大小倒序排序
34		find /etc -type f | xargs ls -l | sort -rn -k 5
35		将当前文件按照大小进行降序
36		ll | sort -rn -k 5
37		统计各行在文件中出现的次数
38		sort file.txt | uniq -c
39		在文件中找出重复的行
40		sort file.txt | uniq -d
41
42du命令    计算文件或目录所占的磁盘空间。
43    -a, –all包括了所有的文件，而不只是目录
44    -d 指定统计深度
45    -B, –block-size=SIZE use SIZE-byte blocks
46    -b, –bytes 以字节为计算单位
47    -k  以千字节（KB）为计算单位 
48    -m   以兆字节（M）为计算单位
49    -g  以G字节（g）为计算单位(Ubuntu16.04下没有这个命令)
50    -sh  查看目录大小
51    -c, –total 最后加上一个总计（系统缺省）
52    -S, –separate-dirs  计算目录所占空间时不包括子目录的大小。
53    -s, –summarize      只显示工作目录所占总空间
54    -X FILE, –exclude-from=FILE 排除掉指定的FILE
55    –max-depth=N只列出深度小于max-depth的目录和文件的信息 –max-depth=0 的时候效果跟–s是 一样
56        
57        
58mkdir命令   -p ./yhf/wwj 一次性创建多级目录
59
60fuser命令   查看正在访问指定文件系统的进程
61        -u：除了进程的PID之外，同时列出该进程的访问者  
62        -v：列出更多的信息
63        
64wc命令 (选项)(参数)      
65        统计指定文件中的字节数、字数、行数，并将统计结果显示输出。
66        如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。
67        -c 统计字节数。
68        -l 统计行数。
69        -m 统计字符数。这个标志不能与 -c 标志一起使用。
70        -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
71        -L 打印最长行的长度。
72        -help 显示帮助信息
73        --version 显示版本信息
74        
75        不加参数的时候直接输出所有信息
76