apt-get/yum/dnf/pacman/pip/brew(以及其它合适的包管理器)来安装新程序。man bash 并至少全文浏览一遍; 它很简单并且不长。其他的 shell 可能很好用,但 Bash 功能强大且几乎所有情况下都是可用的 ( 只学习 zsh,fish 或其他的 shell 的话,在你自己的电脑上会显得很方便,但在很多情况下会限制你,比如当你需要在服务器上工作时)。vi) 会是你最好的选择,因为在终端里进行随机编辑 Vim 真的毫无敌手,哪怕是 Emacs、某大型 IDE 甚至时下非常流行的编辑器。man 命令去阅读文档。学会使用 apropos 去查找文档。了解有些命令并不对应可执行文件,而是Bash内置的,可以使用 help 和 help -d 命令获取帮助信息。> 和 < 来重定向输出和输入,学会使用 | 来重定向管道。明白 > 会覆盖了输出文件而 >> 是在文件未添加。了解标准输出 stdout 和标准错误 stderr。* (或许再算上 ? 和 […]) 和引用以及引用中 " 和 " 的区别。&,ctrl-z,ctrl-c,jobs,fg,bg,kill 等。ssh,以及学会通过使用 ssh-agent,ssh-add 等命令来实现基本的无密码认证。ls 和 ls -l (了解 ls -l 中每一列代表的意义),less,head,tail 和 tail -f (甚至 less +F),ln 和 ln -s (了解硬链接与软链接的区别),chown,chmod,du (硬盘使用情况概述:du -hk *)。 关于文件系统的管理,学习 df,mount,fdisk,mkfs,lsblk。知道 inode 是什么(与 ls -i 和 df -i等命令相关)。ip 或 ifconfig,dig。grep/egrep 里不同参数的作用,例如 -i,-o,-v,-A,-B 和 -C,这些参数是值得学习并掌握的。apt-get,yum,dnf 或 pacman (取决于你使用的 Linux 发行版)来查找或安装软件包。并确保你的环境中有 pip 来安装基于 Python 的命令行工具 (接下来提到的部分程序使用 pip 来安装会很方便)。man readline 查看 Bash 中的默认快捷键,内容很多。例如 alt-. 循环地移向前一个参数,以及 alt-* 展开通配符。set -o vi 来使用 vi 风格的快捷键,而 set -o emacs 可以把它改回来。export EDITOR=vim),键入 ctrl-x ctrl-e 会打开一个编辑器来编辑当前命令。在 vi 模式下则键入 escape-v 实现相同的功能。history 查看命令行历史记录。其中有许多缩写,例如 !$(最后键入的参数)和 !!(最后键入的命令),尽管通常被 ctrl-r 和 alt-. 取代。cd -#,或者依次按下 ctrl-a, #, enter。这样做的话,之后你可以很方便的利用命令行历史回到你刚才输入到一半的命令。xargs ( 或 parallel)。他们非常给力。注意到你可以控制每行参数个数(-L)和最大并行数(-P)。如果你不确定它们是否会按你想的那样工作,先使用 xargs echo 查看一下。此外,使用 -I{} 会很方便。例如:| 12 | find.-name"*.py"|xargs grep some_function cat hosts|xargs-I{}sshroot@{}hostname |
pstree -p 有助于展示进程树。pgrep 和 pkill 根据名字查找进程或发送信号(-f 参数通常有用)。kill -STOP [pid] 停止一个进程。使用 man 7 signal 查看详细列表。nohup 或 disown 使一个后台进程持续运行。netstat -lntp 或 ss -plat 检查哪些进程在监听端口(默认是检查 TCP 端口; 使用参数 -u 检查 UDP 端口)。lsof。uptime 或 w ???查看系统已经运行多长时间。alias来创建常用命令的快捷形式。例如:alias ll="ls -latr"使你可以方便地执行ls -latr命令。set -x 去调试输出,尽可能的使用严格模式,使用 set -e 令脚本在发生错误时退出而不是继续运行,使用 set -u 来检查是否使用了未赋值的变量,使用 set -o pipefail 严谨地对待错误(尽管问题可能很微妙)。当牵扯到很多脚本时,使用 trap。一个好的习惯是在脚本文件开头这样写,这会使它检测一些错误,并在错误发生时中断程序并输出信息:| 12 | set-euo pipefail trap"echo "error: Script failed: see failed command above""ERR |
(...))是一种便捷的方式去组织参数。一个常见的例子是临时地移动工作路径,代码如下:| 123 | # do something in current dir (cd/some/other/dir&&other-command) # continue in original dir |
${name:?error message}。例如,当 Bash 脚本需要一个参数时,可以使用这样的代码 input_file=${1:?usage: $0 input_file}。数学表达式:i=$(( (i + 1) % 5 ))。序列:{1..10}。 截断字符串:${var%suffix} 和 ${var#prefix}。例如,假设 var=foo.pdf,那么 echo ${var%.pdf}.txt 将输出 foo.txt。{…})可以减少不必要的重复输入相似文本以及文本组合。<(some command) 可以将输出视为文件。例如,对比本地文件 /etc/hosts 和一个远程文件:| 1 | diff/etc/hosts<(ssh somehost cat/etc/hosts) |
cat <<EOF ...。some-command >logfile 2>&1。通常,为了保证命令不会在标准输入里残留一个打开了的文件句柄导致你当前所在的终端无法操作,添加 </dev/null 是一个好习惯。man ascii 查看具有十六进制和十进制值的ASCII表。man unicode,man utf-8,以及 man latin1 有助于你去了解通用的编码信息。screen 或 tmux 来使用多个屏幕,当你在使用 ssh 时(保存 session 信息)将尤为有用。另一个轻量级的解决方案是 dtach。-L 或 -D(偶尔需要用 -R)去开启隧道是非常有用的,例如当你需要从一台远程服务器上访问 web。~/.ssh/config 文件包含了防止特定环境下断开连接、压缩数据、多通道等选项:| 1234567 | TCPKeepAlive=yes ServerAliveInterval=15 ServerAliveCountMax=6 Compression=yes ControlMaster auto ControlPath/tmp/%r@%h:%p ControlPersist yes |
StrictHostKeyChecking=no,ForwardAgent=yesmosh 作为 ssh 的替代品,它使用 UDP 协议。| 1 | stat-c"%A %a %n"/etc/timezone |
percol 或者 fzf 可以交互式地从另一个命令输出中选取值。fpp(PathPicker)可以与基于另一个命令(例如 git)输出的文件交互。python -m SimpleHTTPServer 7777 (使用端口 7777 和 Python 2)或python -m http.server 7777 (使用端口 7777 和 Python 3)。sudo(root 权限)或sudo -u(其他用户)。使用su或者sudo bash来启动一个以对应用户权限运行的 shell。使用su -模拟其他用户的登录。find . -iname "*something*"(或类似的)。在所有路径下通过文件名查找文件,使用 locate something (但请记住 updatedb 可能没有对最近新建的文件建立索引)。ag 在源代码或数据文件里检索(比 grep -r 更好)。lynx -dump -stdinpandoc。xmlstarlet 宝刀未老。jq 处理 JSON。in2csv,csvcut,csvjoin,csvgrep 等工具。s3cmd 很方便而 s4cmd 更快。Amazon 官方的 aws 以及 saws 是其他 AWS 相关工作的基础。sort 和 uniq,包括 uniq 的 -u 参数和 -d 参数,详见后文一行代码节。另外可以了解一下 comm。cut,paste 和 join 来更改文件。很多人都会使用 cut,但几乎都不会使用 join。wc 去计算新行数(-l),字符数(-m),单词数(-w)以及字节数(-c)。tee 将标准输入复制到文件甚至标准输出,例如 ls -al | tee file.txt。LANG 或其他有关的变量设置为符合本地的设置。意识到当你改变语言环境时,排序的结果可能会改变。明白国际化可能会时 sort 或其他命令运行效率下降许多倍。某些情况下(例如集合运算)你可以放心的使用 export LC_ALL=C 来忽略掉国际化并使用基于字节的顺序。awk 和 sed 关于数据的简单处理的用法。例如,将文本文件中第三列的所有数字求和:awk "{ x += $3 } END { print x }". 这可能比同等作用的 Python 代码快三倍且代码量少三倍。| 1 | perl-pi.bak-e"s/old-string/new-string/g"my-files-*.txt |
rename。对于复杂的重命名规则,repren 或许有帮助。| 1234 | # Recover backup files foo.bak -> foo: rename"s/.bak$//"*.bak # Full rename of filenames,directories,and contents foo -> bar: repren--full--preserve-case--from foo--tobar. |
shuf 从一个文件中随机选取多行。sort 的参数。处理数字方面,使用 -n 或者 -h 来处理可读性数字(例如 du -h 的输出)。明白键的工作原理(-t 和 -k)。例如,注意到你需要 -k1,1 来仅按第一个域来排序,而 -k1 意味着按整行排序。稳定排序(sort -s)在某些情况下很有用。例如,以第二个域为主关键字,第一个域为次关键字进行排序,你可以使用 sort -k1,1 | sort -s -k2,2。$" " (后者可能更好,因为你可以复制粘贴它)。diff 和 patch。使用 diffstat 查看变更总览数据。注意到 diff -r 对整个文件夹有效。使用 diff -r tree1 tree2 | diffstat 查看变更总览数据。hd 使其以十六进制显示以及使用 bvi 来编辑二进制。strings(包括 grep 等等)允许你查找一些文本。xdelta3。iconv 更改文本编码。而更高级的用法,可以使用 uconv,它支持一些高级的 Unicode 功能。例如,这条命令将所有元音字母转为小写并移除了:| 1 | uconv-futf-8-tutf-8-x"::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; "<input.txt>output.txt |
split(按大小拆分)和 csplit(按模式拆分)。zless,zmore,zcat 和 zgrep对压缩过的文件进行操作。curl 和 curl -I 可以便捷地被应用于 web 调试中,它们的好兄弟 wget 也可以,或者是更潮的 httpie。iostat、netstat、top (htop 更佳)和 dstat 去获取硬盘、cpu 和网络的状态。熟练掌握这些工具可以使你快速的对系统的当前状态有一个大概的认识。netstat 和 ss 查看网络连接的细节。glances。它在一个终端窗口中向你提供一些系统级的数据。这对于快速的检查各个子系统非常有帮助。free 和 vmstat 的输出。尤其注意“cached”的值,它指的是 Linux 内核用来作为文件缓存的内存大小,因此它与空闲内存无关。kill -3 <pid> 同时一个完整的栈轨迹和堆概述(包括 GC 的细节)会被保存到标准输出/日志文件。JDK 中的jps,jstat,jstack,jmap 很有用。SJK tools 更高级.mtr 去跟踪路由,用于确定网络问题。ncdu 来查看磁盘使用情况,它比常用的命令,如 du -sh *,更节省时间。iftop 或 nethogs。ab 工具(捆绑于 Apache)可以简单粗暴地检查 web 服务器的性能。对于更复杂的负载测试,使用 siege。wireshark,tshark 和 ngrep 可用于复杂的网络调试。strace 和 ltrace。这俩工具在你的程序运行失败、挂起甚至崩溃,而你却不知道为什么或你想对性能有个总体的认识的时候是非常有用的。注意 profile 参数(-c)和附加到一个运行的进程参数 (-p)。ldd 来检查共享库。gdb 连接到一个运行着的进程并获取它的堆栈轨迹。/proc。它在调试正在出现的问题的时候有时会效果惊人。比如:/proc/cpuinfo,/proc/meminfo,/proc/cmdline,/proc/xxx/cwd,/proc/xxx/exe,/proc/xxx/fd/,/proc/xxx/smaps(这里的 xxx 表示进程的 id 或 pid)。sar 非常有用。它展示了 cpu、内存以及网络等的历史数据。stap(SystemTap),perf,以及sysdig。uname , uname -a (Unix/kernel 信息) 或者 lsb_release -a (Linux 发行版信息)。dmesg(可能是硬件或驱动问题)。sort/uniq 很有帮助。假设 a 与 b 是两内容不同的文件。这种方式效率很高,并且在小文件和上G的文件上都能运用 (sort 不被内存大小约束,尽管在 /tmp 在一个小的根分区上时你可能需要 -T 参数),参阅前文中关于 LC_ALL 和 sort 的 -u 参数的部分。| 123 | catab|sort|uniq>c # c is a union b catab|sort|uniq-d>c # c is a intersect b catabb|sort|uniq-u>c # c is set difference a - b |
grep . * 来阅读检查目录下所有文件的内容,例如检查一个充满配置文件的目录比如 /sys、/proc、/etc。| 1 | awk"{ x += $3 } END { print x }"myfile |
ls -l 但比 ls -lR 更易于理解:| 1 | find.-typef-ls |
acct_id参数在URI中。如果你想计算出每个 acct_id 值有多少次请求,使用如下代码:| 1 | cat access.log|egrep-o"acct_id=[0-9]+"|cut-d=-f2|sort|uniq-c|sort-rn |
| 1234567 | functiontaocl(){ curl-shttps://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md | pandoc-fmarkdown-thtml| xmlstarlet fo--html--dropdtd| xmlstarlet sel-t-v"(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]"| xmlstarlet unesc|fmt-80 } |
expr:计算表达式或正则匹配m4:简单地宏处理器yes:多次打印字符串cal:漂亮的日历env:执行一个命令(脚本文件中很有用)printenv:打印环境变量(调试时或在使用脚本文件时很有用)look:查找以特定字符串开头的单词cut、paste 和 join:数据修改fmt:格式化文本段落pr:将文本格式化成页/列形式fold:包裹文本中的几行column:将文本格式化成多列或表格expand 和 unexpand:制表符与空格之间转换nl:添加行号seq:打印数字bc:计算器factor:分解因数gpg:加密并签名文件toe:terminfo entries 列表nc:网络调试及数据传输socat:套接字代理,与 netcat 类似slurm:网络可视化dd:文件或设备间传输数据file:确定文件类型tree:以树的形式显示路径和文件,类似于递归的 lsstat:文件信息time:执行命令,并计算执行时间lockfile:使文件只能通过 rm -f 移除logrotate: 切换、压缩以及发送日志文件watch:重复运行同一个命令,展示结果并高亮有更改的部分tac:反向输出文件shuf:文件中随机选取几行comm:一行一行的比较排序过的文件pv:监视通过管道的数据hd,hexdump,xxd,biew 和 bvi:保存或编辑二进制文件strings:从二进制文件中抽取文本tr:转换字母iconv 或 uconv:简易的文件编码split 和 csplit:分割文件sponge:在写入前读取所有输入,在读取文件后再向同一文件写入时比较有用,例如 grep -v something some-file | sponge some-fileunits:将一种计量单位转换为另一种等效的计量单位(参阅 /usr/share/units/definitions.units)apg:随机生成密码7z:高比例的文件压缩ldd:动态库信息nm:提取 obj 文件中的符号ab:性能分析 web 服务器strace:系统调用调试mtr:更好的网络调试跟踪工具cssh:可视化的并发 shellrsync:通过 ssh 或本地文件系统同步文件和文件夹wireshark 和 tshark:抓包和网络调试工具ngrep:网络层的 grephost 和 dig:DNS 查找lsof:列出当前系统打开文件的工具以及查看端口信息dstat:系统状态查看glances:高层次的多子系统总览iostat:硬盘使用状态mpstat: CPU 使用状态vmstat: 内存使用状态htop:top 的加强版last:登入记录w:查看处于登录状态的用户id:用户/组 ID 信息sar:系统历史数据iftop 或 nethogs:套接字及进程的网络利用ss:套接字数据dmesg:引导及系统错误信息sysctl: 在内核运行时动态地查看和修改内核的运行参数hdparm:SATA/ATA 磁盘更改及性能分析lsb_release:Linux 发行版信息lsblk:列出块设备信息:以树形展示你的磁盘以及磁盘分区信息lshw,lscpu,lspci,lsusb 和 dmidecode:查看硬件信息,包括 CPU、BIOS、RAID、显卡、USB设备等lsmod 和 modinfo:列出内核模块,并显示其细节fortune,ddate 和 sl:额,这主要取决于你是否认为蒸汽火车和莫名其妙的名人名言是否“有用”brew (Homebrew)或者 port (MacPorts)进行包管理。这些可以用来在 Mac 系统上安装以上的大多数命令。pbcopy 复制任何命令的输出到桌面应用,用 pbpaste 粘贴输入。open 或者 open -a /Applications/Whatever.app 使用桌面应用打开文件。mdfind 搜索文件,用 mdls 列出元数据(例如照片的 EXIF 信息)。ps,ls,tail,awk,sed)都和 Linux 中有些微的不同,这些极大的被 System V-style Unix 和 GNU 工具影响。你可以通过标题为 “BSD General Commands Manual” 的 man 页面发现这些不同。在有些情况下 GNU 版本的命令也可能被安装(例如 gawk 和 gsed 对应 GNU 中的 awk 和 sed )。如果要写跨平台的 Bash 脚本,避免使用这些命令(例如,考虑 Python 或者 perl )或者经过仔细的测试。