Shell实用技巧：快速去除字符串中的空格

2017年02月06日 69 阅读

在整理词库的过程中遇到 一个问题，有些其实是同一个关键词之关有空格的话，无法正常被去重，那么有没有办法能快快速去除这些字符中间的空格呢？经过百度一番，找到一个解决办法，记录一下。效果如下图所示，图上半部分是示例文本，下半部分就是用shell去掉空格后的效果。其中用到就是下面第3个方法。在UNIX上使用sed命令进行字符串处理中常常遇到的问题就是行首行尾的空格怎么删除。下面介绍sed是怎样实现的，当然awk同样可以。1、删除行首空格复制代码 代码如下:sed...

使用shell脚本找出网站的空页面和404错误页面

2017年02月06日 68 阅读

早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这个问题，所以才有下面这些笔记：用shell批量找出网站空页面和404错误页面。废话不多说，直接上shell代码：复制代码 代码如下:time cat sitemap.txt|while read line;do curl -...

shell脚本实现批量采集爱站关键词库

2017年02月06日 72 阅读

shell批量采集爱站关键词库，心血来潮写着玩的，还不完善，先放出来，后期慢慢更新，功能虽然简单，同类工具也很多现成的，但毕竟是自己写出来的工具，感觉还是很不一样滴！复制代码 代码如下:for i in $（seq 1 50）;do curl -s http://baidurank.aizhan.com/baidu/jiameng.com/$i/position/|grep -a "class="zhishu""|sed "s/<a target="...

Shell脚本对比两个文本文件找出不同行的2个方法分享

2017年02月06日 66 阅读

亲自实验过的方法如下：第一种：comm命令法命令如下：comm -3 file1 file2有一个问题就是，如果两个文件排序不一样的话，会出问题第二种：grep命令法命令如下：grep -vwf file1 file2统计file1中没有，file2中有的行具体使用环境以后再补充，今天先记录到这里。...

Shell日志分析常用命令和例子

2017年02月06日 71 阅读

学会用shell分析日志只要一上午！！！很多地方分享了日志分析的shell脚本，但是基本没说每个命令符的具体含义，学习成本还是很高，在这里总结下，方便大家快速入门。1、在Windows下的用户要使用shell命令符的话请先安装cygwin，安装方法自行Google（搜技术问题请使用google，百度搜不到活该）2、下面粗略介绍下SEO日志分析常用的命令符用法，需要详细了解每个命令符请使用Google。less 文件名 查看文件内容 按“q” 退出cat 文...

awk正则表达式和内置函数的使用方法实例详解

2017年02月06日 71 阅读

awk正则表达式及内置函数实例详解：1、模糊匹配：复制代码 代码如下:awk ‘{if（$3~/97/） print $0}" data.f：如果第三项中含有”97”则打印该行awk ‘{if（$4！~/ufcx/） print $0}" data.f：如果第三项中不含ufcx有则打印2、精确匹配：复制代码 代码如下:awk ‘{if（$5==66） print $0}" data.f：如果第五项是66则打印awk ‘{if（$5！=66）print $0...

shell脚本实现快速生成xml格式sitemap实例分享

2017年02月06日 64 阅读

用shell快速生成xml格式的sitemap地图文件，中小型网站适用。在本次案例中，生成12053条URL的sitemap文件，仅用时4.3秒！shell代码如下：复制代码 代码如下:cat sitemap.txt|awk "BEGIN{print "<?xml version="1.0" encoding="UTF-8"?> <urlset>"}{print "<url> <loc>"$0...

Shell中实现字符串反转方法分享

2017年02月06日 73 阅读

在做关键词清洗过程中，需要将一类不符合某个字结尾的词过滤出来，思路是把这一批词按最后一个字排序，于是想到了先把这些词反转一下，如把12345转为54321，好像以前在夜息的文章里看过用shell可以实现，就百度了一下，找到几个可行的解决方法，现记录一下。shell实现字符串反转，一句命令搞定！复制代码 代码如下:cat keywords.txt|while read line;do echo $line|rev;done命令的：复制代码 代码如下:echo...

Shell脚本实现的一个简易Web服务器例子分享

2017年02月06日 64 阅读

假设你想测试网页和一些CGI,而你又不想麻烦Apache安装完整的包。这个快速的shell脚本可能只是你所需要的东西。简而言之,一个web服务器是一个应用程序,该应用程序将本地文本文件通过网络发送给客户的请求。如果你让另一个程序（例如inetd）处理网络情况下,web服务器可以减少到只有 cat "文件名”发送到stdout。当然,困难将提取部分文件名的HTTP请求字符串:任何一个Bash脚本无法轻易做到。脚本我们的脚本应该像其他任何脚本一样，加上一些定义...

Shell实现多级菜单系统安装维护脚本实例分享

2017年02月06日 67 阅读

演示效果：1、一级菜单2、二级菜单3、执行操作脚本参考：复制代码 代码如下:#！/bin/bash#author lic（oldboy linux student）#date 1304DISK_NO="/dev/sda1"NGINX_DIR="/usr/local/tdoa/nginx/sbin/nginx"MYSQL_DIR="/usr/local/tdoa/mysql/bin/mysqld_safe"SERVER1="WEB"SERVER2="MYSQ...

Bash Shell 注释多行的几种方法

2017年02月06日 67 阅读

1、最简单方法复制代码 代码如下::<<BLOCK....注释内容BLOCK把输入重定义到前面的命令，但是 : 是空命令，所以就相当于注释了。如果注释中有反引号的命令就会报错，反引号部分不会被注释掉，例如 var=`ls -l` 就不会被注释掉。2、解决注释中有反引号的问题A、方法一复制代码 代码如下::<<BLOCK"....注释内容"BLOCKB、方法二复制代码 代码如下::<<"BLOCK....注释内容BLOCK...

shell中的数组操作小结和冒泡排序实现脚本分享

2017年02月06日 68 阅读

shell数组介绍:复制代码 代码如下://数组变量定义:$ arr=（1 3 6 8 2 5 9 0 7 4）// 默认获取第一个元素$ echo $arr // 通过下标访问,下面取的数组第二个元素,shell数组下标是从0开始$ echo ${arr[1]} // 访问整个数组 $ echo ${arr[@]} or echo ${arr[*]} // 获取数组的长度（最大下标）$ echo ${#arr[@]} // 获取单个元素字符串长度$ ec...

shell脚本实现文件锁功能

2017年02月06日 69 阅读

1.背景当多个进程可能会对同样的数据执行操作时，这些进程需要保证其它进程没有在操作，以免损坏数据。通常，这样的进程会使用一个“锁文件”，也就是建立一个文件来告诉别的进程自己在运行，如果检测到那个文件存在则认为有操作同样数据的进程在工作。这样的问题是，进程不小心意外死亡了，没有清理掉那个锁文件，那么只能由用户手动来清理了。2.关于flockflock 是对于整个文件的建议性锁。也就是说，如果一个进程在一个文件（inode）上放了锁，那么其它进程是可以知道的。...

shell脚本实现批量测试局域网主机是否在线

2017年02月06日 66 阅读

由于局域网内主机多，VLAN也多，为时常能知道在线主机的数量，编写脚本以查验在线主机。效果是：主机在线显示绿色，主机离线显示红色结果。用法：./ping IP段 例如：./ping 192.168.0复制代码 代码如下:#！/bin/bashNETWORK=$1for HOST in $（seq 1 254）do ping -c 1 -w 1 $NETWORK.$HOST &>/dev/null && result=0 || result=1 if ...

Shell脚本中调用、引用、包含另外一个脚本文件的两种方法

2017年02月06日 74 阅读

脚本 first （测试示例1） 复制代码 代码如下:#！/bin/bashecho "your are in first file"问）在当前脚本文件中调用另外一个脚本文件？方法一： 使用 source脚本 second （测试示例2）复制代码 代码如下:#！/bin/bashecho "your are in second file"source first方法二： 使用 .脚本 second （测试示例3）复制代码 代码如下:#！/bin/bashe...

Shell脚本判断Linux系统是32位还是64位的几种方法分享

2017年02月06日 73 阅读

一行就能搞定，输出32或者64。可以用“getconf WORD_BIT”和“getconf LONG_BIT”获得word和long的位数，64位系统中应该分别得到32和64。参考代码如下：复制代码 代码如下:ldconfigif [ $（getconf WORD_BIT） = "32" ] && [ $（getconf LONG_BIT） = "64" ] ; then ln -s /usr/local/mysql/lib/mysql /usr/lib...

Shell脚本实现温和方式重启Centos系统

2017年02月06日 70 阅读

主要目的是用于重启后台比较重要的进程，如果采用killall -9强制kill掉，可能会引起问题。比如数据库进程。代码如下：复制代码 代码如下:#！/bin/shif [ -z "$1" ]; then /bin/echo "$0 <command line>" exit 1fiparam=""list="2 3 4 5 6 7 8 9"for i in $list; do eval p="$"$i if [ -z $p ]; thenbrea...

shell中使用echo打印彩色字体和彩色背景的方法

2017年02月06日 70 阅读

对于shell中的终端打印感觉很好玩！首先知道shell中终端打印有echo printf一般常用的就是echo咯；注：字体颜色 重置=0，黑色=30，红色=31，绿色=32， ***=33，蓝色=34， 洋红=35， 青色=36， 白色=37.背景颜色 重置=0，黑色=40，红色=41，绿色=42， ***=43，蓝色=44， 洋红=45， 青色=46， 白色=47.要打印彩色文本，可输入如下命令：复制代码 代码如下: # echo -e "e[1;36...

Shell脚本监控网站页面正常打开情况

2017年02月06日 78 阅读

现在单位为了省钱，我用了shell脚本，简单的写了一个监控。通过curl一个固定页面的200状态码，如果是200，就说网站是正常的,如果不是200就自动重启网站，然后发邮件到QQ邮箱。自己在上QQ的同时，通过微信也可以收到报警，不但可以收到报警，还可以解决问题。基本上也可以解决web的故障。复制代码 代码如下: #！ /bin/bashsource /etc/profileA="web is Good ！"ip=`ifconfig eth0 | grep ...

Shell脚本判断Apache进程是否存在

2017年02月06日 65 阅读

写一个脚本检查Apache进程是否存在，若不存在则显示不存在，若存在则显示进程个数，当不等于10个时用红色字体通知管理员，并询问管理员是否启动Apache服务。复制代码 代码如下: #！/bin/bash#echo "$（service httpd status）"PIDNUM=$（pgrep httpd | wc -l）if [[ $PIDNUM -eq 0 ]];then echo "Apache is stopped." read -p "Do yo...