做网站SEO优化的朋友会特别关注蜘蛛爬行的次数、频率等,而做好网站优化的第一步就是首先让蜘蛛爬虫经常来网站进行光顾,如果蜘蛛爬行出现异常怎么办?下面将结合Linux系统中的几个Linux命令,如cat命令\grep命令\awk命令等可以清楚的知道蜘蛛的爬行情况。
下面我们针对nginx服务器进行分析,日志文件所在目录:/usr/local/nginx/logs/access.log,access.log这个文件记录的应该是最近一天的日志情况,首先请看看日志大小,如果很大(超过50MB)建议别用这些命令分析,因为这些命令很消耗CPU,或者更新下来分析,以免影响网站的速度。
Shell命令
1、百度蜘蛛爬行的次数
cat access.log | grep Baiduspider | wc
2、百度蜘蛛的详细记录 (Ctrl C可以终止)
cat access.log | grep Baiduspider
也可以用下面的命令:
cat access.log | grep Baiduspider | tail -n 10
cat access.log | grep Baiduspider | head -n 10
只看最后10条或最前10条,就能知道这个日志文件的开始记录的时间和日期。
3、百度蜘蛛抓取首页的详细记录
cat access.log | grep Baiduspider | grep "GET / HTTP"
百度蜘蛛好像对首页非常热爱,经常会来光顾,而谷歌和雅虎蜘蛛更喜欢内页。
4、百度蜘蛛派性记录时间点分布
cat access.log | grep "Baiduspider" | awk '{print $4}'
5、百度蜘蛛爬行页面按次数降序列表
cat access.log | grep "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -r
文中的Baiduspider改成其它蜘蛛名称,例如改成Googlebot就可以查看谷歌的数据,我们主要以百度蜘蛛的爬行日志为主。
1、文章版权归作者所有,未经允许请勿转载。
2、本站所有文章,如无特殊说明或标注,均为本站原创发布。任何在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们邮箱:526009505@qq.com进行处理。
3、咨询请联系QQ:526009505
2、本站所有文章,如无特殊说明或标注,均为本站原创发布。任何在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们邮箱:526009505@qq.com进行处理。
3、咨询请联系QQ:526009505
你可能也喜欢
- ♥ 自己怎么搭建一个网站?09/20
- ♥ 使用CSS代码实现文字渐变色达到文字颜色渐变的方式04/27
- ♥ 学习笔记:HTML基本知识03/28
- ♥ seo外贸网站建设制作开发的基本流程10/10
- ♥ 品牌营销型网站建设设计有哪些服务特点与内容?05/28
- ♥ ThinkPHP框架网站内页(非首页)链接添加301跳转代码03/15