Splunk

简单介绍

文章导读：Splunk是机器数据的引擎。可用于收集、索引和利用所有应用程序、服务器和设备(物理、虚拟和云中)生成的快速移动型计算机数据 。有已下7大功能：1、监测网站URL是否已被谷歌爬虫抓取（百度蜘蛛、雅虎爬虫亦可监测）Index = {the n。

Splunk是机器数据的引擎。可用于收集、索引和利用所有应用程序、服务器和设备(物理、虚拟和云中)生成的快速移动型计算机数据 。有已下7大功能：
1、监测网站URL是否已被谷歌爬虫抓取（百度蜘蛛、雅虎爬虫亦可监测）
Index = {the name of your index} url stub AND googleb
2、查找404页面
Index = {the name of your index} status = 404 | top limit = 50 uri
3、查找设置过302跳转的页面
Index = {the name of your index} status = 302 | top limit = 50 uri
4、统计每天被谷歌搜索引擎抓取的页面
index ={name of your index} googlebot | timechart count by day
5、统计谷歌移动端爬虫每日抓取页面
index ={name of your index} googlebot AND iphone | timechart count by day
6、找出浪费爬虫抓取量的垃圾页面
index={name of your index} googlebot uri_stem=”*”| top limit=20 uri
7、500错误页面
index={name of your index} AND “status=5*”