很多时候,站长们都很关心自己的网站 SEO 做得是否到位,于是我们在查看各种站长工具时,也会想知道哪些爬虫访问过我们的网站,因为这关系到搜索引擎对我们网站的偏好。
因此,我们可以通过查看网站日志来监控蜘蛛的来访情况。今天我要分享的是一段 WordPress 利用 PHP 代码记录蜘蛛来访日志的方式,下面是代码。
// 统计蜘蛛
function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false) {
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false) {
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false) {
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false) {
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false) {
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false) {
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false) {
return 'Robozilla';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date = date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url = $_SERVER['HTTP_REFERER'];
$file = "robotslogs.txt";
$time = nowtime();
$data = fopen($file, "a");
$PR = $_SERVER['REQUEST_URI'];
fwrite($data, "Time: $time robot: $searchbot URL: $tlc_thispage\n page: $PR\r\n");
fclose($data);
}
注意
在添加代码之前,需要在网站根目录新建一个 txt 文本文件 robotslogs.txt
,并将其权限设置为 777。然后访问该文件,就可以看到蜘蛛的来访记录了,十分方便哦。