近期,百度很疯,老李说了,5年之后,互联网无垃圾,不知道他所谓的垃圾是什么?采集的,还是什么的?咱不去管他,最近,我总是很倒霉,百度就好像专门针对我一样,排名好的站总是得K我,排名不好的站,一点也不会出事,为了记忆百度蜘蛛的行踪,写了以下的PHP函数,分两个函数,一个是判断蜘蛛名称,一个是记忆蜘蛛到文件,可以自己看一下,不懂的留言。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
function write_naps_bot(){
    	 $useragent=get_naps_bot();
    	// echoExit($useragent);
    	 if ($useragent=="false") return FALSE ;
    	 date_default_timezone_set("Asia/Shanghai");
    	 $date=date("Y-m-d H:i:s");
    	 $ip=$_SERVER[REMOTE_ADDR];
    	 $url="http://".$_SERVER[HTTP_HOST].$_SERVER[REQUEST_URI];
    	// echoExit($url);转载注明www.chhua.com
    	 if (!file_exists("./log/bot.html")){
    	 	$botfile=fopen("./log/bot.html", "w");
    	 	 $fileHeader="<head>
<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />
<title>访问查看</title>
</head>
<a href=\"../?action=delbot\">删除日志</a><hr>
";
    	 	// echoExit($botfile);转载注明www.chhua.com
 
    	 	 fputs($botfile, $fileHeader);
    	 	 fclose($botfile);
    	 }else
    	 {	$filesize=filesize("./log/bot.html");
    	 	if ($filesize>=100000){
    	 		$botfile=fopen("./log/bot.html", "w");
    	 		$fileHeader="<head>
<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />
<title>访问查看</title>
</head>
<a href=\"../?action=delbot\">删除日志</a><hr>
";
    	 	 fputs($botfile, $fileHeader);
    	 	 fclose($botfile);
    	 	}else {
    	 		$botfile=fopen("./log/bot.html", "a+");
    	 	}
 
    	 	//$size="<b>当前文件大小为:</b>".$filesize."<br>";转载注明www.chhua.com
 
    	 	$useragent="<b>USER:</b>".$useragent."<Br>";
	    	 $date="<b>TIME:</b>".$date."<Br>";
	    	 $ip="<b>IP:</b>".$ip."<Br>";
	    	 $url="<b>URL:</b><a href='$url' target='_blank'>".$url."</a><Br><Br>";
	    	 $fileStr=$useragent.$date.$ip.$url;  	
	    	 fputs($botfile, $fileStr);
	    	 fclose($botfile);
    	 }
    }
 
function get_naps_bot()   {          
    $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);                                   
    if(strpos($useragent, 'googlebot') !== false){                   
        return '<font color=blue>Googlebot</font>';           
    }                    
    if(strpos($useragent, 'msnbot') !== false){                   
        return 'MSNbot';          
    }                   
    if(strpos($useragent, 'slurp') !== false){                  
       return '<font color=green>Yahoobot</font>';          
    }                     
    if(strpos($useragent, 'baiduspider') !== false){                  
        return '<font color=red>Baiduspider</font>';          
    }                   
    if(strpos($useragent, 'sohu-search') !== false){                  
       return 'Sohubot';          
    }                   
    if(strpos($useragent, 'lycos') !== false){                  
        return 'Lycos';          
    } 
 
    if(strpos($useragent, 'robozilla') !== false){                  
        return 'Robozilla';         
    }               
    return "false";  
}

自由转载,转载请注明: 转载自WEB开发笔记 www.chhua.com

本文链接地址: PHP判断搜索引擎蜘蛛并自动记忆到文件 http://www.chhua.com/web-note2743

随机笔记

更多