惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

阮一峰的网络日志
阮一峰的网络日志
博客园_首页
H
Help Net Security
博客园 - Franky
V
Visual Studio Blog
Jina AI
Jina AI
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
V
V2EX
宝玉的分享
宝玉的分享
酷 壳 – CoolShell
酷 壳 – CoolShell
J
Java Code Geeks
L
LangChain Blog
腾讯CDC
Engineering at Meta
Engineering at Meta
D
DataBreaches.Net
爱范儿
爱范儿
Google DeepMind News
Google DeepMind News
C
Check Point Blog
博客园 - 聂微东
罗磊的独立博客
量子位
M
MIT News - Artificial intelligence
F
Fortinet All Blogs

博客园 - 黔人阿诺

阿里OSS简单上传 有分片 数据库mysqldump导出 老是出错的解决办法 ‌Alibaba Cloud 3 (OpenAnolis Edition) x86_64 安装GNOME远程桌面环境VNC完整指南 删除/www/wwwroot/default/下内容为空的php 文件 Nginx屏蔽无用User-Agent蜘蛛访问网站 OSSFS 挂载 OSS当本地硬盘用 mysql8 关闭主从复制的正确步骤 mysql 语句 字符相加 判断字段为纯数字 //文件 内容修改MyISAM 改为InnoDB 可以直接修改备份 centos 解压zip后中文文件乱码 定时清理mysql sleep mysql删除重复数据只保留一条 VirtualBox 中 discuzq不能添加软链接的处理方法 mysql8 source 导入大文件时 经常意外中断 且无法再链接断续 解决方法先设置 set names utf8; discuzq Virtualbox 虚拟机 在共享文件夹设置软链接 in 报错 Protocol error问题 宝塔redi状态检测 如果停止则重启 放计划任务 mysql8 不监听tcp端口号 未监听TCP 3306问题解决 CentOS 8.3远程连接vncserver升级后1.10.1无法启动解决记录 mv cp rm 时 Argument list too long
判断访问者是否为搜索引擎蜘蛛
黔人阿诺 · 2021-05-17 · via 博客园 - 黔人阿诺
/**
*    判断是否为搜索引擎蜘蛛
*
*    @author    Eddy
*    @return    bool
*/
function isCrawler() {
        $agent= strtolower($_SERVER['HTTP_USER_AGENT']);  
        if (!empty($agent)) {                 
                $spiderSite= array(
                        "TencentTraveler",
                        "Baiduspider+",
                        "BaiduGame",
                        "Googlebot",
                        "msnbot",
                        "Sosospider+",
                        "Sogou web spider",
                        "ia_archiver",
                        "Yahoo! Slurp",
                        "YoudaoBot",
                        "Yahoo Slurp",
                        "MSNBot",
                        "Java (Often spam bot)",
                        "BaiDuSpider",
                        "Voila",
                        "Yandex bot",
                        "BSpider",
                        "twiceler",
                        "Sogou Spider",
                        "Speedy Spider",
                        "Google AdSense",
                        "Heritrix",
                        "Python-urllib",
                        "Alexa (IA Archiver)",
                        "Ask",
                        "Exabot",
                        "Custo",
                        "OutfoxBot/YodaoBot",
                        "yacy",
                        "SurveyBot",
                        "legs",
                        "lwp-trivial",
                        "Nutch",
                        "StackRambler",
                        "The web archive (IA Archiver)",
                        "Perl tool",
                        "MJ12bot",
                        "Netcraft",
                        "MSIECrawler",
                        "WGet tools",
                        "larbin",
                        "Fish search",
                );   
                foreach($spiderSite as $val) {                        
                        $str = strtolower($val);
                        if (strpos($agent, $str) !== false) {
                                return true;
                        }                        
                }   
        } else {
                return false;
        } 
}