如果你做过爬虫，一定懂这种痛——当你信心满满地写完一套爬虫脚本，准备大干一场的时候，网站一个「无形挑战」就把你挡在门外。不是验证码，不是IP封禁，而是那种「我知道你是机器人但我不说」的微妙挫败感。而伯衡君我发现了 CloakBrowser，帮你解决这种问题。

那天，伯衡君正在用 OpenClaw 愉快地摸鱼，突然想让它帮我自动填写一个表单。本想着"分分钟搞定"的事情，结果…… “您好，我们需要验证您是人类”……哦豁，reCAPTCHA。我试了三次，换了N种姿势，AI 还是过不了这个验证……

通常，要想获取某一网站的数据，可以使用爬虫，但是对于没有编程基础的用户则是比较困难的，这个时候就产生了一个需求，一个产品能够帮助用户实时监控想要获取的内容变化，而今天伯衡君就给广大读者朋友介绍一个不错的应用，网页更新盯梢神器——Web Monitor，一款浏览器插件，手机上也能用哦……

这个可以定制规则的爬虫系统，隶属于伯衡君正在制作的财富增值攻略系统，整个系统尚未完成，但是这个信息聚合的爬虫系统基本完成了，可以公开一些核心代码，能够给一些需要的人启发来自制。本站之前也分享了不少相关爬虫内容，具体可以参看下方的前情提要，也受到了很多启发，详情内容，请看本篇文章……

有关使用Python编程语言编写爬虫脚本，伯衡君此前已经有所介绍，具体可以参看下方的前情提要。而本篇文章则是利用一个名为Selenium的依赖库，结合Chrome driver，以无头浏览器模拟用户访问网站，更自然爬取网站数据，那么该如何操作呢？请看本篇文章……

在之前分享过一篇使用 Node.js 爬取数据的文章，并提供了页面是GBK格式的解决方案，以及使用 Node.js 操作数据库 并且生成API，以上都可以从下方的前情提要去查看，接下来，就是将以上的内容结合在一起，进行事件，即爬取数据后，将其存储在MySQL，并能够生成API进行调用，于是就有了今天这篇文章……

开篇寄语 还是在制作Easy Web TV中发现的问题，那就是在搭建小说板块的时候，想要爬取数据的时候，在解析一些小说源站的时候会出现乱码问题，仔细检查了目标网站的源码，原来是编码格式问题，只有utf-8格式可以解...

此前，伯衡君使用python爬取文字，图片乃至视频的文章对爬取信息有了一个大致的介绍，以及从入门到提高的科普文章，具体可以参看下方的前情提要。同时在最近的Easy Web TV这个项目中，使用代理服务解决CORS也就是跨域问题，也能实现实时爬取信息的目的，而这次，伯衡君则是介绍使用Nodejs来爬取信息，似乎更加强大，与python爬取信息时平分秋色，这篇文章以下载图片为例……

有一位朋友，看了伯衡君写的文章，如何用wordpress搭建自己的第一个网站，具体可以参看下方的前情提要。但是，虽然网站搭建好了，但是内容却不知该如何获取了。伯衡君想了想，于是就告诉了他这样一种方法，虽然感觉有点可耻，但是对于一些新站长来说，确实是快速充实站点的方法，那就是……

在第三篇的时候，伯衡君曾介绍过如何给爬虫增加浏览器标识伪装，这次则进一步讲解伪装IP，因为有时候一些网站会将IP封禁，可能是爬取的速度过快，导致安全员在后台将该IP加进了黑名单所致，所以要多增加点IP来伪装，那么该如何伪装IP呢？并爬取多页内容，请看这篇……

通过之前的三篇文章，已经对python爬虫和Beautifulsoup库有了进一步了解，这次咱们继续探索，爬取网站的图片，还是以本站为例，爬取本站首页的图片，并且加了定时器，减缓服务器压力，以免因服务器原因导致服务器崩溃，分享给大家……

前面的两篇文章，算是初步了解了Python爬虫，使用BeautifulSoup，具体可以参看下方的前情提要，而这次来演示一下一些网站无法通过之前的代码直接爬取，需要添加浏览器标识，且是一个特别高效的方法，这次以爬取豆瓣为例……

上一篇文章，伯衡君简单介绍了如何利用python的Beautifulsoup库来爬取网站标题，具体可以参看下方的前情提要，而这次伯衡君将标题，链接以及文章内文都爬取下来，并生成一张excel表来保存这些爬取结果，其实也比较简单，分享给大家……

伯衡君学习python有成，开始练习爬虫了，python用来爬虫迅速高效，入门简单，有关python的爬虫库有很多，比如Scrapy，Beautifulsoup等等，伯衡君先选择了Beautifulsoup，发现真的是很好用，几分钟就可以入门，分享给大家，对了，之前还分享过不少爬虫的文章，可以参看下方的前情提要……

之前，伯衡君介绍了Python的一些基础知识，命名和循环判断，具体可以参看下方的前情提要，本篇文章则是继续沿着上篇继续探索接下来的内容，也就是list和tuple等，分享给大家……

在上一篇，伯衡君介绍了Python的基本知识，命名，具体可以参看下方的前情提要。本篇文章则是继续沿着上一篇文章的内容展开，继续深化学习Python爬虫的基础知识——循环和判断，这一篇文章对于学好爬虫非常重要，是以为记……