如果你做过爬虫，一定懂这种痛——当你信心满满地写完一套爬虫脚本，准备大干一场的时候，网站一个「无形挑战」就把你挡在门外。不是验证码，不是IP封禁，而是那种「我知道你是机器人但我不说...
有用教程
有用教程
有用教程
Kachilu Browser：让 AI Agent 隐身，验证码随便过，反爬虫怀疑人生
已收录 阅读次数: 288
那天，伯衡君正在用 OpenClaw 愉快地摸鱼，突然想让它帮我自动填写一个表单。本想着"分分钟搞定"的事情，结果…… “您好，我们需要验证您是人类”……哦豁，reCAPTCHA。...
软件插件
实施盯梢网页更新提醒神器：让你及时获取最新信息
已收录 阅读次数: 2,268
通常，要想获取某一网站的数据，可以使用爬虫，但是对于没有编程基础的用户则是比较困难的，这个时候就产生了一个需求，一个产品能够帮助用户实时监控想要获取的内容变化，而今天伯衡君就给广大...
Nodejs
少年，想不想自制一个可制定规则的爬虫系统呀
已收录 阅读次数: 2,666
这个可以定制规则的爬虫系统，隶属于伯衡君正在制作的财富增值攻略系统，整个系统尚未完成，但是这个信息聚合的爬虫系统基本完成了，可以公开一些核心代码，能够给一些需要的人启发来自制。本站...
Python
Python爬虫之Selenium使用无头浏览器来爬取数据
已收录 阅读次数: 2,187
有关使用Python编程语言编写爬虫脚本，伯衡君此前已经有所介绍，具体可以参看下方的前情提要。而本篇文章则是利用一个名为Selenium的依赖库，结合Chrome driver，以...
Mysql
使用 Node.js 爬虫后将数据储存到MySQL数据库并生成API调用
已收录 阅读次数: 2,155
在之前分享过一篇使用 Node.js 爬取数据的文章，并提供了页面是GBK格式的解决方案，以及使用 Node.js 操作数据库 并且生成API，以上都可以从下方的前情提要去查看，接...
Nodejs
用Nodejs爬取数据时无法解析GBK格式网站该如何是好？请看这篇
已收录 阅读次数: 2,061
开篇寄语 还是在制作Easy Web TV中发现的问题，那就是在搭建小说板块的时候，想要爬取数据的时候，在解析一些小说源站的时候会出现乱码问题，仔细检查了目标网站的源码，原来是编码格式问题，只有utf...
Nodejs
使用Nodejs爬取图片音频视频与Python相比平分秋色
已收录 阅读次数: 2,560
此前，伯衡君使用python爬取文字，图片乃至视频的文章对爬取信息有了一个大致的介绍，以及从入门到提高的科普文章，具体可以参看下方的前情提要。同时在最近的Easy Web TV这个...
建站知识
Wordpress胖鼠采集插件，让你的新站快速填充内容
已收录 阅读次数: 3,084
有一位朋友，看了伯衡君写的文章，如何用wordpress搭建自己的第一个网站，具体可以参看下方的前情提要。但是，虽然网站搭建好了，但是内容却不知该如何获取了。伯衡君想了想，于是就告...
Python
来和伯衡君一起快速入门Python爬虫——Beautifulsoup篇（五）
已收录 阅读次数: 68,692
在第三篇的时候，伯衡君曾介绍过如何给爬虫增加浏览器标识伪装，这次则进一步讲解伪装IP，因为有时候一些网站会将IP封禁，可能是爬取的速度过快，导致安全员在后台将该IP加进了黑名单所致...
Python
来和伯衡君一起快速入门Python爬虫——Beautifulsoup篇（四）
已收录 阅读次数: 1,936
通过之前的三篇文章，已经对python爬虫和Beautifulsoup库有了进一步了解，这次咱们继续探索，爬取网站的图片，还是以本站为例，爬取本站首页的图片，并且加了定时器，减缓服...
Python
来和伯衡君一起快速入门Python爬虫——Beautifulsoup篇（三）
已收录 阅读次数: 1,702
前面的两篇文章，算是初步了解了Python爬虫，使用BeautifulSoup，具体可以参看下方的前情提要，而这次来演示一下一些网站无法通过之前的代码直接爬取，需要添加浏览器标识，...
Python
来和伯衡君一起快速入门Python爬虫——Beautifulsoup篇（二）
已收录 阅读次数: 2,642
上一篇文章，伯衡君简单介绍了如何利用python的Beautifulsoup库来爬取网站标题，具体可以参看下方的前情提要，而这次伯衡君将标题，链接以及文章内文都爬取下来，并生成一张...
Python
来和伯衡君一起快速入门Python爬虫——Beautifulsoup篇（一）
已收录 阅读次数: 2,358
伯衡君学习python有成，开始练习爬虫了，python用来爬虫迅速高效，入门简单，有关python的爬虫库有很多，比如Scrapy，Beautifulsoup等等，伯衡君先选择了...
Python
一起来学Python爬虫基础篇——列表元素集合和字典
已收录 阅读次数: 1,467
之前，伯衡君介绍了Python的一些基础知识，命名和循环判断，具体可以参看下方的前情提要，本篇文章则是继续沿着上篇继续探索接下来的内容，也就是list和tuple等，分享给大家……
Python
一起来学Python爬虫基础篇——循环和判断
已收录 阅读次数: 1,618
在上一篇，伯衡君介绍了Python的基本知识，命名，具体可以参看下方的前情提要。本篇文章则是继续沿着上一篇文章的内容展开，继续深化学习Python爬虫的基础知识——循环和判断，这一...
