爬虫技术(Python是什么，什么是爬虫？具体该怎么学习？)

题图来自Unsplash，基于CC0协议

本文目录

正文

1、Python是什么，什么是爬虫？具体该怎么学习？

Python是一种极少数能兼具简单与功能强大的编程语言，易于学习理解，入门容易，代码更接近于自然语言和平时的思维方式，据统计显示是世界上最受欢迎的语言之一。

爬虫就是利用爬虫技术去抓取各论坛、网站数据，将所需数据保存到数据库或是特定格式文件。

具体学习：

1）首先是学习Python基本常识学习，了解网络请求原理、网页结构。

2）视频学习或者找一本专业网络爬虫的书进行学习。所谓“前人栽树后人乘凉”，跟着大神的步伐进行实际操作，必定能事半功倍。

3）网站实际操作，在具备爬虫思想之后多找一些网站进行操作。

2、爬虫技术可以爬取什么数据？

知道一个数bai据爬取技术，瑞雪du采集云，还是有一些特点的zhi：

瑞雪采集云是一个daoPaaS在线开发平台，与图形配置化爬虫客户端工具相比，瑞雪采集云提供的是通用采集能力，能够满足企业客户数据采集业务的长期需求。

主要特点如下：

（一） 一站式通用能力集成，指数级提高开发效率。平台封装了丰富的通用功能，开发者不需要关心 Ajax和Cookie等底层细节，只需要利用平台封装好API，把主要精力放在业务上，工作效率提供倍。

（二） 开发自由度高，支持复杂网站的采集。支持Java/Python编写应用插件，借助高级语言的高自由度能够处理复杂网站的采集。平台提供业内首个基于Web浏览器的在线开发环境，无需安装任何客户端，提高应用源代码在客户内部的共享。

（三） 分布式任务调度机制，并发采集效率高。把采集工作分解为多个采集工序，一个大任务被拆解为在不同工序上执行的大量小任务，然后被分配到海量爬虫机集群上被分布式并发执行，确保系统达到最高的采集效率。

（四） 强大的任务管理机制，确保数据完整性。平台拥有强大的任务状态机制，支持任务重发、支持利用结束码管理任务的不同结束状态，根据具体情况选择不同的后续处理，保证不遗漏目标数据，确保最终目标数据的完整性。

（五） 学习时间短，能够支撑业务的快速发展。平台提供丰富的在线帮助文档，开发者能够在小时内快速掌握平台的基本使用，当有新的数据采集需求时，新的开发者能够立即学习开发采集爬虫程序，快速对应相关业务的发展。

（六） 支持私有化部署，保证数据安全。支持平台所有模块的私有化部署，让客户拥有瑞雪采集云平台的全部能力，保证客户开发的应用插件代码和目标数据的绝对安全。

3、爬虫技术违法吗？

先说结论，技术无罪，有罪的是人。爬虫技术本身是不违法的，但是如果利用爬虫技术做损害他人利益的事情就是违法的了。

具体的法律条文，我也记不大清了，目前对于爬虫技术的使用界限没有一个特别明确的规定，按照我之前咨询律师得到答案，大概就是关乎这三个方面：采集途径、采集行为、使用目的。

通过什么途径爬取数据，这个是最需要重视的一点。总体来说，未公开、未经许可、且带有敏感信息的数据，不管是通过什么渠道获得，都是一种不合法的行为。

采集行为上使用技术手段应该懂得克制，一些容易对服务器和业务造成干扰甚至破坏的行为，容易违法

还有就是使用目的，就算你通过合法途径采集的数据，如果对数据没有正确的使用，同样会存在不合法的行为。一种情况是公开收集的数据，但没有遵循之前告知的使用目的。比如有些网站上标明内容不得用于商业行为，还有未经授权不得转载的，些都是有法律明文保护，所以要注意使用。

最后，结合实际情况，给几点建议吧

1、爬虫访问频次要控制，别把对方服务器搞崩溃了

虽然你爬取的信息都是公开的，也不涉及公民隐私，爬取的数据也不用于违法获利，只是自己弄着玩，但是如果你的爬虫太疯狂了，一分钟请求1万次，导致对方服务器应接不暇，不能处理正常业务了，对不起，你这种属于违法行为，这种爬虫等同于进行黑客攻击了，你让人家不能正常工作了，损害了对方的利益

2、 涉及到个人隐私的信息你不能爬

其实这很好理解，你希望你自己的电话号，身份证号，家庭住址，工作单位，行踪轨迹这些隐私信息被别人用爬虫抓取么？当然不希望，别人抓了你的这些信息，你肯定想去报警对不对，让警察去抓那个坏蛋，ok，你不要去做那个坏蛋。

3、 突破网站的反爬措施，后果很严重

正规的网站都会在根目录下放置 robots.txt，这里就规定了哪些能爬，哪些不能爬，谁可以爬，比如知乎的robots.txt，人家希望搜索引擎来爬它，其他的，一概不接受

不过呢，知乎并没有做特别严厉的反爬措施，这就是说，如果你偷偷的爬一点东西，不影响它的正常服务，它也懒得找你麻烦，但对于那种反爬特别严重的，例如淘宝，你最好别去爬，如果你真的利用你的高智商突破了淘宝的反爬措施，那么恭喜你，你已经违法了

4、 不要用爬取的数据做不正当竞争

比如你把大众点评的评论数据都爬下来了，然后自己搞了一个xx点评，这肯定不行，人家辛辛苦苦的积累的数据，你轻轻松松的弄下来，直接拿来主义，跟人家搞竞争，你不违法谁违法。

5、 付费内容，你不要抓

既然是付费内容，说明这东西价值很高，付费才能看，你弄下来了，你想干啥？你私自传播，就对网站造成了潜在损失。

6、最后一条，突破网站反爬措施的代码，最好不要上传到网上

你技术很牛逼，能突破网站的反爬措施，你把这些代码发布到网上，比如github，你自己没做啥坏事，可是想做坏事的人利用了你的代码，入侵了网站，那么，这种情况下，你也是有责任的，这个听起来有点冤，但确实存在这样的风险，所以，最好还是不要这么干

4、用爬虫技术能做到哪些有趣的事情？

什么是网络爬虫？

网络爬虫也叫网络蜘蛛，即Web Spider，名字也是非常之形象。

如果把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，一直循环下去，直到把整个网站所有的网页都抓取完为止。 如果把整个互联网就当成一个网站，那么网络蜘蛛可以用这个原理把互联网上所有的网页都抓取下来。 光是听起来就很有意思，那利用这等技术能做些什么好玩的事儿呢？ 大家感受下~~

（1）之前在北京买房，谁想房价开始疯长，链家的房价等数据分析只给了一小部分，远远不能满足自己的需求。于是晚上花了几个小时的时间写了个爬虫，爬下了北京所有的小区信息及北京所有小区的所有历史成交记录。

（2）上次发现Android QQ和iOS QQ可以显示网络状态（2G/WiFi)之后，突然想到，这样子好像可以监视某人的出行和作息规律。简单的来说，在家里或者工作的地方，一般是有WiFi的，然后出门了，WiFi就断掉了。如果监测频率足够频繁，那么结合一定的推理，可以大致推测出一个人的行动。如果长期监视，那么可以大致推出一个人的作息时间。因为只有Android QQ和iOS QQ有这个功能，所以要得到一个人的网络状态比较麻烦。我的做法是跑 Android 模拟器。然后用按键精灵模拟，并把网络状态截图，用 curl post到服务器上。服务器会把每次发送的时间、截图保存下来。因为是用程序截图的，所以只要网络状态是一样的，那么截图就是一样的，这样服务器就只会保存2~3张图片而已，其余的发现是相同的图片，数据库做个标记就好了。然后人工做OCR，还是注意到只有2~3张图片，所以工作量很少。得到数据后，要做各种统计就可以自己搞了……

（3）在用Python写网页爬虫之前，我只用来写过了一个驾校约车的脚本，让当时的我不惧上万的学车同僚，在约车环节没有输在起跑线上。接着那段时间，我女朋友的领导每天下班都会下任务，要收集100条有招聘需求的信息，第二天检查。看到她熬夜百度+复制粘贴到半夜，心疼死了。想到了某个牛人说:一切重复性的工作都可以用程序来完成。于是偷偷花了些时间研究了下她经常查的某些同类业务网站的页面数据，培育了这只爬虫。主要技能就是爬这些网站的招聘公司信息及联系方式，保存到Excel中。在我将战斗成果----1000多个客户资料的Excel表格发给她的时候，先惊喜，后审问，再感慨！依稀记得那天她发了一条朋友圈，内容是：“有个程序员男朋友，感觉好幸福啊！！”成就感走直线啊，都能让她感到幸福，你说这只爬虫是不是做了很酷很有趣的事情呢？

（4）我用爬虫爬了我爱白菜网、超值分享汇、发现值得买、惠惠购物、今日聚超值、留住你、买手党、没得比、慢慢买、牛杂网、买个便宜货、什么值得买、天上掉馅饼、一分网、折800值得买、值值值等网站的折扣信息。

（5）大二学生一枚，前段时间中期考试，成绩一直不出来，又不想每次都登录，突然就像用以下所学的东西来干点事情。 说干就干，花了我将近4个小时完成成绩提醒功能。主要是用Python定时抓取数据（定时用Ubuntu的crontab），分析数据是否变化，然后发送短信。其实大部分时间是花在分析学校模拟登陆那一块了，毕竟要提取各种值，还有url重定向，本来就才学Python，对一些东西也不是很熟悉。 运行起来之后还是效果还不错，10分钟抓一次，第一时间知道了我的概率论。。。这些网站都是提供的一些及时的、性价比较高的商品，很多时候要一个一个网站的看（重度用户），很容易就会错过一些很划算的商品。

（6）在学校的时候做过一个项目，通过爬微博的文字，分析国内各个地区的用户收听虾米的热度和最受欢迎的歌手。当然也没有用什么很复杂的技术，就是写基本的TF-IDF。 做完的时候觉得自己好有想法啊，能实现这么有意思的东西。后来发现早就有公司做过了。当然别人做的是美国版的。 于是现在，我就在这家公司工作。

（7）朋友交易了一套房子，手机号流落到了各种中介手里，隔几天就有中介电话骚扰，不胜其烦。每接一个电话都加黑名单，但还是有新号码打过来，so⋯⋯问我咋办！ Android 手机的拦截倒不是问题，但需要房产经纪人的号码数据库，就只能去网上爬了！ 各个房产站的广州站点加上58什么的，一个多小时爬了快两万个号码，去重之后还有一万五千多⋯⋯ 一时兴起，又去爬了深圳、北京和上海，现在都不知道拿这些号码去干嘛了⋯⋯ PS：貌似活跃房产经纪的数量能反应市场活跃度？ PS：我觉得我可以把全国城市的都爬下来。

5、黑客到底有多厉害，黑客和爬虫什么关系？

黑客是黑客，爬虫给是爬虫，两个没啥关系！

6、Python爬虫存在的法律风险有哪些？怎样在法律许可范围内应用爬虫技术？

我是Python集结号，目前从事Python网站开发和爬虫工作。我们有一句顺口溜，“爬虫爬得欢，监狱要坐穿；数据玩得溜，牢饭吃个够！”

爬虫本身作为一种技术，不存在违法的问题，关键是用爬虫爬什么，以及怎么爬。

1. 为违法违规组织提供爬虫相关服务

比如验证码识别服务贩卖，破解APP，如淘宝支付宝之类。要记住识别验证码不违法，但是用来谋利就可能违法。曾经有一个程序员为公司开发极验破解某网站，结果公司被查，自己也锒铛入狱。所以在做爬虫的时候，需要对自己的爬虫应用到哪方面有个了解。

2. 个人隐私数据的抓取与贩卖

比如手机号、身份证、家庭地址等。有些网站并没有对用户数据做很好的隐藏，使其暴露在网站上。你千万不要认为，浏览器上能看到的数据，都是公开数据，爬取了没问题。只要你进行谋利，那就要负法律责任。

3.侵犯商业版权，即抓取无版权的数据

比如有一些资料网站，你在上面看到一些文章，这是文章作者授权给网站使用的，而你是没有版权的，如果你抓取这些数据，并且进行贩卖谋利，都是要负法律责任的。以前经常有人问我，能不能抓取裁判文书网或者天眼查的数据，我都是坚决拒绝的。政府网站绝对不碰，这是我的原则。

4.利用爬虫攻击网站

说起来这一点，很多人不太理解，爬虫怎么能攻击网站呢？我们做爬虫的时候会用到多线程，多进程和分布式，主要就是为了提高我们的爬取效率，但是当我们的效率提高以后，对服务器的请求也会增大，如果不加限制的爬取，可能近乎于DDoS攻击，造成网站瘫痪，这时就不是爬虫了，就变成网络攻击了。还有就是做爬虫经常会与反爬虫做斗争，但是也要注意不要突破的太厉害，比如网站限制IP访问频率，你就更换IP无限制请求。最好是网站限制一秒钟访问一次，你提高到0.5秒一次就可以了。

以上就是爬虫可能违法的四种情况，除了最后一种，前面三种在不谋利的情况下个人做，还是没有多少限制的。就怕不知不觉变成第四种。我们做爬虫有一个词叫做：爬虫道德。就是在做爬虫的时候，也要考虑目标网站的压力。

上面介绍了爬虫的违法情况，那么爬虫会违反那些法律条款呢

1. 侵犯公民个人信息罪

《刑法》修正案（九）中将刑法第二百五十三条进行了修订，明确规定违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，构成犯罪；在未经用户许可的情况下，非法获取用户的个人信息，情节严重的也将构成“侵犯公民个人信息罪”。

2. 非法获取计算机信息系统数据罪

根据《中华人民共和国刑法》第二百八十五条规定，非法获取计算机信息系统数据、非法控制计算机信息系统罪，是指违反国家规定，侵入国家事务、国防建设、尖端科学技术领域以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，情节严重的行为。刑法第 285 条第 2 款明确规定，犯本罪的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

3. 非法侵入计算机信息系统罪

《刑法》第二百八十六条规定，违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，构成犯罪，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。

4. 侵犯商业秘密罪

《反不正当竞争法》第九条，以不正当手段获取他人商业秘密的行为即已经构成侵犯商业秘密。而后续如果进一步利用，或者公开该等信息，则构成对他人商业秘密的披露和使用，同样构成对权利人的商业秘密的侵犯。这一条之前有个“车来了”涉嫌偷窃数据，被警方立案调查。

说了这么写，会不会吓到想要入行的朋友？其实只要你没有非常大规模的采集、获利，没有设计隐私敏感信息，比如实名信息，基本上就不用担心爬虫违法。希望我的回答能令你满意

7、大数据时代，掌握爬虫技术有多重要？

掌握爬虫技术有多重要：

前一阵子认识的一个妹子天天让我给她发学习python爬虫的资料，我了解后知道她需要网络上大量有关xxx关键字的新闻稿。她是一个做推广的妹子。其实楼主已经知道爬虫有多重要了，看问题形容网络爬虫是数据采集最便捷的手段，自己都明白。这边我在这里想说的是，不管你是做任何领域的工作，或者是市场营销，或者是技术人员又或者是推广运营SEO等等。数据是我们工作中重要的一部分，你在别人都没有意识，没有掌握的时候就一定比别人更吃香。

网络爬虫的就业方向有哪些：

上述说过了，你可以是做运营的，可以是市场的，可以是媒体的或者是推广。又或者是一个专门做爬虫的python工程师，都可以使是以后的职业发展方向。

它的前景如何：

光爬虫来说，可能找一个爬虫工程师这样的工作不是很容易，但是也是有的。但是把爬虫作为我们的一个技能来说，你的前景是很好的。原因之前也一直再说，各个领域各个行业都需要专业的数据作为依托。所以如果在当下掌握了爬虫，在你做SEO的时候，各个网站的关键词你都了如指掌，并且能够拿出来专业的数据就很棒。运营的话，一个活动带来个各种效果，或者是别人类似的活动你都清楚的知道数据也非常优秀。等等；

如何学习：

不需要我们全部都了解， 全部都学习，只看基础知识点和python高级知识点之后，直接跳到第五个阶段学习爬虫就可以了。

8、什么是网络爬虫技术？

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常被称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。随着网络的迅速发展，不断优化的网络爬虫技术正在有效地应对各种挑战，为高效搜索用户关注的特定领域与主题提供了有力支撑。网络爬虫也为中小站点的推广提供了有效的途径，网站针对搜索引擎爬虫的优化曾风靡一时。