Python爬虫初探

来源:51Testing软件测试网原创

陈双义博客

一、什么叫爬虫

爬虫,又名“网络爬虫”,就是能够自动访问互联网并将网站内容下载下来的程序。它也是搜索引擎的基础,像百度和GOOGLE都是凭借强大的网络爬虫,来检索海量的互联网信息的然后存储到云端,为网友提供优质的搜索服务的。
二、爬虫有什么用
你可能会说,除了做搜索引擎的公司,学爬虫有什么用呢?哈哈,总算有人问到点子上了。打个比方吧:企业A建了个用户论坛,很多用户在论坛上留言讲自己的使用体验等等。现在A需要了解用户需求,分析用户偏好,为下一轮产品迭代更新做准备。那么数据如何获取,当然是需要爬虫软件从论坛上获取咯。所以除了百度、GOOGLE之外,很多企业都在高薪招聘爬虫工程师。你到任何招聘网站上搜“爬虫工程师”看看岗位数量和薪资范围就懂爬虫有多热门了。
三、爬虫的原理
发起请求:通过HTTP协议向目标站点发送请求(一个request),然后等待目标站点服务器的响应。
获取响应内容:如果服务器能正常响应,会得到一个Response。Response的内容便是所要获取的页面内容,响应的内容可能有HTML,Json串,二进制数据(如图片视频)等等。
解析内容:得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析;可能是Json,可以直接转为Json对象解析;可能是二进制数据,可以做保存或者进一步的处理。
保存数据:数据解析完成后,将保存下来。既可以存为文本文档、可以存到数据库中。
四、Python 爬虫实例
前面介绍了爬虫的定义、作用、原理等信息,相信有不少小伙伴已经开始对爬虫感兴趣了,准备跃跃欲试呢。那现在就来上“干货”,直接贴上一段简单Python爬虫的代码:
1.前期准备工作:安装Python环境、安装PYCHARM软件、安装MYSQL数据库、新建数据库exam、在exam中建一张用于存放爬虫结果的表格house [SQL语句:create table house(price varchar(88),unit varchar(88),area varchar(88));]

2.爬虫的目标:爬取链家租房网上(url: https://bj.lianjia.com/zufang/)首页中所有链接里的房源的价格、单位及面积,然后将爬虫结构存到数据库中。

3.爬虫源代码:如下:

请点击下载:
打赏 支付宝打赏 微信打赏
本文标题:Python爬虫初探
本文链接:http://chenshuangyi.com/post/299.html
作者授权:除特别说明外,本文由 陈双义 原创编译并授权 陈双义博客 - 互联网Power 刊载发布。
版权声明:本文使用「署名-非商业性使用-相同方式共享」创作共享协议,转载或使用请遵守署名协议。

为您推荐

第07课:Python 创建list,按照索引访问list

第07课:Python 创建list,按照索引访问list

Python内置的一种数据类型是列表:list。list是一种有序的集合,可以随时添加和删除其中的元素。比如,列出班里所...

2018-04-12 标签:PythonPython3
第06课:Python中整数和浮点数

第06课:Python中整数和浮点数

基本的运算:1 + 2 + 3   # ==> 64 * 5 - 6   # ==> 1...

2018-04-10 标签:PythonPython3
第05课:Python中定义字符串

第05课:Python中定义字符串

如果字符串本身包含'怎么办?比如我们要表示字符串 I'm OK ,这时,可以用&qu...

2018-04-10 标签:PythonPython3
第04课:Python中什么是变量

第04课:Python中什么是变量

在Python中,变量的概念基本上和初中代数的方程变量是一致的。例如,对于方程式 y=x*x ,x就...

2018-04-06 标签:PythonPython3
第03课:Python 数据类型

第03课:Python 数据类型

在Python中,能够直接处理的数据类型有以下几种:一、整数Python可以处理任意大小的整数,当然包括负整数,在Pyt...

2018-04-06 标签:PythonPython3
12种最常用的网页编程语言

12种最常用的网页编程语言

随着互联网的发展,网站已经越来越普及,相关数据显示目前全球有超过10亿个网站,庞大的基数必定促进相关技术的发展。不难发现...

2018-03-26 标签:编程语言PythonJAVAPHP
第02课:Python3 基础语法

第02课:Python3 基础语法

编码默认情况下,Python 3 源码文件以 UTF-8 编码,所有字符串都是 unicode 字符...

2018-03-08 标签:Python3Python
第01课:Python 环境搭建

第01课:Python 环境搭建

Python下载Python最新源码,二进制文档,新闻资讯等可以在Python的官网查看到:Python官网:http:...

2018-03-01 标签:PythonPyCharm

发表评论

«   2019年8月   »
1234
567891011
12131415161718
19202122232425
262728293031
云服务器
轻量应用
站点信息
  • 文章总数:999
  • 页面总数:9
  • 分类总数:19
  • 标签总数:1613
  • 评论总数:159
  • 浏览总数:522122

当前非电脑浏览器正常宽度,请使用移动设备访问本站!