首页 > 新闻中心> 广州校区 >正文

和python爬虫有相关的框架有哪些?

更新时间: 2020-06-30 15:57:05来源: 粤嵌教育

      什么是python爬虫呢?说的简单一些,爬虫就是模拟客户端(浏览器)发送网络请求,获取网络响应,并按照一定的规则提取数据保存数据的程序。那么和python爬虫有相关的框架有哪些呢?今天粤嵌科技的小编就来给大家整理下。

python

  1.Scrapy框架是一套比较成熟的Python爬虫框架,是使用Python开发的快速、高层次的信息爬取框架,可以高效的爬取web页面并提取出结构化数据。


  2.Crawley框架也是Python开发出的爬虫框架,该框架致力于改变人们从互联网中提取数据的方式。


  3.Portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架。


  4.newspaper框架是一个用来提取新闻、文章以及内容分析的Python爬虫框架。


  5.Python-goose框架可提取的信息包括:文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。在Python中,开源爬虫框架很多,我们自己也可以写一些。我们并不需要掌握每一种爬虫框架,只需要深入掌握一种即可。大部分爬虫框架实现方式都是大同小异,建议学习最流行的Python 爬虫框架——Scrapy。


  Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 ) 所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。


  Scrapy主要包括了以下组件:


  1.引擎(Scrapy)


  2.调度器(Scheduler)


  3.下载器(Downloader)


  4.爬虫(Spiders)


  5.项目管道(Pipeline)


  6.下载器中间件(Downloader Middlewares)


  7.爬虫中间件(Spider Middlewares)


  8.调度中间件(Scheduler Middewares)


  Scrapy运行流程大概如下:


  1.引擎从调度器中取出一个链接(URL)用于接下来的抓取


  2. 引擎把URL封装成一个请求(Request)传给下载器


  3. 下载器把资源下载下来,并封装成应答包(Response)


  4. 爬虫解析Response


  5. 解析出实体(Item),则交给实体管道进行进一步的处理


  6. 解析出的是链接(URL),则把URL交给调度器等待抓取


  以上就是粤嵌科技的小编给大家整理的关于python爬虫框架的内容了,如果说你对于学习python感兴趣的话,那么粤嵌科技的小编建议大家来我们公司的python培训班进行实地考察,也可以点击我们文章下面的获取试听资格按钮来获取我们的python课程免费试听资格,在试听中可以更加深入的了解我们粤嵌科技。

免费预约试听课

推荐阅读