您的当前位置:首页使用pythonBeautifulSoup库抓取58手机维修信息

使用pythonBeautifulSoup库抓取58手机维修信息

2023-11-25 来源:刁羽宠物网

直接上代码:

代码如下:

#!/usr/bin/python# -*- coding: utf-8 -*-

import urllib

import os,datetime,string

import sys

from bs4 import BeautifulSoup

reload(sys)

sys.setdefaultencoding('utf-8')

__BASEURL__ = 'http://bj.58.com/'

__INITURL__ = "http://bj.58.com/shoujiweixiu/"

soup = BeautifulSoup(urllib.urlopen(__INITURL__))

lvlELements = soup.html.body.find('div','selectbarTable').find('tr').find_next_sibling('tr')('a',href=True)

f = open('data1.txt','a')

for element in lvlELements[1:]:

f.write((element.get_text()+'' ))

url = __BASEURL__ + element.get('href')

print url

soup = BeautifulSoup(urllib.urlopen(url))

lv2ELements = soup.html.body.find('table','tblist').find_all('tr')

for item in lv2ELements: addr = item.find('td','t').find('a').get_text() phone = item.find('td','tdl').find('b','tele').get_text() f.write('地址:'+addr +' 电话:'+ phone + '')

f.close()

直接执行后,存在 data1.txt中就会有商家的地址和电话等信息。BeautifulSoup api 的地址为: http://www.crummy.com/software/BeautifulSoup/bs4/doc/

小编还为您整理了以下内容,可能对您也有帮助:

python怎么爬取数据


在学习python的过程中,学会获取网站的内容是我们必须要掌握的知识和技能,今天就分享一下爬虫的基本流程,只有了解了过程,我们再慢慢一步步的去掌握它所包含的知识
Python网络爬虫大概需要以下几个步骤:
一、获取网站的地址
有些网站的网址十分的好获取,显而易见,但是有些网址需要我们在浏览器中经过分析得出
二、获取网站的地址
有些网站的网址十分的好获取,显而易见,但是有些网址需要我们在浏览器中经过分析得出
三、请求 url
主要是为了获取我们所需求的网址的源码,便于我们获取数据
四、获取响应
获取响应是十分重要的, 我们只有获取了响应才可以对网站的内容进行提取,必要的时候我们需要通过登录网址来获取cookie 来进行模拟登录操作
五、获取源码中的指定的数据
这就是我们所说的需求的数据内容,一个网址里面的内容多且杂,我们需要将我们需要的信息获取到,我目前主要用到的方法有3个分别是re(正则表达式) xpath 和 bs.4
六、处理数据和使数据美化
当我们将数据获取到了,有些数据会十分的杂乱,有许多必须要的空格和一些标签等,这时我们要将数据中的不需要的东西给去掉
七、保存
最后一步就是将我们所获取的数据进行保存,以便我们进行随时的查阅,一般有文件夹,文本文档,数据库,表格等方式

python怎么爬取数据


在学习python的过程中,学会获取网站的内容是我们必须要掌握的知识和技能,今天就分享一下爬虫的基本流程,只有了解了过程,我们再慢慢一步步的去掌握它所包含的知识
Python网络爬虫大概需要以下几个步骤:
一、获取网站的地址
有些网站的网址十分的好获取,显而易见,但是有些网址需要我们在浏览器中经过分析得出
二、获取网站的地址
有些网站的网址十分的好获取,显而易见,但是有些网址需要我们在浏览器中经过分析得出
三、请求 url
主要是为了获取我们所需求的网址的源码,便于我们获取数据
四、获取响应
获取响应是十分重要的, 我们只有获取了响应才可以对网站的内容进行提取,必要的时候我们需要通过登录网址来获取cookie 来进行模拟登录操作
五、获取源码中的指定的数据
这就是我们所说的需求的数据内容,一个网址里面的内容多且杂,我们需要将我们需要的信息获取到,我目前主要用到的方法有3个分别是re(正则表达式) xpath 和 bs.4
六、处理数据和使数据美化
当我们将数据获取到了,有些数据会十分的杂乱,有许多必须要的空格和一些标签等,这时我们要将数据中的不需要的东西给去掉
七、保存
最后一步就是将我们所获取的数据进行保存,以便我们进行随时的查阅,一般有文件夹,文本文档,数据库,表格等方式

如何用python爬取网站数据

用python爬取网站数据方法步骤如下:

1.首先要明确想要爬取的目标。对于网页源信息的爬取首先要获取url,然后定位的目标内容。

2.先使用基础for循环生成的url信息。

3.然后需要模拟浏览器的请求(使用request.get(url)),获取目标网页的源代码信息(req.text)。

4.目标信息就在源代码中,为了简单的获取目标信息需要用Beautifulsoup库对源代码进行解析,因为是html信息,采用html.parser的方式进行解析。

5.随后要在源网页中进一步定位目标信息在网页源代码中的位置:在网页中F12键,查看元素信息,使用左上角的按钮进一步查看目标信息位置。

6.使用beautifululsoup进一步定位源代码信息。

7.最后使用循环取出单个元素信息。首先分析单个信息的位置:它在ul列表下,使用循环取出然后定位单个元素中信息的位置,并取出信息。

8.最终就得到目标信息列表了。

如何用python爬取网站数据?

这里简单介绍一下吧,以抓取网站静态、动态2种数据为例,实验环境win10+python3.6+pycharm5.0,主要内容如下:

抓取网站静态数据(数据在网页源码中):以糗事百科网站数据为例

1.这里假设我们抓取的数据如下,主要包括用户昵称、内容、好笑数和评论数这4个字段,如下:

对应的网页源码如下,包含我们所需要的数据:

2.对应网页结构,主要代码如下,很简单,主要用到requests+BeautifulSoup,其中requests用于请求页面,BeautifulSoup用于解析页面:

程序运行截图如下,已经成功爬取到数据:

抓取网站动态数据(数据不在网页源码中,json等文件中):以人人贷网站数据为例

1.这里假设我们爬取的是债券数据,主要包括年利率、借款标题、期限、金额和进度这5个字段信息,截图如下:

打开网页源码中,可以发现数据不在网页源码中,按F12抓包分析时,才发现在一个json文件中,如下:

2.获取到json文件的url后,我们就可以爬取对应数据了,这里使用的包与上面类似,因为是json文件,所以还用了json这个包(解析json),主要内容如下:

程序运行截图如下,已经成功抓取到数据:

至此,这里就介绍完了这2种数据的抓取,包括静态数据和动态数据。总的来说,这2个示例不难,都是入门级别的爬虫,网页结构也比较简单,最重要的还是要会进行抓包分析,对页面进行分析提取,后期熟悉后,可以借助scrapy这个框架进行数据的爬取,可以更方便一些,效率更高,当然,如果爬取的页面比较复杂,像验证码、加密等,这时候就需要认真分析了,网上也有一些教程可供参考,感兴趣的可以搜一下,希望以上分享的内容能对你有所帮助吧。

刁羽宠物网还为您提供以下相关内容希望对您有帮助:

如何用python爬取网站数据

1.首先要明确想要爬取的目标。对于网页源信息的爬取首先要获取url,然后定位的目标内容。2.先使用基础for循环生成的url信息。3.然后需要模拟浏览器的请求(使用request.get(url)),获取目标网页的源代码信息(req.text)。4.目...

如何抓取网页上的数据(如何使用Python进行网页数据抓取)

一、安装Python和相关库 要使用Python进行网页数据抓取,首先需要安装Python解释器。可以从Python官方网站下载并安装最新的Python版本。安装完成后,还需要安装一些相关的Python库,如requests、beautifulsoup、selenium等。可以使用pip命...

如何在 python 中使用 beautifulsoup4 来抓取标签中的内容

-*- coding:utf-8 -*-import bs4 #导入bs4模块html='''test'''test=bs4.BeautifulSoup(html,'html.parser') #生成BeautifulSoup对象,并用python自带的解析器html.parser解析print test.title.string #打印标签内...

怎么用python爬取相关数据

以下代码运行通过:import requestsfrom bs4 import BeautifulSoupimport osheaders = { 'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) " "Chrome/22.0.1207.1...

python怎么爬取数据

必要的时候我们需要通过登录网址来获取cookie 来进行模拟登录操作五、获取源码中的指定的数据这就是我们所说的需求的数据内容,一个网址里面的内容多且杂,我们需要将我们需要的信息获取到,...

如何在 python 中使用 beautifulsoup4 来抓取标签中的内容

'''soup = BeautifulSoup(html_doc, "html.parser")初级版 didi = soup.b.next_element.strip()invest = soup.b.span.next_element.strip()进阶版 didi, invest = soup.b.stripped_strings ...

python可以爬取什么数据

二、获取我们所需要的详情页面的链接和详情信息 page_parsing.py 1、说说我们的数据库:先看代码:引入库文件from bs4 import BeautifulSoupimport requestsimport pymongo #python操作MongoDB的库import reimport time#链接和...

如何利用Python抓取静态网站及其内部资源?

1.首先,安装requets模块,这个直接在cmd窗口输入命令“pipinstallrequests”就行,如下:2.接着安装bs4模块,这个模块包含了BeautifulSoup,安装的话,和requests一样,直接输入安装命令“pipinstallbs4”即可,如下:3.最后就是...

beautifulsoup库的作用

利用它不用编写正则表达式即可方便地实现网页信息的提取。prettify()方法可以将代码格式搞的标准一些,用soup.prettify()表示。在PyCharm中,用print(soup.prettify())来输出。BeautifulSoup支持Python标准库中的HTML解析器,还支持...

如何用python爬取网站数据?

1.这里假设我们抓取的数据如下,主要包括用户昵称、内容、好笑数和评论数这4个字段,如下:对应的网页源码如下,包含我们所需要的数据:2.对应网页结构,主要代码如下,很简单,主要用到requests+BeautifulSoup,其中requests用于...

Top