BeautifulSoup4的使用

BeautifulSoup是python的一个HTML或XML的解析库，我们可以用它来方便的从网页中提取数据，它拥有强大的API和多样的解析方式。

一、安装

二、使用

1、创建BeautifulSoup对象

可以是一个xml字符串或者是一个html或者xml文件

soup = BeautifulSoup(html,'lxml')
soup = BeautifulSoup(open("test.html"),'lxml')

2、BeautifulSoup四大对象

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

Tag
NavigableString
BeautifulSoup
Comment

2-1、Tag

Tag通俗点讲就是HTML中的一个个标签，例如:

<title>Jack_Cui</title>

上面的title就是HTML标签，标签加上里面包括的内容就是Tag，下面我们来感受一下怎样用 Beautiful Soup 来方便地获取 Tags。

print(soup.title)  #<title>Jack_Cui</title>
print(soup.head) #<head><title>Jack_Cui</title></head>
print(soup.a) #<a class="sister" href="http://blog.csdn.net/c406495762/article/details/58716886" id="link1">Python3网络爬虫(一)：利用urllib进行简单的网页抓取</a>

查找的是在所有内容中的第一个符合要求的标签

print(type(soup.title))  #<class 'bs4.element.Tag'>

Tag的两个重要的属性 name attrs

print(soup.name) #[document]
print(soup.title.name) #title

soup 对象本身比较特殊，它的 name 即为 [document]，对于其他内部标签，输出的值便为标签本身的名称。

print(soup.a.attrs)

在这里，我们把 a 标签的所有属性打印输出了出来，得到的类型是一个字典。

如果我们想要单独获取某个属性，可以这样，例如我们获取a标签的class叫什么，两个等价的方法如下：

print(soup.a['class']) #['sister']
print(soup.a.get('class')) #['sister']

2-2、NavigableString

我们要想获取标签内部的文字怎么办呢？很简单，用 .string 即可，标签中的文字就是NavigableString。例如

print(soup.title.string) #Jack_Cui
print(type(soup.title.string)) #<class 'bs4.element.NavigableString'>

2-3、BeautifulSoup

BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象，是一个特殊的 Tag。
我们可以分别获取它的类型，名称，以及属性：

print(type(soup.name)) #<class 'str'>
print(soup.name) #[document]
print(soup.attrs) #{}

2-4、Comment

Comment对象是一个特殊类型的NavigableString对象，其实输出的内容仍然不包括注释符号，但是如果不好好处理它，可能会对我们的文本处理造成意想不到的麻烦。
print(soup.li) #

print(soup.li.string) #注释
print(type(soup.li.string)) #

li标签里的内容实际上是注释，但是如果我们利用 .string 来输出它的内容，我们发现它已经把注释符号去掉了，所以这可能会给我们带来不必要的麻烦。我们打印输出下它的类型，发现它是一个 Comment 类型，所以，我们在使用前最好做一下判断，判断代码如下：

from bs4 import element
if type(soup.li.string) == element.Comment:
     print(soup.li.string)
#上面的代码中，我们首先判断了它的类型，是否为 Comment 类型，然后再进行其他操作，如打印输出。
#若是标签里面的文字是注释，则类型是 Comment 否则类型是  NavigableString

3、遍历文档数

直接子节点（不包含孙节点） contents,tag的contents属性可以将tag的直接子节点以列表的方式输出

print(soup.body.contents)

我们可以用列表的索引来获取它的某一元素

print(soup.body.contents[1])

4、children

它返回的不是一个list，不过我们可以通过遍历获取所有子节点，它是一个list生成器对象。

for child in soup.body.children:
    print("-----",child)

三、搜索文档树

搜索文档树用的是BeautifulSoup的find_all方法，方法如下：

find_all(name, attrs, recursive, text, limit, **kwargs)

find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件。

1、name参数

name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉。

1-1、传递字符

最简单的过滤器是字符串，在搜索方法中传入一个字符串参数,Beautiful Soup会查找与字符串完整匹配的内容,下面的例子用于查找文档中所有的<a>标签：

print(soup.find_all('a'))

1-2、传递正则表达式

如果传入正则表达式作为参数,Beautiful Soup会通过正则表达式的 match() 来匹配内容.下面例子中找出所有以b开头的标签,这表示<body>和<b>标签都应该被找到：

import re
for tag in soup.find_all(re.compile("^b")):
    print(tag.name)

1-3、传递列表

如果传入列表参数，Beautiful Soup会将与列表中任一元素匹配的内容返回，下面代码找到文档中所有<title>标签和<b>标签：

print(soup.find_all(['title','b']))

1-4、传递True

True 可以匹配任何值,下面代码查找到所有的tag,但是不会返回字符串节点：

for tag in soup.find_all(True):
     print(tag.name)

2、attr参数

我们可以通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag。

print(soup.find_all(attrs={"class":"title"})) #[<p class="title" name="blog"><b>My Blog</b></p>]

3、rescursive参数

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False。

4、text参数

通过 text 参数可以搜搜文档中的字符串内容，与 name 参数的可选值一样,
text 参数接受字符串 , 正则表达式 , 列表, True。

print(soup.find_all(text="Python3网络爬虫(三)：urllib.error异常"))

5、limit参数

find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果。

print(soup.find_all("a", limit=2))

6、kwargs参数

“””
如果传入 class 参数,Beautiful Soup 会搜索每个 class 属性为 title 的 tag
kwargs 接收字符串，正则表达式：

print(soup.find_all(class_="title"))

转载请注明来源！