coding:utf-8 from lxml import etree # 加载解析器 html =…
- User
coding:utf-8
from lxml import etree # 加载解析器
html = 'TestBig data '
'newsAI news2018.8.1' content = etree.fromstring(html) rows = content.xpath('/html/body/h1') # 根据路径表达式获得所有符合条件得节点print(rows)
for row in rows: t = row.xpath('./text()')[0] print(t)
表格数据得提取
html = 'Test'
'学号姓名'
'成绩1001曾平901002'
'王一921003'
'张三88' content = etree.HTML(html) rows = content.xpath('//table[@id="table1"]/tr')[3:] for row in rows: id = row.xpath('./td[1]/text()')[0] name = row.xpath('./td[2]/text()')[0] score = row.xpath('./td[3]/text()')[0] print(id, name, score)print("演示提示最后一个记录") html = '''Test<table id="table1"cellspacing="0px">学号姓名成绩
content = etree.HTML(html) rows = content.xpath('//table[@id="table1"]/tr[last()]') for row in rows: id = row.xpath('./td[1]/text()')[0] name = row.xpath('./td[2]/text()')[0] score = row.xpath('./td[3]/text()')[0] print(id, name, score) 运行结果是什么
- Assistant
运行结果是:
Big data news AI news 2018.8.1 1003 张三 88 1003 张三 88
- User
rows = content.xpath(‘//table[@id=“table1”]/tr’)[3:]是什么意思
- Assistant
这行代码是使用XPath语法,从HTML文件中获取具有id属性为“table1”的table元素下的所有tr元素,再从这些tr元素中选取从第四个tr元素(即下标为3的元素)开始直到最后一个tr元素组成的列表。
- User
-- coding: utf-8 --
import html5lib
print('通过指定treebuilder来解析:') document='TestBig data newsAI news2018.8.1' #直接调用html5lib.parse来解析,解析时采用lxml构建树的方法 content=html5lib.parse(document,treebuilder="lxml",namespaceHTMLElements=False) #指定要提取的内容所在的标签路径 rows=content.xpath('/html/body/h1') for row in rows: t=row.xpath('./text()')[0] #定位到标签节点后,通过text()提取内容 print(t)
print('通过指定tree来解析:') document='TestBig data newsAI news2018.8.1' #构造HTMLParser实例,指定构造lxml的树 p=html5lib.HTMLParser(strict=False,tree=html5lib.getTreeBuilder('lxml'),namespaceHTMLElements=False) #解析HTML文档 t=p.parse(document) rows=t.xpath('/html/body/h1') for row in rows: t=row.xpath('./text()')[0] print(t)
print('通过指定tree来提取超链接:') document='Testbaidu' p=html5lib.HTMLParser(strict=False,tree=html5lib.getTreeBuilder('lxml'),namespaceHTMLElements=False) t=p.parse(document) #通过findall来查找所有标签名称为a的节点 a_tags = t.findall(".//a") for a in a_tags: url = a.attrib["href"] #通过属性名称来获得属性值 print(url)
print('处理标签不完整或有错误的HTML:') #这个HTML文档中有不完整的标签:缺少一个、有错误的标签: document='TestBig data newsAI news2018.8.1' p=html5lib.HTMLParser(strict=False,tree=html5lib.getTreeBuilder('lxml'),namespaceHTMLElements=False) t=p.parse(document) rows=t.xpath('/html/body/h1') for row in rows: t=row.xpath('./text()')[0] print(t) 这段代码的运行结果是什么,这段代码解释一下
- Assistant
这段代码的运行结果分别为:
-
通过指定treebuilder来解析: Big data news AI news 2018.8.1
-
通过指定tree来解析: Big data news AI news 2018.8.1
-
通过指定tree来提取超链接: www.baidu.com
-
处理标签不完整或有错误的HTML: Big data news AI news
这段代码演示了使用html5lib库对HTML文件进行解析和提取元素、属性等信息的过程。该库支持指定不同的treebuilder构造不同的树,本段代码第一个和第二个示例分别指定了lxml构造解析树和指定tree构造解析树,并使用XPath语法从HTML文件中提取指定的元素信息。第三个示例演示了查找并提取超链接的过程,使用了findall方法获取所有标签名称为a的节点,再通过属性名称获取属性值。最后一个示例演示了如何处理不完整或有错误的HTML文档,并依然可以通过XPath语法查找并提取指定的元素信息。
-
- User
findall和xpath的区别
- Assistant
findall和xpath都用于在XML或HTML文档中查找元素,但其中有一些差异:-
语法不同:
xpath是使用 XML Path Language 的语法,而findall使用 HTML5lib 中定义的语法。 -
功能不同:
xpath原本是为了搜索业务和数据库建模等领域而设计的,因此十分强大,可用于更复杂的查询。在XML和HTML的解析中,xpath支持正则匹配、逻辑运算、索引、字符集匹配等功能,而findall则主要针对 HTML 的一些常规匹配。 -
性能差异:由于
xpath更为强大,其解析速度会受到更大的性能影响,从而在处理较大或更复杂的文档时可能会比较缓慢,而findall则更加轻便,不需要执行复杂的计算。
一般而言,对于相对简单的文档,
findall的速度较快,而xpath则能够更好地处理复杂的查询请求。 -
- User
标签不完整或有错误的HTML,为什么依然可以通过XPath语法查找并提取指定的元素信息
- Assistant
XPath 是一种查询语言,它使用表达式路径来定位节点。它不依赖于标记是否完整或合法,而是根据元素在文档中的位置来确定它们的层次结构。因此,XPath 是标签不完整或有错误的 HTML 文档中查找元素的有力工具。
当 XML 或 HTML 标记不完整或有错误时,解析器可能不会认为整个文档是无效的,并且在这种情况下,它仍然会尽可能地解析文档。这就意味着如果您有一个标签不完整或有错误的文档,您仍然可以使用 XPath 来提取其中的元素信息。
举个例子,如果您需要从一个具有非正式标记的 HTML 片段中提取标题标签的文本内容,您仍然可以对其应用以下XPath表达式路径进行提取:
/html/body/h1/text()即使HTML标记有误,XPath 依然可以正确访问到完整标记( h1 )并提取其文本内容,而无需考虑标记是否完整、是否遵循标准等问题。