本篇内容演示了如何利用 Python 的 XPath 技术进行网页数据抓取。通过具体案例，详细解析了从网页结构分析到数据提取的完整流程，帮助掌握 lxml 库的使用技巧，高效获取目标信息。
智能速览
使用 F12 开发者工具分析网页数据来源与结构
利用 lxml 库解析 HTML 文档并构建可操作对象
通过 XPath 语法精准提取电影标题、评分及评价人数
演示如何处理提取出的列表数据并进行遍历
结合字符串处理方法清洗数据并保存为 CSV 格式
精华内容
接下来深入具体的操作环节，通过一个实际的电影榜单抓取案例，展示 XPath 在数据提取中的核心应用与逻辑实现。
网页结构分析
首先通过 F12 开发者工具检查网页，确认数据存在于文档中而非接口响应。观察到页面包含电影标题、评分、评价人数等信息。由于请求头无特殊验证，可直接复制 cURL 命令转换为 Python 代码请求页面，成功获取到完整的 HTML 源码，为后续提取做准备。
数据定位解析
使用 from lxml import etree 导入库，将 HTML 字符串传入 etree.HTML() 方法进行解析，生成可调用 XPath 的对象。通过观察 DOM 树结构，发现电影列表包裹在具有特定 class 的 ol 标签下，利用该特征提取出所有电影条目组成的列表，确认获取到 25 条数据。
字段精准提取
对提取的列表进行遍历，针对每一条电影数据编写 XPath。通过 div class=‘hd’ 下的 span 标签获取电影标题，并使用索引 [0] 提取文本。同理，定位 class=‘bd’ 下的 p 标签获取导演和主演信息，定位特定的 div 和 span 获取评分与评价人数，确保数据准确。
数据清洗存储
提取的原始数据可能包含杂质或多余标签，需结合字符串的 replace 和 join 方法进行清洗。最后，将处理好的电影编号、名称、评分、评价人数等字段组织好，利用 CSV 写入方法保存到本地文件，完成数据抓取的最终闭环。
通过此次实战演练，不仅熟悉了 XPath 的语法规则，更掌握了从分析网页到落地代码的完整爬虫开发思路。建议多动手尝试不同的网页结构，不断优化提取逻辑，从而更高效地解决实际的数据抓取需求。
