首页 > 文章列表 > 爬虫无法下载附件,如何解决附件 URL 处理问题?

爬虫无法下载附件,如何解决附件 URL 处理问题?

104 2025-01-20

爬虫无法下载附件,如何解决附件 URL 处理问题?

爬虫附件下载问题解答

在给定的代码片段中,无法下载附件的原因可能是缺少对附件 url 的正确处理。代码中使用 download 函数下载附件,但未正确提取附件 url。

为了解决此问题,需要修改代码中的以下部分:

if '<a' in contents:  # 判断附件
    fileUrls = re.findall(r'href="(.*?)"', contents, 0)
    for fileUrl in fileUrls:
        fileUrl = 'http://www.liyang.gov.cn/' + fileUrl
        print(fileUrl)
        download(fileUrl.split('/' + '[-1], fileUrl, path)  # 下载附件

修改后,代码可以正确提取附件 url 并完成下载附件操作。

来源:1730714440