Indiegogo产品URL爬取失败:完善数据处理与反爬策略
本文分析并解决从Indiegogo网站爬取产品URL失败的问题。目标是从名为1.csv
的CSV文件中提取clickthrough_url
列数据,构造完整的Indiegogo产品URL,并进行网页抓取。然而,原始代码存在缺陷,导致URL提取失败。
问题根源及解决方案:
原始的extract_project_url
函数存在数据类型处理错误:
def extract_project_url(df_input): list_url = [] for ele in df_input["clickthrough_url"]: list_url.append("https://www.indiegogo.com" + ele) return list_url
该函数假设clickthrough_url
列中的所有数据都是字符串。如果存在非字符串类型数据(例如数字、空值),则会引发TypeError
错误。
改进后的函数应包含错误处理机制,例如使用try-except
块或astype(str)
强制类型转换:
def extract_project_url(df_input): list_url = [] for ele in df_input["clickthrough_url"]: try: list_url.append("https://www.indiegogo.com" + str(ele)) except TypeError as e: print(f"Warning: Skipping invalid element: {ele}, Error: {e}") continue #跳过无效元素 return list_url
或者使用更简洁的pandas方法:
def extract_project_url(df_input): return "https://www.indiegogo.com" + df_input["clickthrough_url"].astype(str)
反爬机制与Cookie处理:
Indiegogo网站可能启用反爬机制,例如限制请求频率或检查用户代理。 解决方法包括:
time.sleep()
函数在每次请求之间添加延迟,避免短时间内发送大量请求。requests
库的cookies
参数或session
对象来实现。 需要获取有效的Cookie,这可能需要登录网站或分析网站的请求。完整的代码示例 (需要安装pandas和requests库):
import pandas as pd import requests import time import random def extract_project_url(df_input): return "https://www.indiegogo.com" + df_input["clickthrough_url"].astype(str) def fetch_page(url, headers): time.sleep(random.uniform(1, 3)) #添加随机延迟 try: response = requests.get(url, headers=headers) response.raise_for_status() #检查HTTP状态码 return response.text except requests.exceptions.RequestException as e: print(f"Error fetching {url}: {e}") return None # 读取CSV文件 df = pd.read_csv("1.csv") # 提取URL urls = extract_project_url(df) # 设置headers (包括用户代理) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36' } # 抓取页面内容 for url in urls: page_content = fetch_page(url, headers) if page_content: # 处理页面内容 (根据需要修改) print(f"Successfully fetched: {url}") # ... your code to process page_content ...
记住替换 "1.csv"
为你的CSV文件路径,并根据Indiegogo网站的反爬机制调整代码,例如添加Cookie处理和更精细的延迟策略。 如果问题仍然存在,请提供更多信息,例如错误信息和1.csv
文件的示例数据。