做爬虫或者写自动化脚本时，数据采集几乎是绕不开的一环。很多人一开始兴致勃勃地写好代码，结果一跑发现抓不到数据，或者数据错乱、缺失，这时候就得靠调试来一步步排查问题。
先看请求能不能发出去
最常见的问题是请求根本没发出去，或者被目标网站挡了。比如你用 Python 的 requests 库，写完代码运行后返回空内容，别急着改解析逻辑，先确认请求状态码。
import requests
response = requests.get('https://example.com')
print(response.status_code) # 看是不是 200如果是 403，大概率是没加 headers；如果是 404，可能是 URL 拼错了。加个 User-Agent 基本能解决大部分封禁问题。
检查返回内容长什么样
哪怕状态码是 200，也不代表拿到的是你要的页面。有些网站会返回“请启用 JavaScript”这种提示，其实是反爬机制在起作用。这时候直接打印 response.text 前几百个字符，看看有没有关键字段。
print(response.text[:500])如果看到一堆 script 标签或者验证码提示，那说明你得换工具，比如用 Selenium 或 Playwright 模拟浏览器行为。
定位数据解析是否出错
数据拿到了，但提取出来的内容总是空或不对，八成是解析规则写错了。用 BeautifulSoup 或 XPath 时，结构稍微一变就容易失效。
举个例子，你想抓商品价格：
soup = BeautifulSoup(response.text, 'html.parser')
price = soup.find('span', class_='price')
print(price.text if price else 'Not found')如果输出 Not found，就把整个页面保存下来，用浏览器打开，F12 查查那个价格元素真正的 class 名是不是变了。有时候网站会动态加前缀，比如 price-v2、price-new，老规则就不灵了。
处理异步加载的数据
现在很多网页内容是通过 AJAX 加载的，源码里根本找不到实际数据。这时候直接爬 HTML 肯定不行。打开浏览器开发者工具，切到 Network 标签，刷新页面，找 xhr 或 fetch 请求，看看数据是从哪个接口来的。
找到接口后，可以直接调这个 API，比渲染页面快得多。比如发现数据来自 /api/v1/products，那就直接请求这个地址，通常返回的是 JSON，解析起来更简单。
加点日志，别闷头试
调试过程中别靠 print 打满屏，容易看花眼。可以引入 logging 模块，分级别记录信息。
import logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
logger.info('开始请求页面')
response = requests.get(url)
logger.debug(f'响应状态: {response.status_code}')这样你可以随时开关调试信息，上线时把 level 改成 WARNING 就行，不影响性能。
模拟真实用户操作更稳
有些网站检测频率太高就封 IP。可以在代码里加随机延时，别一口气发几百个请求。
import time
import random
time.sleep(random.uniform(1, 3))就像人浏览网页一样，翻一页等一两秒再翻下一页，反而更不容易被盯上。
调试数据采集不是一蹴而就的事，关键是把流程拆开：发请求 → 拿响应 → 解析内容 → 存数据，每一步单独验证，问题自然就浮出来了。