OLIN 1cd2438179 更新 3 недель назад
..
README.md 1cd2438179 更新 3 недель назад
logger.py 3f753887b0 详情数据爬取 3 недель назад
main8.11_buy_list.py 3f753887b0 详情数据爬取 3 недель назад
pdd_config.py 3f753887b0 详情数据爬取 3 недель назад
test_captcha.py 3f753887b0 详情数据爬取 3 недель назад

README.md

PDD 详情页采集

拼多多商品详情页自动化采集,Android 端 uiautomator2 + 百度 OCR,多设备多线程派单。

文件结构

pdd_detail/
├── main8.11_buy_list.py    # 主采集逻辑(3731行,176KB)
├── pdd_config.py           # 数据库 / OSS / 百度OCR 配置
├── test_captcha.py         # 滑块验证码破解(云码平台)
└── logger.py               # 日志初始化(按天滚动)

启动

cd pdd_detail
python main8.11_buy_list.py

核心流程

  1. 调度派单 — 从调度 API 或手动任务列表拉取药品任务
  2. 设备分配 — ADB 检测空闲设备,多线程绑定
  3. App 操作 — 打开拼多多 → 搜索药品 → 翻页浏览商品列表
  4. OCR 识别 — 百度 OCR 截图识别商品标题/价格/规格
  5. 数据入库 — 去重后写入数据库,OSS 上传截图
  6. 飞书通知 — 任务完成后推送飞书消息(可选)

主要配置

配置项
平台 拼多多(platform=3)
App 包名 com.xunmeng.pinduoduo
设备状态 空闲=0, 运行中=1
每轮采集上限 300 条
调度间隔 600 秒(手动模式 300 秒)
心跳间隔 60 秒

验证码处理

test_captcha.py 检测拼多多安全验证弹窗,通过云码平台自动拖动滑块。

依赖

  • uiautomator2 — Android 设备操控
  • aip (百度 OCR) — 截图文字识别
  • opencv-python, numpy, Pillow — 图像处理
  • oss2 — 阿里云 OSS 截图上传
  • pymysql — 数据库

    pip install uiautomator2 baidu-aip opencv-python oss2 pymysql Pillow python-dotenv
    

注意事项

  • 需要 Android 真机通过 ADB 连接
  • pdd_config.py 含 OSS AK/SK 明文,不要提交公开仓库
  • 飞书 Webhook 为可选依赖,缺失时自动降级不报错