|
@@ -1,11 +1,13 @@
|
|
|
# 药品数据采集系统
|
|
# 药品数据采集系统
|
|
|
|
|
|
|
|
-多平台药品/商品数据采集系统,覆盖淘宝、京东、小红书、饿了么闪购、药房网。
|
|
|
|
|
|
|
+多平台药品/商品数据采集系统,覆盖美团、拼多多、淘宝、京东、小红书、饿了么闪购、药房网。
|
|
|
|
|
|
|
|
## 子项目
|
|
## 子项目
|
|
|
|
|
|
|
|
```
|
|
```
|
|
|
project/
|
|
project/
|
|
|
|
|
+├── mt_V2/ # 美团商品采集 V2(Android + 百度 OCR,3978行)
|
|
|
|
|
+├── pdd/ # 拼多多商品采集(Android + OCR + AI)
|
|
|
├── xhs/ # 小红书商品采集(Android + OCR + AI)
|
|
├── xhs/ # 小红书商品采集(Android + OCR + AI)
|
|
|
├── tbsg/ # 饿了么闪购店铺采集(OCR + 滑块验证码)
|
|
├── tbsg/ # 饿了么闪购店铺采集(OCR + 滑块验证码)
|
|
|
└── spides/ # 淘宝 / 京东 / 药房网爬虫
|
|
└── spides/ # 淘宝 / 京东 / 药房网爬虫
|
|
@@ -13,7 +15,61 @@ project/
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-### 1. xhs — 小红书商品采集
|
|
|
|
|
|
|
+### 1. mt_V2 — 美团商品采集 V2
|
|
|
|
|
+
|
|
|
|
|
+Android 自动化采集,uiautomator2 + 百度 OCR 识别,主文件 3978 行,体量最大。
|
|
|
|
|
+
|
|
|
|
|
+**启动:**
|
|
|
|
|
+```bash
|
|
|
|
|
+cd mt_V2
|
|
|
|
|
+python main.py
|
|
|
|
|
+```
|
|
|
|
|
+
|
|
|
|
|
+**核心模块:**
|
|
|
|
|
+| 文件 | 作用 |
|
|
|
|
|
+|------|------|
|
|
|
|
|
+| `main.py` | 采集主逻辑(3978行,181KB) |
|
|
|
|
|
+| `config.py` | 数据库 / 美团 App 配置 |
|
|
|
|
|
+| `db.py` | MySQL 连接池(自研,非 DBUtils) |
|
|
|
|
|
+| `yzm.py` | 滑块验证码破解 |
|
|
|
|
|
+| `area.py` | 城市区域服务 |
|
|
|
|
|
+| `logger.py` | 日志初始化 |
|
|
|
|
|
+
|
|
|
|
|
+**依赖:** uiautomator2, opencv-python, aip (百度OCR), oss2
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+### 2. pdd — 拼多多商品采集
|
|
|
|
|
+
|
|
|
|
|
+Android 自动化采集,uiautomator2 操控手机 + 百度 OCR + AI 分析,支持多设备多线程派单。架构与小红书一致。
|
|
|
|
|
+
|
|
|
|
|
+**启动:**
|
|
|
|
|
+```bash
|
|
|
|
|
+cd pdd
|
|
|
|
|
+python start_run_pdd.py
|
|
|
|
|
+```
|
|
|
|
|
+
|
|
|
|
|
+**核心流程:**
|
|
|
|
|
+- 从调度 API 或手动配置拉取任务(药品关键词+规格)
|
|
|
|
|
+- ADB 检测空闲设备,状态锁防冲突
|
|
|
|
|
+- 每个设备独立线程:打开拼多多 → 搜索 → 翻页 → OCR 截图 → 提取价格/标题/盒数 → 去重 → 写入数据库
|
|
|
|
|
+- 飞书通知 + 调度中心 API 上报
|
|
|
|
|
+
|
|
|
|
|
+**核心模块:**
|
|
|
|
|
+| 文件 | 作用 |
|
|
|
|
|
+|------|------|
|
|
|
|
|
+| `start_run_pdd.py` | 调度入口,多线程派单(3559行) |
|
|
|
|
|
+| `spiders/pdd/main.py` | 采集主逻辑(3585行) |
|
|
|
|
|
+| `spiders/pdd/box_script.py` | 药品盒数/规格提取 |
|
|
|
|
|
+| `spiders/pdd/test_captcha.py` | 滑块验证码破解 |
|
|
|
|
|
+| `spiders/pdd/pdd_config.py` | OSS / DB / 百度OCR 配置 |
|
|
|
|
|
+| `area_info/city_name_to_id.py` | 城市映射 |
|
|
|
|
|
+
|
|
|
|
|
+**依赖:** uiautomator2, opencv-python, aip (百度OCR), oss2, DBUtils
|
|
|
|
|
+
|
|
|
|
|
+---
|
|
|
|
|
+
|
|
|
|
|
+### 3. xhs — 小红书商品采集
|
|
|
|
|
|
|
|
Android 自动化采集,uiautomator2 操控手机 + OCR 识别 + AI 分析页面,支持多设备多线程派单。
|
|
Android 自动化采集,uiautomator2 操控手机 + OCR 识别 + AI 分析页面,支持多设备多线程派单。
|
|
|
|
|
|
|
@@ -33,7 +89,7 @@ python start_run_xhs.py
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-### 2. tbsg — 饿了么闪购店铺采集
|
|
|
|
|
|
|
+### 4. tbsg — 饿了么闪购店铺采集
|
|
|
|
|
|
|
|
步骤驱动,OCR + AI 实现端到端自动化:打开 App → 搜索商品 → 滚动店铺列表 → 进入店铺 → 解析二维码获取商品链接。
|
|
步骤驱动,OCR + AI 实现端到端自动化:打开 App → 搜索商品 → 滚动店铺列表 → 进入店铺 → 解析二维码获取商品链接。
|
|
|
|
|
|
|
@@ -56,7 +112,7 @@ python main.py
|
|
|
|
|
|
|
|
---
|
|
---
|
|
|
|
|
|
|
|
-### 3. spides — 淘宝 / 京东 / 药房网爬虫
|
|
|
|
|
|
|
+### 5. spides — 淘宝 / 京东 / 药房网爬虫
|
|
|
|
|
|
|
|
**启动:**
|
|
**启动:**
|
|
|
```bash
|
|
```bash
|
|
@@ -88,9 +144,10 @@ python start_run_yaofangwang.py
|
|
|
|
|
|
|
|
## 服务端依赖
|
|
## 服务端依赖
|
|
|
|
|
|
|
|
-- MySQL 数据库 `drug_retrieve`(`120.24.26.308:3307`)
|
|
|
|
|
|
|
+- MySQL 数据库 `drug_retrieve`(`120.24.26.108:3307`)
|
|
|
- 调度中心 API(`scheduleapi.findit.ltd`)
|
|
- 调度中心 API(`scheduleapi.findit.ltd`)
|
|
|
- 阿里云 OSS(`oss-cn-shenzhen`)
|
|
- 阿里云 OSS(`oss-cn-shenzhen`)
|
|
|
|
|
+- 百度 OCR API
|
|
|
- DeepSeek AI API(`ai-api.dfwy.tech`)
|
|
- DeepSeek AI API(`ai-api.dfwy.tech`)
|
|
|
- 飞书 Webhook
|
|
- 飞书 Webhook
|
|
|
|
|
|
|
@@ -98,7 +155,15 @@ python start_run_yaofangwang.py
|
|
|
|
|
|
|
|
## 注意事项
|
|
## 注意事项
|
|
|
|
|
|
|
|
-- 需要 Android 真机连接 ADB(小红书、饿了么)
|
|
|
|
|
-- 需要 Chrome 浏览器(淘宝 DrissionPage)
|
|
|
|
|
-- `spides/commons/config.py` 和 `xhs/spiders/xhs/xhs_config.py` 含敏感凭证,不要提交公开仓库
|
|
|
|
|
-- `xhs/spiders/xhs/main.py` 第78行数据库密码硬编码,建议改为环境变量
|
|
|
|
|
|
|
+- 美团、拼多多、小红书、饿了么需要 Android 真机连接 ADB
|
|
|
|
|
+- 淘宝/京东需要 Chrome 浏览器(DrissionPage)
|
|
|
|
|
+- 以下文件含敏感凭证,不要提交公开仓库:
|
|
|
|
|
+ - `mt_V2/main.py`(百度OCR AK/SK)
|
|
|
|
|
+ - `mt_V2/db.py`(数据库密码)
|
|
|
|
|
+ - `mt_V2/config.py`(数据库密码)
|
|
|
|
|
+ - `pdd/start_run_pdd.py`(数据库密码、百度OCR AK/SK)
|
|
|
|
|
+ - `pdd/spiders/pdd/pdd_config.py`(OSS AK/SK)
|
|
|
|
|
+ - `xhs/spiders/xhs/main.py`(数据库密码)
|
|
|
|
|
+ - `xhs/spiders/xhs/xhs_config.py`(OSS AK/SK)
|
|
|
|
|
+ - `spides/commons/config.py`(药师帮/壹药城密码)
|
|
|
|
|
+ - `tbsg/ai_helper.py`(内网 API 地址)
|