# 中国药典 AI 解析系统 — 文字解析问题分析报告

> **版本**: v1.0  
> **日期**: 2026-07-17  
> **范围**: data-pipeline/ 全部解析模块 + backend-python/app/rag/ 检索链路  
> **主线版本**: 2025 年版药典（主要解析目标）  
> **补充版本**: 2020 年版药典（历史数据兼容）

---

## 一、项目解析架构总览

数据源                    解析层                      入库层
-------------------------------------------------------------
药典 PDF (2020/2025)  ->  pharmacopoeia.py        ->  ingest.py
药典 DOCX (2025)      ->  docx_ingest.py          ->  docx_ingest.py (内置入库)
维基百科              ->  wiki_spider.py           ->  import_from_openclaw.py
NMPA 公开数据         ->  nmpa_spider.py           ->  ingest.py
考试大纲              ->  exam_outline.py          ->  knowledge_chunker.py

**当前状态**: 仅 DOCX 解析链路可用，PDF 解析器为空壳，考试模块未实现。

---

## 二、2025 版药典解析（主线）

### 2.1 DOCX 解析模块 — docx_ingest.py

**文件位置**: data-pipeline/docx_ingest.py  
**当前状态**: 可用，但存在多处健壮性问题

#### 2.1.1 解析流程

DOCX 文件
  |
文件名 -> 药品名（display_name）
  |
段落遍历（doc.paragraphs）
  |
Heading 1 -> 跳过（与文件名重复）
拼音行 -> 提取 pinyin
短行（<=10字符）-> section 标题匹配
【xxx】格式 -> 行内 section 标题
其他 -> 归入当前 section
  |
凡例/纲要 -> 按编号拆分（一、二、三...）
  |
输出结构化 dict

#### 2.1.2 存在的问题

| 编号 | 问题 | 严重程度 | 说明 |
|------|------|---------|------|
| D-01 | **表格内容完全丢失** | 严重 | 只遍历 doc.paragraphs，未处理 doc.tables。药典中含量测定限度表、鉴别反应表等关键信息以表格形式存在 |
| D-02 | **section 标题长度硬编码** | 中等 | len(text) <= 10 阈值过小，较长标题会被漏掉 |
| D-03 | **拼音识别可能误判** | 中等 | is_pinyin_line() 可能将英文药品名或化学分子式误判为拼音 |
| D-04 | **凡例/纲要拆分逻辑脆弱** | 中等 | 中文数字正则 {1,2} 无法匹配二十一等复合数字；模式优先级可能导致错误匹配 |
| D-05 | **文件名依赖** | 轻微 | 药品名直接取文件名，不规范的文件名（含空格、编号前缀）会导致解析错误 |
| D-06 | **旧版去重逻辑风险** | 中等 | dedup_old_versions() 将所有非 2025 版同名药品标记为 inactive，可能误删 2020 版独有的药品信息 |

#### 2.1.3 section 标题映射表

SECTION_HEADERS = OrderedDict([
    (处方, 处方), (制法, 制法), (性状, 性状),
    (鉴别, 鉴别), (检查, 检查), (浸出物, 浸出物),
    (含量测定, 含量测定), (含量, 含量测定),
    (功能与主治, 功能主治), (功能, 功能主治), (主治, 功能主治),
    (用法与用量, 用法用量), (用法, 用法用量), (用量, 用法用量),
    (注意, 注意事项), (注意事项, 注意事项),
    (规格, 规格), (贮藏, 贮藏), (类别, 类别),
    (制剂, 制剂), (附注, 附注),
])

**缺失的映射**:
- 包装（部分条目）
- 有效期（部分条目）
- 核准日期（部分条目）
- 修订日期（部分条目）

#### 2.1.4 2025 版四部目录结构

根据 extract_catalog.py 提取的目录：

中国药典 2025 年版 四部
|-- 凡例
|-- 通则
|   |-- 制剂通则
|   |-- 通用检测方法
|   +-- 指导原则
|-- 药用辅料
+-- 通用技术要求

---

### 2.2 PDF 解析模块 — pharmacopoeia.py

**文件位置**: data-pipeline/crawlers/pharmacopoeia.py  
**当前状态**: 完全未实现

#### 2.2.1 设计目标（注释中描述）

1. PyMuPDF 提取文本 + 坐标
2. 基于字体大小/位置识别标题层级
3. 正则匹配药品条目边界
4. 按条目切分 -> 结构化输出

#### 2.2.2 未实现的方法

| 方法 | 预期功能 | 当前返回 |
|------|---------|---------|
| parse() | 完整解析流程 | [] |
| _extract_text_with_position() | 提取文本块及坐标 | [] |
| _detect_entry_boundaries() | 检测条目边界 | [] |
| _parse_entry_sections() | 解析各栏目 | 空字典 |

#### 2.2.3 2020 版 PDF 解析的特殊挑战

| 挑战 | 说明 |
|------|------|
| **排版差异** | 2020 版 PDF 与 2025 版排版规则不同，字体大小、缩进量需要分别适配 |
| **双栏布局** | 部分页面采用双栏布局，文本提取时可能出现跨栏混排 |
| **化学结构式** | 含量测定等章节包含化学结构式图片，纯文本提取会丢失 |
| **页码不连续** | 前言、目录、凡例的页码与正文不连续，需要分别处理 |

---

### 2.3 PDF 目录提取 — extract_catalog.py

**文件位置**: data-pipeline/crawlers/extract_catalog.py  
**当前状态**: 部分可用

#### 2.3.1 存在的问题

| 编号 | 问题 | 说明 |
|------|------|------|
| C-01 | **层级判断靠坐标硬编码** | x < 50 为部级、40 <= x < 100 为章级、x >= 80 为节级，不同 PDF 版本排版不同时会失效 |
| C-02 | **层级范围重叠** | 章级 40-100 与节级 >=80 重叠，x=90 同时满足两个条件 |
| C-03 | **目录页定位不稳定** | 依赖目录关键词匹配，如果目录页格式不同会定位错误 |

---

## 三、2020 版药典解析（补充）

### 3.1 数据来源

| 来源 | 格式 | 状态 |
|------|------|------|
| data/pharmacopoeia_2020_volume1_toc.pdf | PDF | 无法解析（解析器未实现） |
| data-pipeline/data/catalog_volume1.json | JSON | 已提取目录结构 |
| data-pipeline/data/catalog_volume2.json | JSON | 已提取目录结构 |
| data-pipeline/data/catalog_volume3.json | JSON | 已提取目录结构 |
| data-pipeline/data/catalog_volume4.json | JSON | 已提取目录结构 |

### 3.2 2020 版与 2025 版的差异

| 差异项 | 2020 版 | 2025 版 |
|--------|---------|---------|
| **主要数据格式** | PDF | DOCX |
| **药品品种数量** | 约 5911 种 | 新增 + 修订 |
| **凡例内容** | 2020 版凡例 | 2025 版凡例（有更新） |
| **通则编号** | 旧编号体系 | 可能有调整 |
| **检测方法** | 2020 版方法 | 新增/修订方法 |

### 3.3 2020 版数据去重策略

当前 docx_ingest.py 中的去重逻辑：

UPDATE drugs
SET is_active = FALSE
WHERE is_active = TRUE
  AND source_version != 2025年版
  AND name IN (
      SELECT name FROM drugs
      WHERE source_version = 2025年版 AND is_active = TRUE
  )

**问题**:
- 同名药品在 2020 版和 2025 版可能有不同的检查标准，直接标记旧版为 inactive 会丢失历史标准信息
- 建议改为版本共存模式，查询时优先返回 2025 版，但保留 2020 版可查

---

## 四、文本清洗模块 — cleaner.py

**文件位置**: data-pipeline/processors/cleaner.py  
**当前状态**: 功能薄弱

### 4.1 清洗规则冲突

self.replacements = [
    (r(?<!\n)\n(?!\n), ),           # 规则1: 移除单换行
    (r\x00, ),                         # 规则2: 移除空字符
    (r([a-z])\n([a-z]), r\1\2),     # 规则3: 英文断行连接
    (r(\d)\n(\d), r\1\2),         # 规则4: 数字断行连接
    (r\n{3,}, \n\n),                # 规则5: 多换行压缩
    (r\t,  ),                         # 规则6: 制表符替换
    (r {2,},  ),                       # 规则7: 多空格压缩
]

**冲突分析**:
- **规则 1 先执行** -> 所有单换行被删除 -> **规则 3、4 永远无法匹配**
- 正确顺序应该是：先处理断行连接（规则 3、4），再移除不当换行（规则 1）

### 4.2 OCR 纠错字典不足

ocr_fixes = {
    鍜?: 鍟?,
    鍞?: 鍞?,
    鑼剁⒈: 鑼剁⒈,
}

**问题**:
- 仅 3 条规则，远远不够覆盖药典 PDF 的 OCR 错误
- 部分映射本身看起来是编码问题产生的乱码
- 缺少药学专业术语的纠错（如苷与甙、馏与溜等）

### 4.3 缺失的清洗能力

| 缺失项 | 说明 |
|--------|------|
| 全角/半角规范化 | 中文逗号 vs 英文逗号、中文句号 vs 英文句号、中文括号 vs 英文括号 |
| 化学分子式处理 | 上下标丢失问题（如 H2O 应为 H 下标 2 O） |
| 中药拉丁名规范化 | 拉丁学名斜体标记丢失 |
| 特殊符号处理 | 摄氏度、微克、毫升等单位符号的规范化 |
| 段落合并逻辑 | 跨页段落的智能合并 |

---

## 五、智能切片模块 — chunker.py

**文件位置**: data-pipeline/processors/chunker.py  
**当前状态**: 部分实现

### 5.1 已实现：药品条目切片

def chunk_drug_entry(self, drug_entry: dict) -> list[Chunk]:
    # 按 section 切分，保持每个 section 完整
    # 若单个 section 过长，再按段落细分

**问题**:
- chunk_overlap 参数未使用，切片之间没有重叠
- 长 section 切分后，最后一段可能低于 min_chunk_size 但仍被加入

### 5.2 未实现：凡例/通则切片

def chunk_regulation(self, text: str, metadata: dict) -> list[Chunk]:
    return []  # 空实现

### 5.3 未实现：考试知识点切片

def chunk_exam_knowledge(self, knowledge_point: dict) -> list[Chunk]:
    return []  # 空实现

### 5.4 切片内容格式问题

content=f銆恵drug_name} - {section_key}銆慭n{section_text}

- 銆恵 和 銆慭n 是编码乱码（应为 【 和 】换行）
- 说明 f-string 中的中文括号在某个环节被损坏

---

## 六、考试知识点切片 — knowledge_chunker.py

**文件位置**: data-pipeline/processors/knowledge_chunker.py  
**当前状态**: 完全未实现

class KnowledgeChunker:
    def process(self, knowledge_point: dict) -> list[dict]:
        return []

    def build_chapter_tree(self, knowledge_points: list[dict]) -> dict:
        return {}

**影响**: 考试模块的数据管道完全断裂，无法支持：
- 章节化知识点学习
- AI 自动出题
- 刷题/错题集/模拟考试

---

## 七、向量检索模块 — retriever.py

**文件位置**: backend-python/app/rag/retriever.py  
**当前状态**: 部分实现

### 7.1 意图分类问题

def classify_intent(query: str) -> str:
    # 基于关键词匹配的简单分类

| 编号 | 问题 | 说明 |
|------|------|------|
| I-01 | **关键词冲突** | 过敏同时出现在 safety_sections 和 symptom_keywords 中，优先级判断导致错误分类 |
| I-02 | **无否定语义处理** | 这不是感冒会匹配到感冒关键词 |
| I-03 | **无置信度判断** | 所有查询都被强制分到某个类别，没有不确定的兜底 |
| I-04 | **无上下文理解** | 无法理解多轮对话中的指代关系 |

### 7.2 BM25 关键词检索未实现

注释写着混合检索器：pgvector 向量检索 + BM25 关键词检索，但实际只有向量检索。

**影响**:
- 精确药品名查询（如阿莫西林）效果不如精确匹配
- 专业术语查询（如HPLC）向量检索可能不够精准

### 7.3 数据库连接管理

engine = create_async_engine(DB_URL)
try:
    # ...
finally:
    await engine.dispose()

每次查询都创建新的 engine 并销毁，应该使用连接池复用。

---

## 八、Reranker 模块 — reranker.py

**文件位置**: backend-python/app/rag/reranker.py  
**当前状态**: 形同虚设

class Reranker:
    def _load_model(self):
        pass  # 空实现

    def rerank(self, query, documents, top_k=5):
        sorted_docs = sorted(documents, key=lambda d: d.get(score, 0), reverse=True)
        return sorted_docs[:top_k]  # 只是按原始分数排序

**设计目标**: BGE-Reranker-v2-m3 Cross-Encoder 精排  
**实际效果**: 仅按向量相似度分数排序取 Top-K，无精排能力

---

## 九、Embedder 模块 — embedder.py

**文件位置**: data-pipeline/processors/embedder.py  
**当前状态**: 本地模型未实现

def encode(self, texts: list[str], batch_size: int = 32) -> list[list[float]]:
    return [[0.0] * settings.embedding_dim] * len(texts)  # 返回全零向量

**实际情况**: 入库时走 DashScope API（ingest.py 中），本地 BGE-M3 模型未加载。

---

## 十、Wiki 爬虫解析 — wiki_spider.py

**文件位置**: data-pipeline/crawlers/wiki_spider.py  
**当前状态**: 部分可用

### 10.1 内容截断问题

sections[matched] =  .join(current_text)[:3000]

每个 section 最多 3000 字符，超出部分直接截断，可能丢失关键的不良反应、禁忌等信息。

### 10.2 分类推断过于简单

def infer_category(name, sections):
    if any(k in name for k in [草, 花, 叶, 根, 皮, 中, 散, 汤, 丸]):
        return 中药

仅靠药名中是否含特定汉字来判断，误判率高（如花旗参匹配花）。

---

## 十一、数据 Schema 定义

### 11.1 药品条目 Schema

{
  drug_id: string,
  name: string,
  name_en: string,
  name_pinyin: string,
  category: 化学药 | 中药 | 生物制品 | 辅料,
  subcategory: string,
  sections: {
    性状: string,
    鉴别: string,
    检查: string,
    含量测定: string,
    类别: string,
    贮藏: string,
    制剂: string,
    用法与用量: string,
    禁忌: string,
    不良反应: string,
    注意事项: string
  },
  source: {
    version: 2020年版 | 2025年版,
    volume: 一部 | 二部 | 三部 | 四部,
    page: string
  }
}

### 11.2 知识点 Schema

{
  point_id: KP-{subject}-{chapter}-{seq},
  subject: yao1 | yao2 | fagui | zonghe,
  chapter_id: string,
  title: string,
  content: string,
  difficulty: 1-5,
  frequency: 高频 | 中频 | 低频 | 未考,
  related_drugs: [drug_id],
  key_points: [string]
}

### 11.3 题目 Schema

{
  question_id: Q{yyyy}{mm}{seq},
  question_type: A | B | X,
  subject: yao1 | yao2 | fagui | zonghe,
  content: string,
  options: [A. xxx, B. xxx, C. xxx, D. xxx],
  answer: A | AB | ABC,
  explanation: string,
  knowledge_point_ids: [point_id],
  frequency: 高频 | 中频 | 低频 | 未考
}

---

## 十二、问题汇总与优先级

### 12.1 致命问题（阻塞核心功能）

| 编号 | 问题 | 模块 | 影响 |
|------|------|------|------|
| F-01 | PDF 解析器完全未实现 | pharmacopoeia.py | 2020 版药典 PDF 无法解析 |
| F-02 | 考试知识点切片为空 | knowledge_chunker.py | 考试模块数据管道断裂 |
| F-03 | Reranker 未加载模型 | reranker.py | 检索结果无精排能力 |
| F-04 | BM25 关键词检索未实现 | retriever.py | 精确查询效果差 |

### 12.2 严重问题（影响数据质量）

| 编号 | 问题 | 模块 | 影响 |
|------|------|------|------|
| S-01 | DOCX 解析不处理表格 | docx_ingest.py | 含量测定限度表等丢失 |
| S-02 | 文本清洗规则冲突 | cleaner.py | 英文/数字断行连接失效 |
| S-03 | OCR 纠错字典不足 | cleaner.py | PDF 提取文本错误多 |
| S-04 | 切片无 overlap | chunker.py | 上下文断裂 |
| S-05 | 凡例/通则切片为空 | chunker.py | 通则类内容无法检索 |

### 12.3 中等问题（影响准确性）

| 编号 | 问题 | 模块 | 影响 |
|------|------|------|------|
| M-01 | 意图分类关键词冲突 | retriever.py | 用户意图误判 |
| M-02 | section 标题长度硬编码 | docx_ingest.py | 部分标题漏识别 |
| M-03 | 凡例/纲要拆分逻辑脆弱 | docx_ingest.py | 编号拆分错误 |
| M-04 | PDF 目录层级坐标硬编码 | extract_catalog.py | 不同 PDF 版本失效 |
| M-05 | 旧版去重可能误删 | docx_ingest.py | 2020 版独有信息丢失 |

### 12.4 轻微问题（影响体验）

| 编号 | 问题 | 模块 | 影响 |
|------|------|------|------|
| L-01 | Wiki 内容截断 | wiki_spider.py | 长内容不完整 |
| L-02 | Wiki 分类推断粗糙 | wiki_spider.py | 分类误判 |
| L-03 | 文件名依赖 | docx_ingest.py | 不规范文件名出错 |
| L-04 | 数据库连接不复用 | retriever.py | 性能浪费 |

---

## 十三、改进建议

### 13.1 短期（Phase 2 内）

1. **实现 PDF 解析器**
   - 使用 PyMuPDF 提取文本 + 坐标
   - 基于字体大小识别标题层级
   - 针对 2020 版和 2025 版分别适配

2. **修复文本清洗规则顺序**
   # 正确顺序
   self.replacements = [
       (r([a-z])\n([a-z]), r\1\2),  # 先处理断行
       (r(\d)\n(\d), r\1\2),
       (r(?<!\n)\n(?!\n), ),         # 再移除不当换行
       ...
   ]

3. **实现表格解析**
   - 遍历 doc.tables 提取表格内容
   - 将表格转换为结构化文本或 JSON

4. **实现 Reranker 模型加载**
   - 加载 BGE-Reranker-v2-m3
   - 实现 Cross-Encoder 精排

### 13.2 中期（Phase 3）

1. **实现 BM25 混合检索**
   - 使用 pg_trgm 或 Elasticsearch
   - 向量检索 + 关键词检索融合排序

2. **优化意图分类**
   - 使用小模型（如 BERT）进行意图分类
   - 解决关键词冲突问题

3. **实现考试知识点切片**
   - 按大纲章节组织知识点
   - 生成可向量化的 chunk

### 13.3 长期（Phase 4+）

1. **多版本数据共存**
   - 2020 版和 2025 版数据共存
   - 查询时优先返回最新版，但可切换版本

2. **增量更新机制**
   - 药典更新时自动检测变更
   - 增量解析和入库

3. **质量评估体系**
   - 解析准确率评测
   - 检索召回率评测
   - AI 回答准确率评测（目标 >95%）

---

## 十四、附录

### 14.1 药典版本对照表

| 版本 | 部数 | 主要内容 | 数据格式 |
|------|------|---------|---------|
| 2020 年版 | 四部 | 中药、化学药、生物制品、通则 | PDF |
| 2025 年版 | 四部 | 新增 + 修订品种 | DOCX |

### 14.2 考试科目代码

| 代码 | 科目名称 |
|------|---------|
| yao1 | 药学专业知识（一） |
| yao2 | 药学专业知识（二） |
| fagui | 药事管理与法规 |
| zonghe | 药学综合知识与技能 |

### 14.3 题型说明

| 题型 | 说明 |
|------|------|
| A 型题 | 单项选择题 |
| B 型题 | 配伍选择题 |
| X 型题 | 多项选择题 |

---

**文档结束**