非结构化数据清洗与高质量标注难点：非结构化数据清洗与标注实战难点

在做大模型微调、RAG 本地知识库搭建或特定垂直领域垂直模型训练时，行业里常说“数据决定模型上限，算法只是逼近这个上限”。但真正下场抓取、整理过数以百 G 的网页、PDF 文档、客服工单或多格式富文本的人都知道，这句行话翻译成工程现实就是：九成的时间全在干脏活，而且这些脏活往往难以标准化。

非结构化数据天然缺乏 Schema 约束，要想把它变成模型吞得下去的高质量语料，清洗与标注环节横亘着几道极难逾越的工程暗礁。

一、 清洗阶段：隐藏在字符级和排版里的“暗箭”

很多工程团队最初以为写几条正则表达式、调几个开源解析库就能搞定清洗，结果往往被真实数据的长尾分布教做人。

1. 结构破坏与格式残留
   以最常见的网页和 PDF 为例。从 HTML 抽文本，最头疼的不是去广告脚本，而是富文本里杂糅的标签污染。看似干净的段落，底层 DOM 树里嵌着为了 SEO 隐藏的关键词、用于移动端排版的空 <div>，甚至断句错乱的 <span>。如果硬剥标签，句意就会断裂；保留过多，就会给 Tokenizer 引入一堆垃圾噪音。
   PDF 更是重灾区。双栏排版、跨页断句、页眉页脚强行插入文本流，以及复杂的嵌套表格，使用主流解析器抽出来的纯文本，大概率出现段落顺序颠倒或语义错位。模型如果读到被页脚切碎的句子，学到的只是错误的句法关联。

2. 去重与语义保真的互斥
   做大规模语料处理时，MinHash + LSH 或语义向量去重是标配。但纯粹的代码去重极其死板。如果相似度阈值设得激进，很多微调任务所需的差异化表达（比如问答对的微小语义变体）会被无差别干掉；阈值设得保守，论坛回帖、模板化声明、版权警告又会大量留存，直接导致模型产出复读机效应。

3. 隐蔽的编码与字符脏污
   Unicode 字符混用是无声的毒药。全半角混排、不可见控制符、零宽空格、多语言混合时的特殊标点，肉眼看完全正常，一旦送入分词器，原本完整的词组会被切成毫无意义的 Byte 碎片，极大稀释模型的有效注意力。

二、 标注阶段：一致性坍塌与高昂的认知成本

清洗完数据，进入 SFT（监督微调）或强化学习反馈所需的标注环节，真正的成本黑洞才刚刚显现。结构化分类打标容易，非结构化语料的“高质量标注”本质上是在量化人类的主观认知。

1. 规则越精细，标注一致性越差
   在复杂的 NLP 或逻辑推理任务中，通常会制定详尽的标注指南（Guideline）。但现实是，规范写得越厚，标注员的认知盲区反而越多。同样是一段带有情绪倾向的客服对话或医疗咨询，两个背景不同的标注员给出的 Intent（意图）标签可能完全相反。如果标注一致性（如 Fleiss' Kappa 系数）长期在低位徘徊，反复沟通对齐规范的成本会呈指数级上升。

2. 长文本与跨模态的上下文遗忘
   当任务涉及到上万字的长文档摘要、多轮复杂检索问答（Multi-hop QA）时，人工标注的质量断崖式下跌。标注员精力有限，面对长篇幅内容，极易产生“首尾效应”——只看开头结尾，忽视中间关键事实，导致提炼出的问答对出现事实性幻觉或逻辑链断裂。

3. 专家标注的不可替代性与众包矛盾
   通识类语料可以通过众包平台跑量，但稍微涉及工业运维排障、法律条文适用、代码漏洞修补等垂直场景，普通标注人员根本看不懂。然而，领域专家的时薪极高，不可能全职坐在标注系统前逐行打点。退一步让大模型做“弱监督自标注（AI Assisted Annotation）”，又极其容易把上一代模型的偏见、模式化句式和逻辑漏洞放大，形成劣币驱逐良币的数据闭环。

总结

非结构化数据治理不是搭几条流水线就能一劳永逸的事情。它是一场动态的、与现实业务脏数据持续博弈的拉锯战。工程团队往往需要建立极其敏锐的抽检机制、版本化的 Bad Case 追踪链条，以及能够穿透业务理解的质检策略。如果越过这些脏活去谈模型架构创新，最终搭建起来的，大概率只是一座建在流沙上的空中楼阁。