Telegram羊毛福利线报 抓取数据中的实体抽取（NER）：人名、地址与链接定位

Telegram羊毛福利线报 网页抓取完成后，真正困难的工作往往不是“拿到文本”，而是从混杂着导航、广告、正文和脚本的数据中，准确定位人名、地址与链接。如果实体边界识别错误，后续的搜索索引、知识图谱、客户线索整理和内容分析都会受到影响。

命名实体识别（Named Entity Recognition，简称 NER）能够把非结构化文本转换为可查询的结构化数据，但通用模型并不能直接解决所有抓取场景。一个可靠的方案需要同时处理页面清洗、规则抽取、模型识别、实体归一化、质量评估与隐私合规。

🔍 先理解抓取数据中的实体抽取

NER 的目标不只是判断一段文字里有没有人名或地址，还要确定实体在原文中的起始位置、结束位置、类型和可信度。例如“张伟在深圳市南山区科技园工作”可以被拆分为 PERSON、LOCATION 等实体。

{
  "text": "张伟在深圳市南山区科技园工作",
  "entities": [
    {"text": "张伟", "type": "PERSON", "start": 0, "end": 2},
    {"text": "深圳市南山区科技园", "type": "ADDRESS", "start": 3, "end": 12}
  ]
}

在新闻、企业官网和公开目录中，同一实体可能存在简称、别名或格式差异。抽取系统因此需要区分实体识别与实体归一化：前者找到文本片段，后者把不同写法关联到统一对象。

Telegram羊毛福利线报 🧹 第一步：清洗页面并保留位置映射

原始 HTML 中通常包含菜单、页脚、隐藏元素、推荐列表和重复模块，直接交给 NER 模型会制造大量误报。应先移除 script、style、noscript 等非正文节点，再依据 DOM 密度、标签语义或正文抽取算法筛选主要内容。

清洗时不能只保存纯文本，还要记录文本与 DOM 节点之间的映射。这样在模型返回实体偏移量后，系统才能将结果定位回原页面，并标记实体来自标题、正文、作者栏还是联系信息区域。

{
  "page_url": "https://example.com/article/123",
  "blocks": [
    {
      "node": "article > p:nth-of-type(2)",
      "text": "联系人张伟，办公地址为深圳市南山区。",
      "page_start": 36
    }
  ]
}

空白合并、繁简转换和特殊字符替换也可能改变字符偏移。最佳实践是保留原始文本、标准化文本和偏移映射表，避免实体高亮错位或证据无法追溯。

👤 第二步：准确识别人名及其上下文

中文人名长度较短，容易与品牌名、职位和普通词语混淆，例如“高明”既可能是姓名，也可能是形容词或地名。仅依靠姓氏词典会产生较高误报，应结合上下文中的“先生”“记者”“负责人”“作者”等角色词判断。

适合生产环境的方法是将预训练 NER 模型作为基础，再用行业标注数据进行微调。招聘页面可以增加候选人和招聘者标签，新闻页面则应区分事件人物、作者与被引用者。

人名消歧不能只看字符串

不同页面中的“李娜”不一定是同一个人，可以综合机构、职位、城市、关联人物和页面时间进行判断。系统应输出候选关联及置信度，而不是在证据不足时强行合并。

{
  "entity": "李娜",
  "type": "PERSON",
  "context": {
    "organization": "某科技公司",
    "role": "产品负责人",
    "city": "杭州"
  },
  "confidence": 0.93
}

📍 第三步：分层抽取并标准化地址

地址不是单一词语，而是由国家、省、市、区县、街道、门牌号和建筑名称组成的层级实体。网页中还常见“中关村附近”“总部位于浦东”等不完整表达，因此地址抽取需要允许部分字段为空。

Telegram羊毛福利线报 规则引擎擅长识别“路、街、号、楼、室”等稳定后缀，NER 模型则更适合处理简称和自然语言表达。将两者结合，并使用行政区划库校验上下级关系，通常比单一方法更可靠。

{
  "raw_address": "杭州市余杭区文一西路969号3幢",
  "normalized": {
    "province": "浙江省",
    "city": "杭州市",
    "district": "余杭区",
    "road": "文一西路",
    "number": "969号",
    "building": "3幢"
  }
}

地理编码服务可以进一步将地址转换为经纬度，但返回结果必须携带来源、匹配等级和时间戳。对于同名道路、行政区调整或缺失城市的信息，应降低置信度并保留原始地址，不可静默覆盖。

🔗 第四步：从 HTML 与正文中定位链接

链接抽取不应只依赖 NER，因为 HTML 的 href 属性已经提供了明确结构。系统应优先解析 DOM 中的锚点、canonical、分页链接和结构化数据，再使用正则或模型补充正文里的裸 URL。

相对路径需要基于页面地址转换为绝对 URL，同时移除片段标识并按业务需要处理跟踪参数。对于 javascript、mailto、tel 和 data 协议，应分别分类，不能全部当作普通网页链接。

absolute_url = urljoin(page_url, href)
normalized_url = remove_tracking_params(
    absolute_url,
    ["utm_source", "utm_medium", "utm_campaign"]
)

链接记录至少应包含目标 URL、锚文本、rel 属性、DOM 位置和来源页面。通过这些字段可以判断链接是正文引用、站内导航、下载资源还是带有 sponsored 或 nofollow 属性的推广链接。

处理重定向与失效链接

验证链接时应设置连接超时、最大响应体积和重定向次数，并限制访问私网地址，防止 SSRF 风险。不要仅凭状态码认定页面有效，还需记录最终 URL、内容类型和检查时间。

⚙️ 第五步：搭建规则与模型协同管线

成熟的实体抽取系统通常采用多阶段架构：抓取器负责获取页面，解析器负责提取正文，规则层处理确定性格式，模型层识别语义实体，归一化层完成去重和标准化。每个阶段都应保留输入、输出和错误原因，方便复查。

Telegram羊毛福利线报 当规则和模型结果冲突时，可以按照数据来源设定优先级。例如 href 属性识别链接的权重高于正文模型，完整行政区划匹配的地址则高于缺乏上下文的短地名。

最终得分 = 模型置信度 × 0.55
         + 规则匹配得分 × 0.25
         + 上下文一致性 × 0.20

阈值不宜凭经验一次确定，应通过人工标注验证集进行校准。高风险业务可提高精确率门槛并增加人工审核，内容检索场景则可以适当提高召回率。

📊 第六步：评估实体抽取质量

NER 的基础指标包括精确率、召回率与 F1 值，并应分别统计人名、地址和链接。只看总体分数可能掩盖某一类实体表现很差的问题。

评估时还要区分严格匹配与宽松匹配，例如标准答案是“北京市朝阳区”，模型只返回“朝阳区”，在严格指标下属于边界错误。建议建立包含短名称、嵌套地址、相对链接、重定向链接和噪声页面的测试集。

线上监控则应关注实体数量突变、低置信结果占比、页面模板变化和解析失败率。抓取站点改版后，即使模型没有变化，正文抽取和 DOM 定位也可能立刻失效。

🛡️ 数据合规与可信使用边界

公开可访问不等于可以无限制收集和再利用，抓取前应检查 robots.txt、网站条款、版权要求及适用的数据保护法规。涉及姓名、详细地址等个人信息时，应遵循目的限定、数据最小化和保存期限控制原则。

数据库中应保存来源 URL、采集时间和处理依据，并为敏感字段设置访问权限。对外展示结果时，应考虑脱敏、删除申请与纠错机制，避免将模型推断当作已经核实的事实。

从 EEAT 角度看，可追溯证据比“抽取数量”更重要。每个关键实体都应能返回原始页面片段与抓取时间，让审核者判断其准确性、时效性和上下文。

❓ 常见问题解答（FAQ）

NER 和正则表达式应该选择哪一个？

两者并非替代关系，URL、邮箱和规则完整的地址适合使用正则或解析器，人名与语义模糊的地点更适合使用 NER。生产系统通常采用规则优先、模型补充、统一校验的组合方案。

Telegram羊毛福利线报 为什么通用中文 NER 模型效果不稳定？

通用模型的训练语料与目标网站可能存在领域差异，而且网页噪声会破坏正常句子结构。使用真实业务样本进行标注和微调，并持续收集错误案例，通常能显著改善效果。

如何处理动态渲染页面中的实体？

应先判断数据是否来自公开 API、页面初始状态或 JavaScript 渲染结果，优先选择稳定且获准访问的数据源。必须使用浏览器渲染时，要等待目标节点出现，并记录最终 DOM 与页面 URL。

实体结果需要保存哪些字段？

建议保存原始文本、标准化值、实体类型、字符位置、DOM 路径、来源 URL、抽取方式、置信度、模型版本和采集时间。这些字段能够支持去重、审计、模型回归测试与错误修正。

如何降低人名和地址的误报？

可以增加负样本，结合角色词、行政区划和页面区域特征，并为短实体设置更高阈值。对于低置信结果，应进入人工复核队列，而不是直接写入核心业务数据库。

高质量的抓取数据实体抽取，本质上是一套可验证的数据工程流程，而不是一次模型调用。只有把结构解析、语义识别、标准化、质量评估与合规治理连接起来，才能稳定获得可搜索、可追溯且可用于实际业务的人名、地址和链接数据。