收录标准为什么不能全靠机器判定

2026-11-10

自动抓取能拿到标题和描述,但判断"这个站到底解决什么问题"仍然要人来做。说明机器能做什么、人必须做什么。

做一个网站目录,最容易的路径是全自动:抓标题、抓描述、丢进列表。这样的目录三个月就会变成一堆失效链接和重复条目。我们把流程拆成两段,机器做机器擅长的,人做判断。

机器擅长的四件事

1. 可用性检测。定时请求每个站点,记录状态码、响应时间、跳转链路。这件事人做不了,也不该做。 2. 去重。同一个可注册域名只收录一次,规范化 URL 之后比对,比人肉查重可靠。 3. 元数据抓取。标题、描述、OG 图、favicon、语言标记,这些都在 HTML 里写着,抓一次就有。 4. 变更发现。标题改了、跳转到新域名了、连续多次失败,这些信号机器最敏感。

机器做不了的三件事

**第一,判断它到底解决什么问题。** 官网标题常常是"XX - 让工作更高效",读完不知道它做什么。要写出一句能让人判断"我需不需要"的介绍,必须打开产品页、看功能列表、必要时注册试用。

**第二,判断描述是否夸大。** "全球领先""行业第一"这类话,机器无法证伪,人可以。看到"免费"就去点一下导出按钮,看到"支持中文"就切一下语言,几分钟就能验证。

**第三,判断是否值得推荐。** 一个站点技术上完全可用,但内容全靠转载、广告比正文多、每一步都诱导下载 App。这些判断依赖经验,不依赖规则。

人工审核的具体动作

我们的做法是固定的五步:打开首页看定位、找到功能页看能力边界、找定价页看免费与付费的分界、搜索一次品牌名看是否有明显风险记录、写一句话简介和一段完整介绍。五步走完,通常需要五到十分钟。

这就是为什么目录站的数量增长慢。三百个站点,按每条八分钟算,是四十个工作小时,还没算抓取失败后的重试。

自动化的边界在哪

我们允许机器做的事:抓取、比对、状态监控、字段校验(比如描述长度、必填项)。我们不允许机器做的事:生成介绍文案、判定精选、决定是否收录。

原因很实际:一旦让模型"根据官网信息生成介绍",它会顺手补上不存在的信息——价格、支持的平台、是否开源。这些错误读者一眼看不出来,但会毁掉整个目录的可信度。

宁可慢一点,也不要写一句自己没法验证的话。