跳到主要内容
博客
返回博客

如何在服务器日志中识别 Google Search 流量

2026 年 11 月 12 日,Google 在 Search Central 上发布了一个页面,说明如何在你自己的网站分析工具或服务器日志中识别来自 Google Search 的访问。如果你发布面向搜索的页面,并想知道 Google 是否真的把人带到这些页面,这一点很重要,尤其是在你没有运行任何分析脚本、或很多访客会拦截分析脚本的情况下。本指南面向拥有自己网站的创始人或小团队:需要匹配的 Referer 值、一个从标准访问日志中按页面统计 Google Search 访问量的脚本、如何解读日志与 Search Console 之间的差距,以及一个示例。即使没有 Soloop 账户,本指南也同样有用。它不是 Google 的声明。

简短回答

来自 Google Search 的访问,是对你某个页面(而不是图片或脚本)的请求,其 Referer 标头为 https://www.google.com/、某个本地 Google 域名(例如 https://www.google.co.uk/),或 Google 应用的 android-app://com.google.android.googlequicksearchbox 值。Google 只发送协议和主机名,从不发送路径或搜索查询。

把 URL 中带有 gclid、gbraid 或 wbraid 的请求单独列出:这些是开启了自动标记的 Google Ads 点击,不是自然搜索。你的统计数应该会低于 Search Console 的点击次数,因为浏览器和隐私工具经常会去掉 Referer。与其指望两者一致,不如长期跟踪两者之间的比例。

Google 在 2026 年 11 月 12 日发布了什么

Google 的新页面「Identify Google Search traffic in your web analytics or server logs」位于 Search Central 的「监控和调试」部分。它列出了 Google Search 发送的 Referer 值,解释了 Referer 有时为空的原因,要求只统计落地页请求,并给出了你的数字与 Search Console 对不上的原因。它说明的是如何解读你已经收到的流量;它不是一份新的 Search Console 报告。

需要匹配的 Referer 值

匹配主机名,而不是完整的 URL。下面是 Google 列出的值,按用户点击的位置分类。Android 上的 Google 应用可能会发送 android-app://com.google.android.googlequicksearchbox/https/www.google.com。

Google Search 按不同界面发送的 Referer 值
维度Referer 值需要知道的事
网页版 Google Searchhttps://www.google.com/ 或某个本地 Google 域名,例如 https://www.google.co.uk/ 或 https://www.google.co.jp/要匹配所有国家/地区域名,而不只是 google.com,否则会漏掉美国以外的访客。
Android 上的 Google 应用上文所示的 Google 应用 android-app 值,或网页版的值当应用在浏览器标签页中打开链接时,会出现 android-app 值。
iOS 上的 Google 应用https://www.google.com/ 或某个本地 Google 域名与网页点击无法区分。
Discover与用户看到 Discover 的那个界面相同的值仅凭 Referer 无法把 Discover 与 Search 区分开。
Google 图片以及同源的其他服务与 Google Search 相同的值匹配这些值时会被包含在内;其他 Google 主机(例如 mail.google.com)不属于 Search。

按页面统计 Google Search 访问量

大多数网站服务器都会写入访问日志,每个请求一行。在典型的 Linux 服务器上,nginx 的日志是 /var/log/nginx/access.log;Apache 的日志通常是 /var/log/apache2/access.log,或者是你可以在主机控制面板中下载的文件。下面的脚本读取「combined」格式(nginx 的默认格式,也是 Apache 的常见设置),也能读取轮转后的 .gz 文件。

复制脚本,粘贴到一个名为 google_search_visits.py 的新文件中,先读一遍,然后运行 python3 google_search_visits.py access.log access.log.1 > google-visits.csv。它只需要 Python 3,只读取你电脑上的文件,不会向任何地方发送数据。生成的 CSV 列出每个页面的 Google Search、带 Google Ads 标记和带 ChatGPT 标记的访问量;另外会单独输出一行摘要,包含天数以及按来源统计的全部页面浏览量(包括 Referer 为空的访问)。

下载 Markdown

脚本统计和跳过的内容

  • 只统计成功(2xx)的 GET 或 HEAD 请求,这样重定向和它指向的页面不会被重复统计。
  • 跳过图片、样式表、脚本、字体、订阅源以及 SKIP_PREFIXES 中的路径;它们的 Referer 本来就是你自己的页面。
  • 跳过用户代理看起来像机器人、爬虫、监控工具或命令行工具的请求。任何人都可以伪造 Referer,垃圾机器人就会这么做。
  • 将 Referer 主机名与 Google 的域名做精确匹配,所以 google.example.net 这样的仿冒域名,以及 mail.google.com 这样的其他 Google 主机,都不会被统计。
  • URL 中带有 gclid、gbraid 或 wbraid 的 Google 访问,单独计为 google_ads_tagged。
  • URL 中带有 utm_source=chatgpt.com 的访问,单独计为 chatgpt_tagged。
  • 分组时忽略查询字符串,所以 /pricing 和 /pricing?ref=x 算作同一个页面。

把付费点击和 ChatGPT 访问区分开

Google Ads 的点击同样来自 Google 的域名。开启自动标记后,Google 会在落地页 URL 中添加 gclid;在某些 iOS 点击中则改为添加 gbraid 或 wbraid。如果你在投放广告但关闭了自动标记,脚本统计为 google_search 的访问中可能有一部分是付费点击;Search Console 只统计自然点击。

OpenAI 表示,ChatGPT 会在它从搜索结果中把人带过去的链接里添加 utm_source=chatgpt.com,所以即使 Referer 为空,也能统计这些访问。脚本没有覆盖其他 AI 助手;只有在依据它们自己的文档时,才添加它们的标记或主机名。

与 Search Console 对比

打开 Search Console 的效果报告,选择与日志相同的日期,并按页面筛选。按整周而不是单日来比较,这样时区差异和日志延迟能相互抵消。然后用日志统计数除以 Search Console 中同一页面的点击次数。

日志与 Search Console 之间常见的差距,以及该检查什么
维度可能的原因该检查什么
日志统计数低于 Search Console 的点击次数浏览器、隐私模式、新标签页和隐私扩展会去掉 Referer;这些访问会显示为空。属于正常现象。检查这个比例是否每周大致保持不变。
某个页面在 Search Console 中有点击,但日志中几乎没有访问CDN 提供了缓存副本,你的服务器没有看到这些请求;或者访问被记录在一个会重定向的旧 URL 下;或者某次重定向发送了更严格的 Referrer-Policy。检查你的 CDN 是否保留自己的日志,在旧 URL 下查找这些访问,并检查重定向上的 Referrer-Policy 标头。
日志统计数高于 Search Console 的点击次数未开启自动标记的付费点击、同一个人的重新加载,或带伪造 Referer 的机器人。如果你在投放广告,开启自动标记,并查看多出来的那些行背后的用户代理和 IP 地址。
分析工具把 Google 访问显示为直接访问或引荐访问自定义渠道规则、引荐排除或过滤器对它们进行了重新分类,或者 JavaScript 或 meta-refresh 重定向把 Referer 替换成了你自己的页面。检查分析工具中的渠道分组和引荐排除设置,并使用服务器端重定向。

Referer 无法告诉你的事

  • 搜索查询。请使用 Search Console 的效果报告查看。
  • 点击是否来自 AI 概览或 AI 模式:Google 的页面没有为它们列出单独的 Referer 值。
  • 访问来自 Search、Discover 还是 Google 图片;它们使用相同的值。
  • 有多少不同的人访问过。同一个人重新加载页面会出现两次。
  • Referer 为空的访问来自哪里。其中一些来自 Google,但你无法分辨是哪些。

示例:一篇指南的两周数据

这个例子是虚构的,用来展示这套流程。一位创始人在一个没有任何分析脚本的网站上发布了一篇定价指南,并每周对日志运行一次脚本。

  1. 第 1 周:Search Console 显示 /blog/pricing-guide 有 120 次点击。脚本统计到同一页面有 84 次 google_search 访问。84 / 120 = 70%。
  2. 第 2 周:Search Console 显示 130 次点击;脚本统计到 91 次。91 / 130 = 70%。比例保持不变,所以这位创始人可以在 Search Console 两次更新之间,把日志当作每周的检查手段。
  3. 第 1 周的 CSV 还显示,一次小规模 Google Ads 测试为 /pricing 带来了 6 次 google_ads_tagged 访问,指南有 4 次 chatgpt_tagged 访问。这 6 + 4 = 10 次访问不计入 google_search 一列。
  4. 第 3 周,这位创始人在 CDN 上开启了整页缓存。Search Console 显示 125 次点击,但日志只统计到 12 次访问:12 / 125 约为 10%。现在大多数请求都由 CDN 的缓存响应,所以这位创始人改为在 CDN 的日志上套用同样的匹配规则。

Soloop 能做什么

Soloop 不会读取你的服务器日志、分析数据或 Search Console。请使用上面的脚本和 Google 的工具进行衡量。

Soloop 能帮你做把人带到这些页面的工作:根据 Soloop 手册,它可以附带资料来源调研市场,通过已连接的账户撰写和发布 X 帖子和回复,通过已连接的 Gmail 账户发送外联邮件,并在你完成设置和付款后准备 Google Ads 搜索广告系列,默认情况下各项操作都会等待你的审批。

资料来源、局限与更新

Google 的 Search Central 页面和 Google Ads 自动标记帮助文档均于 2026 年 11 月 17 日查阅。OpenAI 的帮助中心会阻止自动读取,因此其关于 utm_source=chatgpt.com 的说法,取自其发布者常见问题页面在搜索结果中显示的内容。脚本已在一份 combined 格式的样本日志上测试过,样本涵盖网页、国家/地区域名和 Android 应用的 Referer、静态资源、机器人、重定向、Google Ads 和 ChatGPT 标记、仿冒域名和其他 Google 主机、空 Referer、格式错误的行以及 .gz 文件。表格和示例属于编辑建议,示例为虚构。

本指南将在 2027 年 2 月 17 日之前复审;如果 Google 更改该页面、为 AI 功能添加 Referer 值或更改其引荐来源政策,会更早复审。

产品能力

Soloop 手册描述了附带资料来源的调研、通过已连接账户在 X 上发帖、Gmail 外联,以及在完成设置和付款后运行 Google Ads 搜索广告系列;默认先审批。它不会读取日志或分析数据。

Soloop 产品手册