Page 1 of 1

防 抓取某个 URL 而不抓取其他版本。

Posted: Sun Jun 15, 2025 6:28 am
by darafathossain
嗯,您觉得怎么样?您可以在 URL 中使用哈希值。例如,a#b 会跳转到页面上某个特定部分(也称为片段 URL)。例如,您可以在 Moz.com/about/jobs 上看到它。我认为,如果您输入 #listings,它会跳转到招聘信息。您无需阅读关于在这里工作的信息,而是可以直接访问招聘信息。现在,Google 将所有这些都视为一个 URL。因此,他们不会对它们进行不同的分类。它们不会进行不同的索引。它们基本上被规范化到同一个 URL。

不推荐。
我不推荐...


因为你猜怎么着?即使你使用 robots.txt 文件,屏蔽了 Google 蜘蛛,你发送了请求,它们也 马其顿 WhatsApp 号码数据库 无法访问,因为你声明 robots.txt 文件不允许 /b,Google 也不会知道 /b 和 /a 的内容相同。他们怎么可能知道呢?

他们无法抓取它。所以他们看不到这里的任何东西。对他们来说,它是不可见的。所以,他们不知道任何排名信号、任何指向那里的链接、任何参与度信号、任何内容信号,任何有助于提升A排名的排名信号,他们都看不到。如果你用其中一种方式进行规范化,你现在就是在告诉谷歌,是的,B就像A一样,把它们的力量结合起来,把所有的排名能力都给我。