用于指示搜索引擎的元标记

来自 Google:

元标记是网站管理员向搜索引擎提供其网站信息的好方法。元标记可用于向各种客户端提供信息，并且每个系统仅处理其理解的元标记并忽略其余标记。

如果要完全阻止所有搜索引擎

<meta name="robots" content="noindex, nofollow">
<!-- or -->
<meta name="robots" content="none">
<!-- or if you only care about Google... -->
<meta name="googlebot" content="noindex, nofollow">

为什么？

也许它是您网站上一个相对私密的 URL，但没有以某种方式受到保护，以至于搜索引擎无法看到它。例如，如果某个页面需要登录才能查看，则无论如何都会阻止搜索引擎访问它。但如果它只是一个模糊的 URL，谁知道搜索引擎是如何绕过的，所以您可能想要阻止索引。

搜索结果是另一个常见的例子。也许拥有搜索结果作为搜索结果有点奇怪。WordPress 主题往往包含此项

<?php if (is_search()) { ?>
  <meta name="robots" content="noindex, nofollow">
<?php } ?>

我可能会稍微修改一下，并告诉机器人，嘿，您可以在这里跟随链接以帮助继续索引站点，但不要专门索引此页面。

<meta name="robots" content="noindex, follow">

其他

搜索引擎倾向于使用描述标签来显示<title>旁边的文本内容

<meta name="description" content="A description of the page" />

查看 Google 页面以了解其他 Google 特定的内容，例如停止 Google 特定 UI 内容（如其“网站链接搜索框”）的功能。