它是一个 robots.txt 在线生成器。
robots.txt 是放在网站根目录的一个纯文本文件,用来告诉百度、谷歌、必应等搜索引擎:哪些页面可以抓取,哪些不能抓取,抓取频率是多少,网站地图在哪里。
这个工具把写 robots.txt 这件事变成了“填空 + 选择”,你不需要记语法,也不用担心写错格式。
主要功能
一键设置所有蜘蛛规则
可以选择“允许”或“拒绝”所有搜索引擎爬虫抓取网站。限制目录
输入不想被爬虫抓取的路径,比如 /admin/、/private/,工具会自动生成对应的规则。添加 Sitemap
可以添加多个网站地图地址,方便搜索引擎更快收录你的页面。单独配置搜索引擎
支持百度、谷歌、必应、搜狗、360、头条、神马、Yandex、GPTBot 等十多种爬虫,可以单独设置“允许”“拒绝”或“默认”。实时预览
左边设置,右边立刻显示生成好的 robots.txt 内容,所见即所得。复制和导出
生成后可以一键复制代码,或者直接下载 robots.txt 文件,放到网站根目录就能用。清空数据
点一下“清空数据”,所有设置恢复初始状态,重新开始。
适合谁用?
网站站长:想控制搜索引擎抓取范围,保护后台或敏感目录。
SEO 人员:需要快速生成规范 robots.txt,配合网站优化。
前端/后端开发者:懒得手写规则,用工具生成更省事。
建站新手:不懂 robots.txt 语法,但想给网站加一份标准规则。
用起来什么感觉?
整个界面分左右两块:左边是设置区,右边是预览区。
操作很直观——选单选、填路径、点加号,右边马上就能看到结果。
按钮反馈清晰,添加、删除、复制、下载都有提示,不会让人不知道发生了什么。
手机上也能够正常使用,左边设置完,右边往下滑就能看到预览和操作按钮。
简单说就是:不用记语法,点几下就能生成一份能直接用的 robots.txt。