业务经理
微信扫描以上二维码
028-61286886
插件 | Sitemap V3.26 |
应用作者 | 太阳成游戏网站官方团队 |
发布时间 | 2019-07-08 10:49:23 |
更新时间 | 2025-01-01 08:41:00 |
官方有考虑 增加LLMs.txt地图功能吗? 1.1 定义与规范 LLMs.txt是一种类似于robots.txt的文本文件,专门用于指导大型语言模型(LLMs)如何访问和利用网站内容。 与robots.txt控制传统网络爬虫不同,LLMs.txt专门针对AI/LLM类爬虫,允许网站所有者明确指定哪些内容可以被AI爬取用于训练,哪些内容应该被排除在外。 它由AI研究者和网络标准组织提出,旨在解决AI训练数据采集与网站内容版权保护之间的矛盾。主要包括: • 文件应放置在网站根目录下(如https://example.com/llms.txt) • 使用简单的文本格式,易于解析 • 支持通配符和路径匹配 • 可以指定允许或禁止特定AI系统访问 基本规范 LLMs.txt文件通常放置在网站的根目录下(如:https://example.com/llms.txt),其语法结构与robots.txt类似: User-agent: [AI爬虫名称] Allow: [允许访问的路径] Disallow: [禁止访问的路径]
插件教程:/doc/app-428.html