国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

Google 开源 robots.txt 解析器

发布时间:2019/07/03标签:   技术    点击量:

原标题:Google 开源 robots.txt 解析器
Google 称从前 25 年Robots Exclusion Protocol (REP)协定始终是一种商定的尺度,给网站治理员职员和爬虫东西开辟者带来了许多不断定性。Google 当初发布它将领先努力于让 REP 成为一个行业尺度,作为这个尽力的一局部,它开源了本人应用的 robots.txt 剖析器,源代码托管在 GitHub 上,采纳 Apache License 2.0 允许证。robots.txt 剖析器是一个 C++ 库,用于剖析和婚配 robots.txt 文件中的规矩,它曾经有约 20 年汗青了,包括了 1990 年月写的代码。【编纂推举】美创企演示新存储技巧:16GB维基百科数据写入DNAMongoDB:有人敢像我一样说出开源的实在意图吗?技巧老鸟不能错过6月的这十篇热点文章揭秘顺序员在「外包」、「技巧导向型」和「营业驱动型」公司的平常生涯技巧无罪?AI间接“脱掉”女性的衣服_技巧栈微信半月刊第44期【义务编纂:张燕妮 TEL:(010)68476606】 点赞 0

版权信息Copyright © IT技术教程 版权所有    ICP备案编号:鲁ICP备09013610号