Incredibile... esiste anche un sito x robots
Intediamoci, si parla di robots nel senso di spyder: cioè quei programmi che navignano di link in link per indicizzare le pagine web.
Ebbene si... esiste un apposito sito, http://www.robotstxt.org/wc/robots.html che fornisce tutte le delucidazioni necessarie a webmaster e sviluppatori web.
Tags:
