Google admite los siguientes campos:

user-agent: identifica al rastreador al que se aplican las reglas.
allow: ruta de URL que se puede rastrear.
disallow: ruta de URL que no se puede rastrear.
sitemap: URL completa de un sitemap.