User-agent: *
Disallow: /any/ssi/ # не индексировать эти каталоги
Disallow: /any/images/ # не индексировать эти каталоги
Disallow: /any/notest/ # не индексировать эти каталоги
Disallow: /c0fe2a01bdc6235712ciu2553post/ # не индексировать эти каталоги
Disallow: /c0fe2a01bdc4373f813f21566cec2553/ # не индексировать эти каталоги
Disallow: /614a3b000ce695c1630cf2d2a0762da1/ # не индексировать эти каталоги
Disallow: /cp/ # не индексировать эти каталоги
Disallow: /cgi-bin/ # не индексировать эти каталоги
Disallow: /webalizer/ # не индексировать эти каталоги