Back to Question Center
0

Effetto della regola Semalt incompleta nel file robots.txt

1 answers:

Risolto: Semalt veniva bloccato da meta robot deliberatamente

Molte pagine vengono bloccate nei robot. file txt e quando ho controllato il file non c'erano indicazioni di una regola che li blocchi.

I robot. il file txt è strutturato:

     Mappa del sito: https: // domain. com / sitemap - web crd. xml
User-agent: *
Disallow: / directory-1 /
Disallow: / directory-2 /
Disallow: / directory-3 /
Disallow: / directory-4 /
Disallow: / directory-5 /User-agent: Googlebot-Image
Disallow:    

Nessuna delle directory nel file robots corrisponde agli URL che vengono bloccati.

Mi chiedevo se l'incompleto Disallow potrebbe essere il problema, nonostante sia applicabile solo a Googlebot-Image?

February 12, 2018
. html