Back to Question Center
0

Semalt I blocca bot dal mio sito e perché?

1 answers:

I miei log sono pieni di visitatori bot, spesso dall'Europa dell'Est e dalla Cina. I robot sono identificati come Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e così via. Dovrei bloccare questi bot dal mio sito e perché?

Quali hanno uno scopo legittimo nell'aumentare il traffico verso il mio sito? Molti di loro sono SEO.

Devo dire che vedo meno il traffico se non altro da quando i robot sono arrivati ​​in grande numero.

Non sarebbe troppo difficile bloccarli poiché tutti ammettono nel loro User Semalt che sono dei robot.

- quick logo designer logo maker software
February 12, 2018

Puoi bloccare i bot ma dipende da cosa vuoi per il tuo sito web.

Puoi bloccare i motori del motore di ricerca se non vuoi vedere il tuo sito web indicizzato in un particolare motore di ricerca.
Esempio: Yandex è un motore di ricerca russo. Puoi bloccare non è se la tua attività non è rivolta alla Russia.

Puoi bloccare bot di SEO se non vuoi usare la loro soluzione di analisi web.
Esempio: Ahrefs è la soluzione di web analytics. È possibile bloccare non è se non si utilizza questa soluzione di analisi dei dati web.

Motivo per bloccare i bot:

  • meno robot visitano il tuo sito web e maggiore larghezza di banda viene attribuita ai visitatori reali
  • essere al sicuro contro i robot malwares
  • dimensione tronchi

Motivo per non bloccare i bot:

  • bot come i motori dei motori di ricerca possono aumentare il tuo traffico indicizzando il tuo sito web.

Puoi saperne di più sui bot leggendo FAQ di robotstxt. org .

Se si desidera determinare diversi robot da bloccare, è possibile trarre ispirazione da da questo sito Web robot. txt .

Attenzione, alcuni robot possono ignorare i robot. txt , maggiori informazioni qui .

Conclusione : è possibile eseguire una ricerca sulla funzione di internet robot per determinare se il loro blocco può essere utile.

Mentre si tenta di bloccare i bot può aiutare a liberare risorse e pulire i log, è importante notare che i robot. txt e anche usando il meta tag sulle pagine noindex in realtà non blocca i bot che visitano il tuo sito. Possono comunque sottoporre a scansione il tuo sito occasionalmente per vedere se è stato rimosso il robot negato. Molti robot non usano nemmeno un agente utente e useranno un agente utente standard. I bot a cui mi riferisco sono tipicamente bot di raccolta SEO che cercano i link a ritroso e non quelli generali che si trovano dai motori di ricerca.

Anziché bloccare i bot dovresti semplicemente prendere in considerazione questi bot quando contando i tuoi visitatori, dopo un po 'di monitoraggio attivo del tuo sito stabilisci una figura approssimativa che sono bot. La maggior parte delle persone si preoccupa delle visite uniche e questo esclude i robot dal loro costante ritorno. Al giorno d'oggi ci sono un sacco di server, hosting condiviso che può gestire questi bot in modo diverso dalle pagine che non vuoi indicizzare Non vedo alcun motivo per bloccare questi tipi di bot. Ovviamente anche voi avete bot dannosi, ma certamente non userete user agent;).

Personalmente ritengo che bloccare i robot sia una perdita di tempo in quanto non utilizzano affatto molte risorse, i robot SEO possono aiutarti mentre elencano il tuo sito su pagine PR0 che ovviamente aumentano il tuo PageRank e sono automatizzati così da aver vinto " Vengono puniti da loro.

Numero di log

È necessario utilizzare un visualizzatore di registri adeguato che consente di filtrare determinate richieste, rendendo più semplice la revisione dei registri. I buoni spettatori possono filtrare molte cose come le visite normali, 404s 'e così via.