Back to Question Center
0

Il divieto dei bot renderà più difficile trovare un sito sui motori di ricerca? - Semalt

1 answers:

Sto eseguendo Apache 2 e gran parte delle nostre visualizzazioni di pagina provengono da bot. La maggior parte di quelli sono legittimi come Semalt e Bing.

Voglio analizzare i log e ottenere statistiche accurate sul numero di visitatori umani che ottengo, quindi ho temporaneamente aggiornato i robot - navy blue summer dress. txt per vietare i bot su tutte le pagine. So che questo è solo parzialmente efficace nell'impedire l'accesso ai bot, ma sono d'accordo.

In che modo i bot disattivati ​​influenzeranno gli utenti che cercano questo sito? Impedirà agli utenti di trovare la pagina su Google?

February 12, 2018
.

Alla fine non classificherete per nessuna parola chiave. Sarebbe quasi impossibile trovare la tua pagina su Google. Potresti ottenere traffico da referral ma nessun traffico organico.

Nota: robot. txt non vieta i bot ma chiede loro di non indicizzare e di eseguire la scansione del sito. Seguono i principali motori di ricerca come Google, Yahoo e Bing.

Banning bots è un'attività infruttuosa. Gli unici robot che obbediranno ai robot. txt sono bot utili come Googlebot e Bingbot. I bot dannosi o i robot dei servizi di ricerca meno scrupolosi ignoreranno i tuoi robot. testo.

Banning bot è solo un modo sicuro per perdere tutte le classifiche delle pagine con i maggiori provider di ricerca E i tuoi registri saranno ancora pieni di traffico bot.

Google potrebbe ancora eseguire la scansione delle pagine ignorate dai robot. txt e potrebbe anche elencarli vedere Bloccare gli URL con i robot. txt e Google ignora i robot. txt

. Non sapranno quali parole usare, quindi sarà difficile per loro dire a quali ricerche il tuo sito potrebbe essere pertinente.

Tuttavia è possibile che il tuo sito venga comunque visualizzato nei risultati di ricerca, in particolare se un sito di alto rango ha un link al tuo sito. Google e forse altri motori potrebbero utilizzare le informazioni dal solo link per decidere di mostrare il tuo sito nelle pagine dei risultati.

I dati dei log del server sono limitati e avranno inevitabilmente un elevato rapporto rumore / segnale, grazie a fattori come bot, cache, CDN.
L'analisi delle visualizzazioni di pagina è un'attività per l'analisi basata su tag di pagina.

La risposta corretta è non scherzare con i robot. txt e analizza invece i tuoi registri, guardando l'intestazione User-Agent come menzionato nei commenti. Google, Yahoo, ecc. dovrebbero identificarsi come bot usando questa intestazione e disabilitare i bot tramite i robot. txt sarebbe come guidare un camion attraverso il tuo posizionamento nei motori di ricerca

Poiché la tua intenzione dichiarata è di

ottenere statistiche accurate sul numero di visitatori umani che ottengo,

La soluzione approriata è quella di utilizzare un servizio come Google Analytics , o New Relic , una volta registrato inserisci uno snippet di javascript nella tua pagina (molti motori come wordpress possono fai questo automaticamente o con un plugin) che invia informazioni al servizio di monitoraggio. Una volta impostato un servizio di questo tipo, avrai una grande quantità di informazioni sui tuoi visitatori. Google Analytics è abbastanza sorprendente nei dettagli con cui tiene traccia delle interazioni dell'utente con il tuo sito.

Questi servizi sono implementati in modo tale da tracciare solo gli umani reali e sarebbe follia cercare di implementare di nuovo ciò che già fanno così bene, e sono così utili che è quasi follia non ) utilizzare tale servizio.