Zusammenfassung:
Während eines Webmaster-Calls warnte Google-Mitarbeiter John Müller davor, dass in robot.txt blockierte Seiten weiterhin mit Links, die auf sie verweisen, indiziert werden können.
Dies kann ein Problem sein, da Google in diesem Fall aufgrund des Blockierens durch Scannen keine Inhalte sehen kann. Wenn die Website Inhalte enthält, die aus irgendeinem Grund vor Google verborgen sein sollten, empfiehlt es sich, dass Meta-Tag noindex zu verwenden.
„Wenn diese Seiten in robots.txt blockiert sind, ist es theoretisch möglich, dass jemand versehentlich auf einen von ihnen verweist. Und wenn das passiert, können wir diese Seite ohne Inhalt indizieren, da sie in robots.txt blockiert ist. Wenn also etwas auf diesen Seiten nicht indexiert werden soll, dann entfernen sie es nicht, sondern verwenden Sie das noindex-Meta-Tag „, sagte Mueller.
