Ab 1. September gelten neue Regeln für die Robots.txt. Google unterstützt dann einige Anweisungen in der Robots.txt nicht mehr! Hier soll nun nur noch die Regel via HTML-Meta-Tag oder X-Robots-Tag-HTTP-Header gesetzt werden! Das Tag oder die Anweisung <meta name=“robots“ content=“noindex“ /> gilt für Suchmaschinen-Crawler. Um andere Crawler wie AdsBot-Google zu blockieren, müssen Sie möglicherweise Anweisungen
↧