StartseiteWebTipps & Tricks

robots.txt

23. AUGUST 2011
von Jörg
Web - Tipps & Tricks

Die robots.txt dient dazu, bestimmte Dateien/Seiten der Webseite oder Verzeichnisse von den Spider der Suchmaschinen oder anderen Crawlern auszuschließen.

Vorteile einer robots.txt
  • Verhindert das Durchsuchen bzw. indexieren von Log-Dateien, internen Bereichen oder von private Dateien.
  • Bei nicht existierender robots.txt wird, beim Versuch von einem Spider diese zu öffnen, in der Besucherstatistik eine 404 Fehlerseite aufgeführt, da die Datei ja nicht gefunden wurde.
  • Eine vielleicht bessere Durchsuchung der Webseite von den Suchmaschinen.
  • Sehr viele Robots wollen nur die Webseite durchforsten, auf der Suche nach einer EMail oder nach sonst irgendwelchen angreifbaren Stellen, um Spam erzeugen zu können oder schlimmeres. Eine kleine Liste solcher Robots kann in der robots_evil.txt eingesehen werden. Da die robots.txt als eine Art Verbotsschilder oder Wegweiser im Wald zu sehen sind, gibt es auch Robots die diese erst gar nicht lesen, somit auch nicht beachten und dann alle Seiten, Dateien und Verzeichnisse crawlen. Solche Robots sollten dann mit einem Eintrag in der .htaccess gesperrt werden. Dennoch beachten die meisten Spider die robots.txt.
Beitrag anzeigen ⇒

Images vorladen

26. JULI 2011
von Jörg
Web - Tipps & Tricks

Da bei einem Link ein Bild welches bei einem Hovereffekt benötigt wird, erst dann vom Server in den Browsercache geladen wird wenn der Effekt stattfindet und es dadurch zu einer unschönen Verzögerung bei der Darstellung kommt, ist es ratsam diese "Hoverbilder" in den Cache vorzuladen.

Beitrag anzeigen ⇒

Webseiten optimieren

26. JULI 2011
von Jörg
Web - Tipps & Tricks

Hier möchte ich eine Liste aufstellen und pflegen, welche die Punkte auflistet, die es gilt bei einer neuen Webseite zu kontrollieren und gegebenfalls zu verbessern, um auf dem Markt im World Wide Web mehr Erfolg zu haben und bei Suchmaschinen seine Position verbessern kann.

Beitrag anzeigen ⇒
Ein Frosch der sich an der Seite festhält