Beim Surfen im Internet sind Sie sicherlich schon einmal auf eine Sitemap gestoßen. HTML-Sitemaps geben dem Besucher eine Orientierung über die URLs der Website. Sie sehen dort auf einen Blick, welche Unterseiten bzw. Kategorien zu der Website gehören.
Aber wussten Sie, dass es spezielle Sitemaps für Suchmaschinenroboter gibt? Das sind Sitemaps im XML-Format. Diese sollen die Crawler zu den wichtigsten URLs Ihrer Internetpräsenz leiten und sicherstellen, dass die Bots beim Indexieren nichts übersehen.
Wir haben es also mit zwei Versionen der Sitemap zu tun. HTML und XML. Es gibt noch weitere Varianten, beispielsweise das Textformat (.txt), oder die um den RSS Feed erweiterte XML-Datei (ror.xml). Jedoch werden diese selten gebraucht und wir lassen sie im SEO-Basics-Tutorial deswegen links liegen.
Kleiner Exkurs
HTML wie auch XML sind Auszeichnungssprachen, keine Programmiersprachen. Das heißt, Sie können damit Texte formatieren, jedoch keine Logik implementieren. Während die Tags von HTML festgelegt sind, bietet XML dem Entwickler die Möglichkeit, seine Tags selbst zu definieren. Obwohl sich XML Dateien in jedem Texteditor öffnen lassen, sind sie nicht dafür konzipiert, von Menschen gelesen zu werden.
Unterschied zwischen HTML- und XML-Sitemaps
Zurück zu unseren Sitemaps. Der Hauptunterschied zwischen den beiden Versionen ist, dass sich HTML-Sitemaps leicht von Benutzern lesen lassen, während XML-Sitemaps für Suchmaschinen geschrieben sind und eine Reihe von Hintergrundinformationen enthalten. Dazu gehört beispielsweise, wann die Seite zuletzt aktualisiert wurde, wie oft sich die Seite ändert und welche Priorität die Seite im Vergleich mit den anderen Unterseiten hat. Die Bots können den Inhalt so auf logischere Weise analysieren.
Eine XML-Sitemap ist zum einen bei sehr umfangreichen oder verschachtelten Websites nützlich, um dem Bot auf direktem Wege zu den wichtigsten URLs zu leiten. Zum anderen hilft sie neuen oder wenig verlinkten Websites von den Bots gefunden zu werden. Das liegt in der Art und Weise begründet, wie die Suchmaschinenroboter arbeiten: diese crawlen sich durch das Internet, indem sie Links folgen. Neue Websites haben von Natur aus keine Backlinks, da sie sich diese erst verdienen müssen. Wenn Sie Google nicht Bescheid geben, dass Ihre Website existiert, kann es also eine Weile dauern, bis der Bot vorbeikommt.
Nun brauchen Sie aber nicht lange auf den Bot warten, denn Sie erstellen sich mit einem Sitemap-Generator sehr unkompliziert eine XML-Sitemap. Danach melden Sie sich kostenlos in der Google Search Console oder in den Bing Webmaster-Tools an und laden Ihre Sitemap hoch. Damit haben Sie die Suchmaschinen von der Existenz Ihrer neuen Website informiert.
Weiter unten in diesem Artikel bekommen Sie mehr Informationen dazu, wie das mit dem Erstellen und Hochladen genau funktioniert.
Brauche ich Sitemaps? Und wenn ja, welche?
Mit einer XML-Sitemap unterstützen Sie die Suchmaschinen-Roboter beim Crawlen. Deswegen lauten die Empfehlungen der SEO-Manager normalerweise, dass Sie eine XML-Sitemap erstellen sollten, zudem das ein simpler Vorgang ist.
Jedoch gibt es auch einige negative Aspekte von XML-Sitemaps.
- Wenn eine Suchmaschine Ihre Website crawlt und bestimmte Seiten nicht indexiert, sagt Ihnen das, dass es eine Schwachstelle gibt. Sei es aufgrund von Problemen mit der Webseiten-Architektur, unzureichendem Inhalt, usw. Mit einer Sitemap hingegen können Sie die Suchmaschine auf sämtliche URLs Ihrer Website hinweisen. Auch auf solche, die ihr sonst verborgen blieben. Und als Ergebnis übersehen Sie Ihre Schwachstelle.
- Außerdem möchten Sie vielleicht nicht, dass Ihre Konkurrenz erfährt, welche Priorität die einzelnen URLs für Sie haben. Denn auf die gleiche Weise, wie Sie einen Sitemaps-Generator für Ihre eigene Website nutzen, können Sie ihn auch auf fremde Websites loslassen.
- Ein weiterer Aspekt ist, dass Sie Ihre Sitemap aktuell halten sollten. Bei statischen Sitemaps hätten Sie ein Problem, sobald sich eine URL Ihrer Website ändert oder eine neue URL hinzukommt.
Letztendlich überwiegen jedoch die Vorteile deutlich, weswegen die Empfehlungen klar für eine XML-Sitemap sprechen.
Bei der HTML-Sitemap sind die Gemüter gespalten. Google empfiehlt in seinen Webmaster Guidelines neben der XML-Version auch einen Seitenindex „mit einer von Menschen lesbaren Liste mit Links“. Der Vorteil ist, dass Nutzer bei einer unübersichtlichen Seite oder einem großen Webshop direkt zur HTML-Sitemap gehen und dort suchen könnten. Der derzeitige Google-Guru Johannes Müller, Webmaster Trends Analyst bei Google in Zürich, argumentiert hingegen: Der häufige Aufruf der HTML-Sitemap sei ein Zeichen für mangelnde UX, da die Unterseiten über die normale Navigation bzw. die Suchfunktion zugänglich sein sollten.
Kurz: Legen Sie gerne eine HTML-Sitemap an. Ein Nachteil wird Ihnen davon auf keinen Fall entstehen. Jedoch dürfen Sie sich freuen, wenn Ihre Besucher diese Sitemap nicht benutzen.
Wie war das noch mit dem Erstellen?
Sie haben viele Möglichkeiten, zu einer XML-Sitemap zu kommen.
- Sie geben die URL Ihrer Website bei einem Online-Tool ein. Dieser Sitemap-Generator ist einfach zu bedienen und wird von vielen SEO-Profis empfohlen. Auch rudimentäre Englischkenntnisse reichen aus, um sich mit dem Tool zurechtzufinden. Negativ fällt hingegen auf, dass der Seite ein Impressum fehlt und deswegen nicht ersichtlich ist, wer hinter dem Tool steht. – Denken Sie daran, jedes Mal eine neue Sitemap zu erstellen und einzureichen, wenn Sie etwas an Ihren URLs ändern. Wenn Sie wollen, können Sie den Job gegen Bezahlung von der Pro-Version des Sitemap-Generators erledigen lassen.
- Variante Nummer zwei wäre ein Plug-in Ihres CMS zu nutzen. Sehr populär ist das Yoast SEO-Plugin, welches unter anderem auf WordPress, Drupal und TYPO3 läuft. Für WordPress-Nutzer könnte das leistungsfähige Rank Math die bessere Alternative zu Yoast sein, da es kostenfrei Funktionen liefert, die bei Yoast nur in der Premium-Version zu haben sind. Wie auch immer, solche Plug-ins sind leicht zu bedienen und für Einsteiger ideal. Wer trotzdem noch Unterstützung mag, findet im Internet viele gute Schritt-für-Schritt-Anleitungen zur Bedienung solcher Plug-ins. Zudem haben Sie bei solchen CMS-Plug-ins den Vorteil, dass Sie sich nicht um die Aktualisierung Ihrer Sitemap kümmern müssen und davon ausgehen können, dass die Datei (normalerweise) keine Fehler enthält.
- Wenn Sie tiefer in SEO einsteigen wollen, lohnt sich die Arbeit mit dem Crawler Screaming Frog, der bereits als kostenlose Version gute Dienste leistet. Beispielsweise beim Sitemap-Erstellen, obwohl das Tool eigentlich für andere Zwecke gedacht ist. Screaming Frog läuft nicht im Browser, sondern wird heruntergeladen und lokal installiert. Der Crawler entwickelt sich in der SEO-Branche immer mehr zu einem Standard für OnPage-Analysen.
Der Backlink-Tool-Anbieter Ahrefs hält Sitemap Generatoren für unzuverlässig und empfiehlt in seinem Blog, die Sitemap über ein CMS-Plugin oder das Tool Streaming Frog zu erstellen.
Danach: Sitemap auf die Website hochladen
Bevor Sie Google über die Existenz Ihrer XML-Sitemap informieren, müssen Sie diese auf Ihren Webspace hochladen.
Da sich die Sitemap nur auf die untergeordneten Elemente des Verzeichnisses auswirkt, sollten Sie die Datei also im Hauptverzeichnis Ihrer Website ablegen. Bei manuell generierten Sitemaps bemühen Sie nun Ihr FTP-Programm. Für diejenigen, die ein CMS-Plug-in nutzen, entfällt der Schritt, weil das Plug-in die Sitemap standardmäßig im Hauptverzeichnis ablegt.
Was Sie sonst noch wissen sollten
Nichts ist perfekt und auch in XML-Sitemaps schleichen sich manchmal Fehler ein. Unter anderem kann so etwas auftreten:
- Sitemap ist zu groß
- Die unkomprimierte Sitemap darf höchstens 50 MB groß sein und nicht mehr als 50.000 URLs enthalten.
- Ihre robots.txt Datei blockiert den Zugriff auf URLs
- In der Sitemap sind 404- oder 410-Fehlerseiten oder Weiterleitungen aufgelistet
- Es gibt widersprüchliche Inhalte
- Wenn von einer Seite mehrere Versionen existieren, sollten Sie die kanonische Version festlegen und auch nur diese in die Sitemap aufnehmen. Seiten, die mit einem Canonical Tag auf eine andere Seite verweisen, haben in der Sitemap nichts zu suchen.
Es ist eine gute Idee, die Datei mit einem geeigneten Tool auf Fehler zu überprüfen, bevor Sie sie bei der Google Search Console einreichen. Suchen Sie zu diesem Zweck nach einem Sitemap Validator oder Sitemap Checker. Sie werden noch weitere gute Seiten finden, auf denen Sie die Validität Ihrer Sitemap überprüfen können.
Noch ein kleiner Exkurs
Ein Konstrukt ist “kanonisch”, wenn es zwar eine Auswahl unter mehreren Möglichkeiten gibt, aber eine Möglichkeit als einfachste und natürliche Variante heraussticht.
Wie kommen die Sitemaps zu Google?
Die Sitemap ist erstellt und befindet sich im Hauptverzeichnis Ihrer Website. Nun ist es Zeit, Google Bescheid zu geben. Auch hier haben Sie wieder mehrere Optionen:
- Variante 1, der Sitemaps-Bericht. Melden Sie sich dafür in der Google Search Console an. In der linken Navigationsleiste finden Sie den Reiter “Sitemaps”. Der Rest ist selbsterklärend. Sie senden die Sitemap-URL ab und können an Ort und Stelle überprüfen, wann die Sitemap das letzte Mal gelesen wurde und ob dabei Fehler aufgetreten sind oder nicht.
- Variante 2. Sie öffnen Ihren Browser und schicken Google einen “Ping”, indem Sie oben in der Befehlszeile folgendes eingeben:
http://www.google.com/ping?sitemap=https://meinedomain.de/sitemap.xml
Wenn Sie beim Anpingen alles richtig gemacht haben, öffnet sich umgehend ein Fenster und Sie bekommen die Rückmeldung “Sitemap-Benachrichtigung erhalten”.
- Variante 3. Sie öffnen Ihre robots.txt Datei und schreiben die Adresse Ihres Sitemaps-Berichts hinein:
Sitemap: https://meinedomain.de/sitemap.xml
Achtung
Auch beim Eintippen Ihrer URL können Fehler unterlaufen. Damit diese Ihre Bemühungen nicht zunichtemachen, beachten Sie insbesondere, dass die Crawler unterscheiden, ob eine URL groß- oder kleingeschrieben wird.
Google führt in seinen Richtlinien für Sitemaps zudem an:
Nun sollten Sie die wesentlichen Informationen über Sitemaps an der Hand haben. Es gäbe natürlich noch mehr zu sagen, beispielsweise über den Crawler Screaming Frog, über CMS Plug-ins oder einfach über Sitemaps. Aber das muss erst einmal warten.
Für das SEO-Basics-Tutorial interessiert vielmehr die robots.txt Datei. Darum wird es im nächsten Beitrag gehen.