robots.txt Generator

Was ist die robots.txt Datei? Brauche ich sie? Wo ich sie finde, nach welchen Regeln ich eine robots.txt erstelle – und was das “no-index” soll.