robots.txt – Was ist das und wie erstelle ich diese?

Was ist eine robots.txt? Die  robots.txt, ist eine reine Textdatei (nicht HTML), die vom Webmaster einer Domain/Webseite erstellt wird um den Bot einer Suchmaschine anzuweisen, auf welche Teile einer...