robots.txt und KI-Crawler richtig einstellen

https://kiberblick.de/artikel/grundlagen/robots-txt-ki-crawler/