Bei Magento kann es vorkommen, das der Suchrobot genau indem augenblick über den Online Shop crawlt während ihr z.B. Importiert... dies hat zur Folge das solche URLs entstehen können.
Auch wird häufig nachdem Import vergessen unter SYSTEM -> Cache Verwaltung die Katalog Rewrites neu geneieren zu lassen. Wird nachdem Import vergessen die Katalog Rewrites neu zu schreiben erhält man unsaubere Urls.
- meinshop.de/product.html << Nach Katalog Rewrite
- meinshop.de/category1/product.html
- meinshop.de/catalog/product/view/id/1/
- meinshop.de/catalog/product/view/id/1/category/1/
Es gibt eine Möglichkeit Suchmaschinen mithilfe einer sogenannten robots.txt anzuweisen bestimmte Bereiche zu Indexieren (auf die nicht verlinkt wurde) oder ebend nicht indexieren zu lassen.
Die robots.txt wird einfach im Hauptverzeichnis von Magento plaziert.
/app
/...
/robots.txt
------------------------ Copy SEO FIX -> robots.txt -----------------------------------------
User-agent: Googlebot
Disallow: /index.php/
Disallow: /*?
Disallow: /*.js$
Disallow: /*.css$
Disallow: /checkout/
Disallow: /tag/
Disallow: /catalogsearch/
Disallow: /review/
Disallow: /app/
Disallow: /downloader/
Disallow: /js/
Disallow: /lib/
Disallow: /media/
Disallow: /*.php$
Disallow: /pkginfo/
Disallow: /report/
Disallow: /skin/
Disallow: /var/
Disallow: /catalog/
Disallow: /customer/
Disallow: /sendfriend/
Sitemap: http://www.meinmagentoshop.de/sitemap.xml
User-agent: *
Disallow: /index.php/
Disallow: /*?
Disallow: /*.js$
Disallow: /*.css$
Disallow: /checkout/
Disallow: /tag/
Disallow: /catalogsearch/
Disallow: /review/
Disallow: /app/
Disallow: /downloader/
Disallow: /js/
Disallow: /lib/
Disallow: /media/
Disallow: /*.php$
Disallow: /pkginfo/
Disallow: /report/
Disallow: /skin/
Disallow: /var/
Disallow: /catalog/
Disallow: /customer/
Disallow: /sendfriend/
Sitemap: http://www.meinmagentoshop.de/sitemap.xml
------------------------ PAST SEO FIX -> robots.txt -----------------------------------------
