Indexování stránek - Indexováno, ačkoli je přístup blokován souborem robots.txt

Ahoj,
řeším tento problém už nějakou dobu a stále se mi nedaří přijít na to jak by se to dalo udělat. Google Search Console mi píše, že mám problém s indexováním některých stránek ale že jsou indexovány i když je přístup blokován souborem robots.txt.

Joomla 3.10.11 + VirtueMart 3.8.8 10472

URL jednotlivých stránek jsou nejspíše nějak generované systémem a já nevím jak se této hlášky zbavit. Načetl jsem vše co je k dispozici ale asi jsem pako

Příklady URL:     atd asi 4500 stránek.

Příklad robots.txt:

---

# If the Joomla site is installed within a folder
# eg www.example.com/joomla/ then the robots.txt file
# MUST be moved to the site root
# eg www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to all of the
# paths.
# eg the Disallow rule for the /administrator/ folder MUST
# be changed to read
# Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# www.robotstxt.org/orig.html

# Change 16.10.2022
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
# Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
# Disallow: /modules/
# Disallow: /plugins/
Disallow: /tmp/
# NEW
# Disallow: /index.php?option=com_form2contentsearch 
# Disallow: /*format=feed
Disallow: /index.php?Itemid=
Disallow: /index.php?page=shop.browse 
Disallow: /index.php?option=com_virtuemart 
Disallow: /index.php?categorylayout=
Disallow: /index.php?productsublayout= 
Disallow: /e-shop/cart
Disallow: /kosik/
Disallow: /*notify$
Disallow: /*plgContent
Disallow: /*?tmpl=postmodule
Disallow: /vysledky-vyhledavani
Disallow: /*?format=feed&type=*

Sitemap: www.avhifi.cz/index.php?option=com_vm_map&lang=cs

---

Upravil jsem si ho dle zdejší konverzace a příkladu od Rudolfa, snad dobře.

Prosím je zde ještě někde něco co jsem opomenul?
Moc děkuji za navedení na stopu....
Leoš

No chce to trochu přemýšlet a ne slepě kopírovat.
Tohle přesně nesnáším.
Všichni chtějí radu zadarmo a pak to jen zkopírují a nepřemýšlejí, to se nikdy nic nenaučíte...
Proto mě to nebaví dávat rady.

Na co je Vám v robots.txt tohle co jsem poslílal?

Disallow: /index.php?page=shop.browse 

To jste měl zaindexované stránky z VM1.19?

Na co jsou Vám URL

Disallow: /e-shop/cart
Disallow: /kosik/
Disallow: /*plgContent
Disallow: /*?tmpl=postmodule
Disallow: /vysledky-vyhledavani

Vy tyto URL máte na eshopu a zaindexované?
Určitě nemáte plugin postload, to bych se moc divil, ten vyvíjíme s Rupostelem a pochybuji že ho používáte.
Určitě nemáte URL kosik nebo vysledky-vyhledavani nebo e-shop/cart, tyhle URL jsem si vytvořil v hidden menu já na svých eshopech a nepamatuji se že bych je někomu v rámci supportu vytvářel.
A taky bych trochu pochyboval že používáte F2C a náš plugin na generování URL v šabloně F2C, který se projevuje při chybě SEF generováním URL s plgContent.

URL jednotlivých stránek jsou nejspíše nějak generované systémem a já nevím jak se této hlášky zbavit.

Ano, jsou.
Těmto SEO specialitám (většinou je nikdo neřeší, natož aby věděli admini Joomla webů co je GSC) se věnujeme posledních 6 let a přiznám se že počet hodin na jeden eshop se pohybuje kolem 200-300.

Je to součástí mé práce a taky trochu know how a pozor, je to neustálé ladění, protože Google mění a přidává bez upozornění další a další požadavky.

Ncméně trochu Vás navedu:
- úprava robots nestačí
- zaindexované stránky neodstraníte zakázáním procházením v robots.txt ale pomocí direktivy 410
- generování takovýchto URL je v core VM a záleží jestli používáte SEF apolikaci nebo ne.
- indexování takovýchto stránek je někdy žádoucí, ale spíše ne.
- aby se neindexovaly, musíte jít do core a přidat directivu pro roboty do výstupu HTML - noindex, nofollow (nemusí být vždy pravda)
- použitím aplikací zadarmo většinou nic nevyřešíte a povětšinou vytvoříte další skryté problémy
- nepracujte jako 99% programátorů a většina doktorů - léčí jen syptomy ale nezjišťují příčinu - Proč odesíláte do indexu feedy článků? - je jednoduché nastavení jak to zakázat. To že to má Joomla ve defaultu povolené už od doby 1.5 neznamená že je to žádoucí.

Například na jednom eshopu těchto stránek mám po napadení virem asi 160 000.

Welcome ve světě open-source 

Ahoj Rudolfe,
díky za tvůj příspěvek. Jelikož jsem pouhý samouk a nemám nad sebou žádného mentora, který by mi dával pár pohlavků, když udělám něco blbě, tak se omlouvám za ty "kopírované věci z tvého robots.txt". Věř mi, že jsem se opravdu snažil načíst informace o této problematice. Mám to ještě ztížené tím, že nevládnu angličtinou - musím si to překládat a pak odhadovat co to autor myslel. Navíc nejsem programátor (pouze hasič) a weby jsem se učil dělat sám, proto mi možná spoustu věcí - technologií - trochu uniká v tom celém kontextu potřebných souvislostí v provozu a funkci webových technologií. Ani nevím kolik tisícovek hodin už jsem proseděl u čtení manuálů Něco asi dělám blbě nebo jsem starý (53)

Použil jsem tvůj návod v dobré víře a s vědomím, že to asi nebude úplně 100%. Snažím se tomu přijít na kloub ale je to pro mne vše zdlouhavé, tak někdy zkouším i metodu pokus - omyl. Hlavně, když mi to není moc jasné.

Proto si vážím jakékoli pomoci, kterou dostanu. I ten váš "sprcunk" je dobrý, protože mi něco dal  

Otázka: existuje někde popis nebo nějaký checklist, na co myslet při zprovoznění webu na Joomle a případně Virtuemartu? Nemusí to být polopatické návody, spíše mi jde o soupis důležitých věcí a nastavení, které by se neměli opomíjet a například se liší od defaultních nastavení.

Všem, kteří tady přispívají svými radami jsem vděčný za to co umím a budu rád, když to budu moci někdy oplatit.

Leoš

Díky Cony za info. Tu pomoc jsem myslel samozřejmě zde na fóru, neboj  

Co se týká mého dotazu: jasně, problematika SEO jako celek je vědní obor. To už se asi na 100% nikdy nenaučím. Spíše mi jde o nějaké obecné zásadní věci, co by měl web a e-shop mít v základu. Co na sebe navazuje a bez čeho se prostě neobejdu aby to fungovalo ve vyhledávání. FB, Twitter atd beru už jako vylepšení. Nějaký základní přehled mám ale stále tápu v té provázanosti.
Pomohl by mi mi nějaký studijní materiál, který o tom píše. Máte nějaké osvědčené zdroje orientované na Joomlu a Virtuemart?
Hledal jsem a našel toho docela dost ale nejsem schopen posoudit co je základ a co už je vyšší dívčí, chápeš?

Díky moc za jakékoli info ( i negativní )