Přihlásit se

Joomla 5.0.1 a 4.4.1 bezpečnostní vydání (29 lis 2023)

Joomla 5.0.1 a 4.4.1 je nyní k dispozici. Jedná se o bezpečnostní vydání pro Joomla 4.x. a 5.x.

Indexování stránek - Indexováno, ačkoli je přístup blokován souborem robots.txt

19. říj 2022 09:54 - 19. říj 2022 09:59 #147114
Ahoj,
řeším tento problém už nějakou dobu a stále se mi nedaří přijít na to jak by se to dalo udělat. Google Search Console mi píše, že mám problém s indexováním některých stránek ale že jsou indexovány i když je přístup blokován souborem robots.txt.

Joomla 3.10.11 + VirtueMart 3.8.8 10472

URL jednotlivých stránek jsou nejspíše nějak generované systémem a já nevím jak se této hlášky zbavit. Načetl jsem vše co je k dispozici ale asi jsem pako :-(

Příklady URL:
Code:
https://www.avhifi.cz/e-shop/by,`p`.product_sku/results,145-294?viewmode=list
 
Code:
https://www.avhifi.cz/e-shop/by,`p`.product_sku/results,145-204
 
Code:
https://www.avhifi.cz/e-shop/results,151-300?id=18&language=cs-CZ&keyword=&viewmode=list
Code:
https://www.avhifi.cz/component/virtuemart/?virtuemart_manufacturer_id=23&limit=30&language=cs-CZ&keyword=&tmpl=raw&Itemid=&orderby=product_in_stock&start=552
Code:
https://www.avhifi.cz/eshop/vyrobce/reavon/results,496-555?id=18&language=cs-CZ&keyword=
Code:
https://www.avhifi.cz/cookies/14-o-nakupu?format=feed&type=atom
atd asi 4500 stránek.

Příklad robots.txt:
# If the Joomla site is installed within a folder
# eg www.example.com/joomla/ then the robots.txt file
# MUST be moved to the site root
# eg www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to all of the
# paths.
# eg the Disallow rule for the /administrator/ folder MUST
# be changed to read
# Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# www.robotstxt.org/orig.html

# Change 16.10.2022
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
# Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
# Disallow: /modules/
# Disallow: /plugins/
Disallow: /tmp/
# NEW
# Disallow: /index.php?option=com_form2contentsearch 
# Disallow: /*format=feed
Disallow: /index.php?Itemid=
Disallow: /index.php?page=shop.browse 
Disallow: /index.php?option=com_virtuemart 
Disallow: /index.php?categorylayout=
Disallow: /index.php?productsublayout= 
Disallow: /e-shop/cart
Disallow: /kosik/
Disallow: /*notify$
Disallow: /*plgContent
Disallow: /*?tmpl=postmodule
Disallow: /vysledky-vyhledavani
Disallow: /*?format=feed&type=*

Sitemap: www.avhifi.cz/index.php?option=com_vm_map&lang=cs
Upravil jsem si ho dle zdejší konverzace a příkladu od Rudolfa, snad dobře.

Prosím je zde ještě někde něco co jsem opomenul?
Moc děkuji za navedení na stopu....
Leoš

20. říj 2022 03:31 - 20. říj 2022 03:41 #147116
Odpověď od Rudolf
Joomla Expert
No chce to trochu přemýšlet a ne slepě kopírovat.
Tohle přesně nesnáším.
Všichni chtějí radu zadarmo a pak to jen zkopírují a nepřemýšlejí, to se nikdy nic nenaučíte...
Proto mě to nebaví dávat rady.

Na co je Vám v robots.txt tohle co jsem poslílal?

Disallow: /index.php?page=shop.browse 

To jste měl zaindexované stránky z VM1.19?

Na co jsou Vám URL

Disallow: /e-shop/cart
Disallow: /kosik/
Disallow: /*plgContent
Disallow: /*?tmpl=postmodule
Disallow: /vysledky-vyhledavani

Vy tyto URL máte na eshopu a zaindexované?
Určitě nemáte plugin postload, to bych se moc divil, ten vyvíjíme s Rupostelem a pochybuji že ho používáte.
Určitě nemáte URL kosik nebo vysledky-vyhledavani nebo e-shop/cart, tyhle URL jsem si vytvořil v hidden menu já na svých eshopech a nepamatuji se že bych je někomu v rámci supportu vytvářel.
A taky bych trochu pochyboval že používáte F2C a náš plugin na generování URL v šabloně F2C, který se projevuje při chybě SEF generováním URL s plgContent.

URL jednotlivých stránek jsou nejspíše nějak generované systémem a já nevím jak se této hlášky zbavit.


Ano, jsou.
Těmto SEO specialitám (většinou je nikdo neřeší, natož aby věděli admini Joomla webů co je GSC) se věnujeme posledních 6 let a přiznám se že počet hodin na jeden eshop se pohybuje kolem 200-300.

Je to součástí mé práce a taky trochu know how a pozor, je to neustálé ladění, protože Google mění a přidává bez upozornění další a další požadavky.

Ncméně trochu Vás navedu:
- úprava robots nestačí
- zaindexované stránky neodstraníte zakázáním procházením v robots.txt ale pomocí direktivy 410
- generování takovýchto URL je v core VM a záleží jestli používáte SEF apolikaci nebo ne.
- indexování takovýchto stránek je někdy žádoucí, ale spíše ne.
- aby se neindexovaly, musíte jít do core a přidat directivu pro roboty do výstupu HTML - noindex, nofollow (nemusí být vždy pravda)
- použitím aplikací zadarmo většinou nic nevyřešíte a povětšinou vytvoříte další skryté problémy
- nepracujte jako 99% programátorů a většina doktorů - léčí jen syptomy ale nezjišťují příčinu - Proč odesíláte do indexu feedy článků? - je jednoduché nastavení jak to zakázat. To že to má Joomla ve defaultu povolené už od doby 1.5 neznamená že je to žádoucí.

Například na jednom eshopu těchto stránek mám po napadení virem asi 160 000.

Welcome ve světě open-source 

MiniJoomla! - www.minijoomla.org - eshop s rozšířením Joomla/VM
Email Manager - aplikace na správu šablon emailů pro VirtueMart
Easy Feeder - aplikace na generování XML/CSV feedů a napojení na ERP pro VM
PragueClassicconcert - portál pro prodej vstupenek na systému Joomla

20. říj 2022 09:28 - 20. říj 2022 09:30 #147117
Odpověď od Leoš
Pokročilý uživatel
Ahoj Rudolfe,
díky za tvůj příspěvek. Jelikož jsem pouhý samouk a nemám nad sebou žádného mentora, který by mi dával pár pohlavků, když udělám něco blbě, tak se omlouvám za ty "kopírované věci z tvého robots.txt". Věř mi, že jsem se opravdu snažil načíst informace o této problematice. Mám to ještě ztížené tím, že nevládnu angličtinou - musím si to překládat a pak odhadovat co to autor myslel. Navíc nejsem programátor (pouze hasič) a weby jsem se učil dělat sám, proto mi možná spoustu věcí - technologií - trochu uniká v tom celém kontextu potřebných souvislostí v provozu a funkci webových technologií. Ani nevím kolik tisícovek hodin už jsem proseděl u čtení manuálů :-) Něco asi dělám blbě nebo jsem starý (53) :-)

Použil jsem tvůj návod v dobré víře a s vědomím, že to asi nebude úplně 100%. Snažím se tomu přijít na kloub ale je to pro mne vše zdlouhavé, tak někdy zkouším i metodu pokus - omyl. Hlavně, když mi to není moc jasné.

Proto si vážím jakékoli pomoci, kterou dostanu. I ten váš "sprcunk" je dobrý, protože mi něco dal :-) 

Otázka: existuje někde popis nebo nějaký checklist, na co myslet při zprovoznění webu na Joomle a případně Virtuemartu? Nemusí to být polopatické návody, spíše mi jde o soupis důležitých věcí a nastavení, které by se neměli opomíjet a například se liší od defaultních nastavení.

Všem, kteří tady přispívají svými radami jsem vděčný za to co umím a budu rád, když to budu moci někdy oplatit.

Leoš

20. říj 2022 15:44 #147120
Odpověď od Cony
Moderátor

Otázka: existuje někde popis nebo nějaký checklist, na co myslet při zprovoznění webu na Joomle a případně Virtuemartu? Nemusí to být polopatické návody, spíše mi jde o soupis důležitých věcí a nastavení, které by se neměli opomíjet a například se liší od defaultních nastavení.
To asi bohužel ne. U Joomly jako takové toho zas až tak moc není, u VM (nebo obecně u jakéhokoliv eshop systému) je toho samozřejmě strašně moc. Počínaje mikrodaty, přes analýzy, SEO optimalizace (pomocí Google Search konzole např.), metadata pro FB, Twitter apod. To jsou takové první vlaštovky co mě napadají...

Leoš post=147117 userid=649
Všem, kteří tady přispívají svými radami jsem vděčný za to co umím a budu rád, když to budu moci někdy oplatit.

Nic ve zlým, ale vzhledem k tvé profesi v to raději ani nedoufám :D

20. říj 2022 20:59 #147121
Odpověď od Leoš
Pokročilý uživatel
Díky Cony za info. Tu pomoc jsem myslel samozřejmě zde na fóru, neboj :-) 

Co se týká mého dotazu: jasně, problematika SEO jako celek je vědní obor. To už se asi na 100% nikdy nenaučím. Spíše mi jde o nějaké obecné zásadní věci, co by měl web a e-shop mít v základu. Co na sebe navazuje a bez čeho se prostě neobejdu aby to fungovalo ve vyhledávání. FB, Twitter atd beru už jako vylepšení. Nějaký základní přehled mám ale stále tápu v té provázanosti.
Pomohl by mi mi nějaký studijní materiál, který o tom píše. Máte nějaké osvědčené zdroje orientované na Joomlu a Virtuemart?
Hledal jsem a našel toho docela dost ale nejsem schopen posoudit co je základ a co už je vyšší dívčí, chápeš?

Díky moc za jakékoli info ( i negativní :-) )

20. říj 2022 23:25 #147124
Odpověď od Cony
Moderátor
Chápu, ale asi tě zklamu, sám o ničem komplexním nevím. Většinou jsou to střípky, něco tady, něco támhle. a samozřejmě co článek, to "odborník", to názor :)
100% se to nenaučí asi nikdo nikdy, někdy je to prostě metoda pokus omyl...

Powered by Fórum