Zahlcení serveru Googlebotem - jak tomu zabránit?

Ahoj borci,
tak dnes v noci spustil Googlebot DDOS útok na eshop postavený na J3 a Virtuemartu. Web padá co 5minut, jelikož ho host server odpojuje pro vysoké vytížení.

Co jsem zjistil:
IP 66.249.66.* což jsem ověřoval a je to Googlebot asi mobilní, zběsile indexuje nebo prochází web s e-shopem - za hodinu dokáže stotisíc přístupů. log za dnešek má už 80MB a 99% záznamů má Googlebot.

V indexu na Search Consoli jsem objevil tisíce URL tohoto tvaru a podobné:
www.xyz.cz/component/virtuemart/?limit=1...k&dir=DESC&start=765

Co jsem udělal:
v htaccessu jsem zakázal přístup pro Googlebota - bez úspěchu, jede stále dál
v robots.txt jsem omezil přístup do všech adresářů, upravil dobu načítání pro Googlebota crawl-delay:5. Zase bez výsledku.

Otázka na vás:
Dá se z tohoto průseru nějak rychle vyklouznout? Potřebuji mít web funkční. Hostuji na Hostime.cz a mám zvedlý limit a ani to netačí. Potřebuji toho bota zpomalit nebo utnout.

Moc díky za vaše nápady.
Leoš

Leoš napsal: Co jsem udělal:
v htaccessu jsem zakázal přístup pro Googlebota - bez úspěchu, jede stále dál

Ahoj jak je to možné? i když zakážeš nějaké IP stejně projdou? nebo jsou jiné?

Tady mrkni  developers.google.com/search/docs/crawli...ng/reduce-crawl-rate

Pokud IP kterou zablokuješ pomoci htaccess stejně projde pak je pravidlo nefunkční.
To může být:
a) špatnou syntaxi. Pro nový Apache to má jinak.
# Apache 2.2
Order Allow,Deny
Allow from all
Deny from 111.111.111.111
Deny from 222.222.222.222
Deny from 123.123.123.123

# Apache 2.4+
<RequireAll>
    Require all granted
    Require not ip 111.111.111.111
    Require not ip 222.222.222.222
    Require not ip 123.123.123.123
</RequireAll>

Můžeš tam dat třeba:
Require not ip 66.249.64.0/19
Google těch botu bude mít mraky. Bude to mít vliv na indexaci webu. Rychlost indexování jde nastavit. 


b) server používá nginx tam htaccess nelze použít. To se nastavuje 

Na serveru v  nginx.conf 

server { listen 80; server_name example.com; location / { deny 66.249.64.0/19; # Blokování rozsahu IP adres return 429; # Vrátí HTTP odpověď 429 (Too Many Requests) } }

Linelabcz napsal: Mimochodem, Virtuemart má nové Security Release. Bohužel aktuálně je web nedostupný. virtuemart.net

Web jede jen mu vypršel certifikát.
Jinak je možné jít sem  dev.virtuemart.net/projects/virtuemart/files
Nicméně verze 3 tam je poslední rok 2021. Jestli má za subscription to nevím.