Comment supprimer Semalt, Econom.co, Ilovevitaly et Darodar de son site web

Print Friendly, PDF & Email

semalt,-economco,-darodar-comment-les-bloquerDepuis quelques semaines nous regardons attentivement nos données de statistique avec Google Analytics, c’est un outil très pratique.

Nous pouvons connaitre d’où proviennent les visiteurs et nous en avons remarqué certains avec des noms étranges, vous les connaissez peut-être :
Semalt, Econom.co, Darodar ou encore Ilovevitaly.com.

Nous allons vous expliquer comment et pourquoi il faut absolument bloquer ces robots qui polluent vos données google analytics.

Créez vous même votre fromage de jument !

 

MAJ du 07/01/2015
Avant de lire ce tuto, je propose de faire un point sur la situation ! Malgré la méthode du .htaccess et du bouton « Exclure« ,
certains crawleurs passent à travers le filet ! Comme par exemple :
– Econom.co
– ilovevitaly.com
– darodar.com
– priceg.com

Il doit y en avoir d’autres mais nous ne les avons pas encore dans nos stats,
pour ce type de crawleurs, je conseille la méthode numéro 2, Créer un filtre dans Google Analytics pour bloquer les sites 

 

MAJ du 19/01/2015
Depuis peu un site arrive dans nos stats : anticrawler.org
Qui propose d’installer son script sur votre site pour ne plus avoir à faire aux crawlers… à ne surtout pas installer !

 

MAJ du 21/01/2015
Pour Resellerclub SCAM, la méthode des filtres semble fonctionner.

 

MAJ du 02/02/2015
Pour les personnes hébergeant un site sur free, le tuto a été revu sur Samuel Thery.

 

 

0) Introduction
1) 1ere méthode : Bloquer les sites grâce au fichier « .htaccess »
2) 2eme méthode : Créer un filtre dans Google Analytics pour bloquer les sites
3) 3eme méthode : Demander de se retirer de la liste des sites Semalt, Econom, Darodar et Ilovevitaly.
4) 4eme méthode : Le bouton « Exclure » de Google Analytics
5) Conclusion

 

Visitez notre tuto et créer vous même votre fromage de jument http://eproject.fr/creation-fromage-de-jument/ fromage de jument ce fromage qu’on adore.

0) Introduction

 

Vous vous connectez un matin à Google Analytics et vous constatez une augmentation des visites !
Super ! Maintenant il faut savoir d’où viennent toutes ces nouvelles personnes !
Dans l’outil que Google met à votre disposition, à gauche de l’écran,
allez dans Acquisition > Tous les sites référents
acquisition google analytics
Vous constatez des noms étranges avec un gros nombre d’acquisitions. Ces noms ? Semalt, Econom ou encore Darodar.
semalt-econom-darodar

Mais attention en regardant de plus prêt nous pouvons nous apercevoir que ces visites sont mauvaises pour nos statistiques.  En exemple voici les acquisitions de Kultur Startup pour les 2 derniers mois (Octobre et Novembre 2014).

Pour le cas econom.co, on constate qu’il y a 18 sessions, d’un certain point de vue, c’est bien.
Mais en regardant en détail, ces 18 sessions  nous apportent un taux de rebond de 100% !! Et une page vue par session seulement.

Taux_de_rebond100Pour rappel, le taux de rebond correspond au rapport entre le nombre de personnes venu sur votre site et ne visitant qu’une page et le nombre de visiteurs total.
Un taux de rebond est considéré comme mauvais à partir du moment où il dépasse 50%.
(Et bien évidemment, ce critère rentre en compte pour le référencement naturel, le SEO, vous pouvez retrouver nos 5 astuces pour rédiger un article pertinent sur le web).

L’analyse est la même pour Semalt (que nous avons déjà supprimé en septembre) et pour Darodar.
Ces sites Semalt, Econom.co ou Darodar sont appelé des « Crawler » ou encore « Robot d’indexation » dans le jargon du web, une sorte de robot  qui visite énormément de sites web pour récupérer des données de vos pages web ou des statistiques. Mais ces robots-là contrairement aux robots de Google,  sont mauvais pour les statistiques de vos sites. C’est pourquoi il est important de les arrêter. Et pour cela il y a plusieurs méthodes.

Attention, tous les robots ne sont pas cités dans cet article, alors vérifiez souvent vos statistiques et supprimez les au fur et à mesure !
Par exemple, le lendemain de la rédaction de cet article, nous avons trouvé un nouveau robot dans nos statistiques : iloveitaly.com

 

 

1ere méthode : Bloquer les sites grâce au fichier « .htaccess »

 

C’est cette méthode que j’applique pour Kultur Startup ainsi que d’autres sites.

Il suffit de placer un bout de code dans le fichier .htaccess qui se situe lui-même à la racine de votre serveur FTP.

MAJ : plutôt que de mettre uniquement ce code, je vous conseille très fortement de mettre celui qui se trouve sur l’article : Le code contenant l’ensemble des crawlers à bloquer avec le htaccess, ce gros code est mis à jour régulièrement et fonctionne correctement !
(à noter que si vous voulez le faire pour econom.co, vous n’avez besoin de remplacer que ce que j’ai mis en gras)

Le fichier .htaccess permet de contrôler le comportement des visiteurs (redirections, liens, etc…).
Pour gérer vos fichiers sur le serveur FTP, je vous conseille FILEZILLA qui est très pratique.

Si vous n’avez pas de fichier .htaccess et que vous êtes sous WordPress,
pas de panique, il y a une manipulation simple à faire.
Allez dans Réglages > Permaliens > et sélectionnez « nom de l’article ».
Cette procédure va créer automatiquement un fichier .htaccess sur la racine de votre FTP.
configurer-permaliens-wordpress-pour-htaccess

Pour conclure sur la méthode du fichier htaccess.
C’est une méthode simple et efficace cependant elle n’est pas rétro active.

 

 

Comment installer le code dans le htaccess ?

1) Vous devez retrouver votre fichier .htaccess (à la racine de votre site), copiez-le sur votre ordinateur.
2) Ouvrez Notepad ++ (logiciel permettant d’ouvrir le fichier .htaccess)(clic-droit « Edit with Notepad ++ )
3) Il faut copier le code à la ligne juste avant  # END WordPress (c’est ce qui est le plus simple)
Avant de coller le code :

Le fichier doit ressembler à ça une fois le code collé :
notepad2

Et voila, on voit bien que le code est collé cela devrait marcher !
Il faut bien faire attention de laisser  # END WordPress en dernière ligne.

 

Mise à jour du 23/12/2014 : La liste de l’ensemble des crawlers connus et le code .htaccess

 

 

 

2eme méthode : Créer un filtre dans Google Analytics pour bloquer les sites

 

Pour cette méthode, il y a 2 parties, je vous conseille de lire les 2 parties car ce n’est pas toujours évident de mettre en place la bonne méthodologie sur Google Analytics…

 

A) Filtre personnalisé

Pour cette méthode, nous allons travailler directement sur Google Analytics, pour cela, rendez-vous sur
Admin > CompteTous les Filtres > +Nouveau Filtre
2 analytics tous les filtres

Sélectionnez « Personnalisée » en type de filtre puis suivez les indications comme dans l’image :
2 analytics tous filtre perso

N’oubliez pas de sélectionner « Toutes les données du site Web » en bas à gauche et de cliquer sur « Ajouter >> »

Et voilà, le tour est joué ! Vous pouvez reproduire la manœuvre avec d’autres sites à problème !
De même que pour la première méthode, elle n’est pas rétro active.

Dans cet exemple, nous avons pris Econom.co, mais si votre problème est avec Semalt, il suffit de mettre Semalt.com.

 

 

Mise à jour du 22/12/2014 :

Plusieurs personnes ont demandé si créer des filtres sur Google été suffisant pour bloquer les sites malveillants.
Si cette méthode était aussi efficace que de passer par le fichier .htaccess.
Malheureusement, je ne trouve pas de réponse concrète à ce sujet :/. Le mot filtre en lui-même est trompeur…
Et voici ce que dit la page « à propos de google sur les filtres » sur le filtre personnalisé :

filtre perso google

 

 

B) Filtre prédéfini

Du coup en recherchant d’autres possibilités je suis tombé sur le filtre prédéfini, et voici ce que google dit à ce sujet :
filtre predefini google

Ce filtre semble intéressant, dans la mesure où « ce filtre exclu le trafic vers un nom d’hôte spécifique« ,
voici la configuration que j’ai mis en place :
filtre predefini 2

Là où ce filtre est avantageux c’est qu’il bloque les sites et sous sites, par exemple,
nous avions dans un premier temps « ilovevitaly.com », nous avons bloqué ce site avec un filtre personnalisé.
Mais quelques jours plus tard nous avons eu ses sous -sites : « iedit.ilovevitaly.com », « shopping.ilovevitaly.com »…

En mettant en place un filtre prédéfini, tous les sous sites sont bloqués en une seule fois (normalement).

Cependant, il y a souvent des nouveaux sites à problèmes qui peuvent s’inviter dans vos statistiques et il faudra reproduire souvent cette démarche … et ça il n’y a rien pour le contrer… mais vous pouvez ajouter cet article en favoris pour refaire la manip autant de fois que vous le souhaitez 😉

Mise à jour du 23/12/2014 : La liste de l’ensemble des crawlers connus et le code .htaccess

 

 

 

3eme méthode : Demander de se retirer de la liste des sites Semalt, Econom et Darodar.

 

Je place cette solution en 3ème position, car elle ne fonctionne pas vraiment.
Le but est de vous rendre sur le site à problème et de lui demander de vous enlever de sa liste
(comme on pourrait le faire pour les newsletters que l’on reçoit sur sa boite mail). Mais très souvent, ils ne le font pas.

remove semalt crawler
Je vous mets ici, le lien pour vous rendre sur la page de désinscription de Semalt. Pour les autres, malheureusement il n’y a pas cette solution.

 

 

 

 

 

 

4) 4eme méthode : Le bouton « Exclure tous les appels provenant de robots connus » de Google Analytics

Cette méthode consiste a activé un bouton de Google qui permet d’exclure les crawleurs,
mais je précise que pour les plus persistants, cette méthode ne marche pas…
Alors pourquoi l’activer ? car c’est toujours une défense en plus pour les crawleurs que l’on ne connait pas
et que Google a mis dans sa blacklist !

Voici la procédure :
exclure1v2

Puis cocher la case
exclure2v2

 

 

 

 

5) Conclusion

 

Pour conclure, il est important de ne pas oublier de bloquer ce genre de site.
Car google pourrait vous « punir » en vous faisant perdre des places au niveau du référencement !

Je préconise la première solution visant à utiliser le fichier .htacess si c’est possible pour vous.
Mise à jour du 23/12/2014 : La liste de l’ensemble des crawlers connus et le code .htaccess

Mais si vous n’y avez pas accès, la 2eme méthode, directement sur Google Analytics devrait faire l’affaire !

Pour compléter cet article, je vous propose de lire quelques astuces pour bien rédiger un article qui sera correctement référencé sur le web
Si vous avez des questions, laissez nous des commentaires, nous vous répondrons aussi rapidement que nous le pourrons !
J’espère que ce tuto vous a servi et si vous le souhaitez vous pouvez nous laisser votre avis en commentaire ou en nous donnant une petite note !

 

Tutorial de création de fromage de jument http://eproject.fr/creation-fromage-de-jument/ fromage de jument un produit frais avec du calcium pour les os !

 

Je m’appelle Florian Bélujon, je travaille au sein du cabinet comptable Expansium à Paris. Je m’occupe de la partie communication digitale d’Expansium, et Kultur StartUp. Je m’intéresse au marketing du web, la publicité, le codage et le graphisme.
Comment supprimer Semalt, Econom.co, Ilovevitaly et Darodar de son site web
4.5 (90.77%) 13 votes
Socialisez nous !

112 commentaires sur le sujet “Comment supprimer Semalt, Econom.co, Ilovevitaly et Darodar de son site web

  1. je voudrai tout bloqué sur mes sites wordpress voici mon fichier htaccess :

    # BEGIN WordPress

    RewriteEngine On
    RewriteBase /
    RewriteRule ^index\.php$ – [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . /index.php [L]
    # block visitors referred from econom.co
    RewriteCond %{HTTP_REFERER} forum\.topic44637676\.darodar\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} darodar\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} econom\.co [NC]
    RewriteRule .* – [F]

    # END WordPress

    Comment écrire mon htaccess si je veux intégré aussi semalt ?

    1. Ludo, voici ton fichier htaccess à remettre sur ton FTP
      (je te l’ai mis de la même façon que moi sur ce site):

      # BEGIN WordPress

      RewriteEngine On
      RewriteBase /
      RewriteRule ^index\.php$ – [L]  
      RewriteCond %{REQUEST_FILENAME} !-f
      RewriteCond %{REQUEST_FILENAME} !-d
      RewriteRule . /index.php [L]

      # block visitors referred from forum.topic44637676.darodar.com
      RewriteEngine on
      RewriteCond %{HTTP_REFERER} forum\.topic44637676\.darodar\.com [NC]  
      RewriteRule .* – [F]

      # block visitors referred from semalt.com
      RewriteEngine on
      RewriteCond %{HTTP_REFERER} semalt\.com [NC]  
      RewriteRule .* – [F]

      # block visitors referred from econom.co
      RewriteEngine on
      RewriteCond %{HTTP_REFERER} econom\.co [NC]  
      RewriteRule .* – [F]

      # block visitors referred from iloveitaly.com
      RewriteEngine on
      RewriteCond %{HTTP_REFERER} iloveitaly\.com [NC]
      RewriteRule .* – [F]

      # END WordPress

      En incluant le code aujourd’hui, tu n’auras plus semalt demain dans tes statistiques !
      Bonne journée !

      Ps : je t’ai rajouté iloveitaly, qui est aussi un robot que je viens de découvrir ce matin !

    1. Bonjour et merci à toi pour ton commentaire !
      Je pense qu’ils n’ont peut-être pas eu le temps de se pencher sur le sujet chez Wix !
      En tout cas si tu as d’autres questions techniques sans réponse, n’hésite pas à nous contacter, ça pourrait être la base d’un prochain tuto qui reste sans réponse sur le net !

      Ps : Ton site est sympa, fan de Zelda et de cosplay, j’approuve 😉

      1. merci beaucoup pour le site !!!
        j ai cependant de nouveau un soucis!! j ai bloqué comme expliqué les sites annoncé et en plus ce matin ilovevitaly.com mais mon nombre de visites russes continue a grimper. j ai la visite par kulturstartup.fr ( au nombre de quatres merci 😉 ) mais ca continue pour la russie aussi je sais plus quoi faire du coup. As tu une idee?

        ps: pour wix j ai un peu regarde ils ont deja eu des questions sur darodar et c est rester sans reelles solutions!!

        merci

          1. Merci pour le lien slimane,
            c’est dommage la barre de recherche sur wix ne marche pas, je ne trouve pas d’autre sujets parlant de darodar ou semalt :/

  2. merci Florian

    Voila toute une liste que je vient de trouvé qui pourra aidé pas mal de personne je pense :

    RewriteCond %{HTTP_REFERER} iskalko\.ru [NC,OR]
    RewriteCond %{HTTP_REFERER} ilovevitaly\.ru
    RewriteCond %{HTTP_REFERER} ilovevitaly\.com
    RewriteCond %{HTTP_REFERER} o-o-8-o-o\.ru
    RewriteCond %{HTTP_REFERER} o-o-6-o-o\.ru
    RewriteCond %{HTTP_REFERER} buttons-for-website\.com
    RewriteCond %{HTTP_REFERER} semalt.semalt\.com
    RewriteCond %{HTTP_REFERER} cenoval\.ru
    RewriteCond %{HTTP_REFERER} priceg\.com
    RewriteCond %{HTTP_REFERER} darodar\.com
    RewriteCond %{HTTP_REFERER} cenokos\.ru
    RewriteCond %{HTTP_REFERER} seoexperimenty\.ru
    RewriteCond %{HTTP_REFERER} gobongo\.info
    RewriteCond %{HTTP_REFERER} vodkoved\.ru
    RewriteCond %{HTTP_REFERER} adcash\.com
    RewriteCond %{HTTP_REFERER} websocial\.me
    RewriteCond %{HTTP_REFERER} cityadspix\.com
    RewriteCond %{HTTP_REFERER} luxup\.ru
    RewriteCond %{HTTP_REFERER} ykecwqlixx\.ru
    RewriteCond %{HTTP_REFERER} superiends\.org
    RewriteCond %{HTTP_REFERER} slftsdybbg\.ru
    RewriteCond %{HTTP_REFERER} edakgfvwql\.ru
    RewriteCond %{HTTP_REFERER} socialseet\.ru
    RewriteCond %{HTTP_REFERER} screentoolkit\.com
    RewriteCond %{HTTP_REFERER} econom\.co
    RewriteCond %{HTTP_REFERER} semalt\.com
    RewriteCond %{HTTP_REFERER} savetubevideo\.com
    RewriteRule .* – [F]

    et voila mon fichier que j’ai fait avant que tu me réponde cela fonctionne :

    RewriteEngine On
    RewriteBase /
    RewriteRule ^index\.php$ – [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . /index.php [L]
    RewriteCond %{HTTP_REFERER} forum\.topic44637676\.darodar\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} darodar\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} econom\.co [NC]
    RewriteCond %{HTTP_REFERER} semalt\.com [NC]

    ……ect

    1. Merci Ludo !
      C’est impressionnant !

      Oui ton fichier htaccess marche parfaitement, moi j’ai préféré faire un paragraphe par site à problème,
      ça m’aide à me repérer, c’est plus simple à comprendre pour les débutants et surtout je n’en avais que 3 … alors que là ta liste est énorme…

      Je voulais faire un post sur l’ensemble des robots existants et je vais m’aider de ta liste si ça ne te pose pas de problème !

      1. Plus de trace d’econom.com, darodar, semalt ou iloveitaly dans mes stats analytics depuis hier 😉 Pas avec la méthode du .htaccess (puisque wix ne le permet pas) mais avec le filtre. C’est déjà pas mal ! 😉
        Merci encore 😉

  3. Non non cela me gène pas Florian , par contre une petite question j’ai rajouté t.co est ce que cela est pour twitter , est ce que je doit le laissé dans ma liste ou l’enlevée ?

    1. Alors pour t.co, pour moi ce serait bien twitter, car sur un de mes sites ou j’ai beaucoup de retour via twitter, j’ai bien le t.co. Donc à laisser.
      De plus en regardant sur le mois dernier, j’ai 68 sessions, 4 pages par sessions et un taux de rebond de 40% Donc c’est positif.

  4. bonjour merci pour ce tuto,

    pouvez vous me dire si ceci est correct ?

    # BEGIN WordPress

    RewriteEngine On
    RewriteBase /
    RewriteRule ^index\.php$ – [L]
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . /index.php [L]
    RewriteEngine on
    RewriteCond %{HTTP_REFERER} forum\.topic44637676\.darodar\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} forum\.topic56950712\.darodar\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} darodar\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} econom\.co [NC]
    RewriteCond %{HTTP_REFERER} ilovevitaly\.com [NC]
    RewriteRule .* – [F]

    # END WordPress

    faut-il mettre OR au bout de chaque ligne ?

    1. Bonjour Angeline,

      Pour l’ensemble du code, je ne pense pas qu’il y a de problème.
      Apres pour [OR], j’ai recherché sur le net mais je n’ai pas trouvé à quoi ça correspond, je ne sais pas exactement à quoi ça sert.
      Donc je te conseille de garder ce code et de regarder régulièrement tes stats pour savoir si il marche correctement !

      Et si tu penses que ça ne marche pas, tu peux revoir le fichier .htaccess et faire comme dans le tuto ou alors de passer directement par les filtres dans Google Analytics pour bloquer les sites (partie 2), c’est ce que j’utilise quand je ne suis pas certain de mon fichier htaccess.

      et pour revenir sur ce que dit ludo, pour la ligne  » RewriteCond %{HTTP_REFERER} forum\.topic44637676\.darodar\.com [NC,OR]  »
      Du moment que le site de base darodar est bloqué, c’est le plus important, tu peux laisser ce que tu as mis ça ne gène en rien 😉

      1. merci pour vos réponses.
        je vais attendre quelques jours pour voir s’ils apparaissent toujours dans mes stats et si oui, j’utiliserais les filtres Google.
        super article.
        et très agréable d’avoir des réponses rapides !

  5. topic44637676 est mon lien dans mon google analytics donc tu peut supprimé cette ligne : RewriteCond %{HTTP_REFERER} forum\.topic44637676\.darodar\.com [NC,OR] après pour ta réponse Florian sera répondre 😉 , moi en ce qui me concerne j’ai mi [NC] a chaque bout de ligne .

  6. Je voulais savoir si la méthode par google analytics fait en sorte que l’on voit seulement pas dans nos statistiques ses sites référents ou s’il enlève également réellement les visites sur notre site de ces sites? Car s’ils viennent quand même, mais ne sont juste pas comptabilisé dans notre google analytics, aux yeux de google cela va quand même est moins bon pour notre référencement non? Depuis quelques jours que ces sites référents apparaissent, j’ai également des tonnes de commentaires indésirables filtrés par Askimet. Cela a un lien vous croyez?

    1. Bonjour Rachel,

      alors j’ai eu la question plusieurs fois, je vais le préciser dans le tuto, normalement, le filtre agit réellement, je cite une phrase du site de google qui dit :

      Exclure/Inclure le trafic du domaine ISP : utilisez ce filtre pour exclure/inclure uniquement le trafic d’un domaine spécifique, comme un ISP ou un réseau d’entreprise.

      Donc pour moi, ce serait de la même efficacité que de passer par le htaccess… enfin ce serait plus logique que google le permette !

      Pour les commentaires indésirables, nous sommes passé par là aussi, pour ma part je suis plutôt déçu de Askimet..
      J’ai installé plusieurs choses pour ne plus être dérangé :
      ithemes secutity (https://wordpress.org/plugins/better-wp-security/)
      Wang Guard (https://wordpress.org/plugins/wangguard/)
      et google captcha, pour me connecter à l’administration (https://wordpress.org/plugins/google-captcha/)

      Voila voila, j’espère que ça te sera utile 🙂

    1. Bonjour Lor ! Au plaisir de t’avoir aider !
      Nous mettrons prochainement une liste des sites spammeur sur le site ! Donc n’hésite pas à revenir la consulter ou de t’abonner à notre newsletter pour recevoir les prochains conseils 😉

    1. Bonjour Christophe, pour répondre à ta question, ces sites sondent les nôtres pour récupérer diverses informations, nos statistiques, d’autres informations sur nos serveurs, données et autres… Après je ne sais pas exactement à quoi sert cette manœuvre.

  7. Bonjour,

    La solution consistant à interdire l’accès de votre site à un domaine tel que semalt.com fonctionne parce ce que dans ce cas, il s’agit d’un robot qui accède à votre site; il est connu pour ne pas respecter le contenu du fichier robots.txt qui liste l’ensemble des pages que vous ne voulez pas voir indexer par les moteurs de recherche.

    Pour les statistiques concernant darodar.com, il ne s’agit pas d’accès sur votre site; la meilleure preuve est que même si vous supprimez votre code Google Analytics de vos pages, vous verrez toujours vos stats augmenter sur Analytics pour ce site (s’il n’est pas filtré évidemment). Il semble qu’il s’agisse de quelqu’un qui a récupéré les codes identifiants de Google Analytics et qui les utilise dans but qui reste difficile à déterminer avec certitude (faire cliquer les administrateurs de site sur le lien pour les amener sur des sites commerciaux douteux?).

    Si vous regardez vos stats, vous constaterez d’ailleurs que pour le référent forum.topicID.darodar.com, ID correspond à votre identifiant dans le code Google Analytics (ga(‘create’, ‘UA–1’, ‘auto’);

    Dans ce cas, la solution du .htaccess ne fonctionne pas puisqu’il n’y a pas d’accès effectif sur votre site.

    1. Bonjour Dan, merci pour ce commentaire très complet !
      Effectivement je n’arrive pas a bloquer darodar, il revient assez souvent avec des adresse différente.
      Pour ma part, je rajoute chaque nouvelle adresse dans le htaccess, pour voir ce qu’il se passe puis je créer un filtre, car je ne trouve pas d’autre solution pour le moment…

  8. Bonjour,
    Merci pour cet excellent tutoriel 😉

    Moi je possède un site simple (pas de wordpress), pour la soluce de l’htaccessn il faut apposer directement ce code au sein du fichier ? il n’y a pas de balises à mettre ?

    code :
    # block visitors referred from forum.topic44637676.darodar.com
    RewriteEngine on
    RewriteCond %{HTTP_REFERER} forum\.topic44637676\.darodar\.com [NC]
    RewriteRule .* – [F]

    # block visitors referred from semalt.com
    RewriteEngine on
    RewriteCond %{HTTP_REFERER} semalt\.com [NC]
    RewriteRule .* – [F]

    # block visitors referred from econom.co
    RewriteEngine on
    RewriteCond %{HTTP_REFERER} econom\.co [NC]
    RewriteRule .* – [F]

    # block visitors referred from iloveitaly.com
    RewriteEngine on
    RewriteCond %{HTTP_REFERER} iloveitaly\.com [NC]
    RewriteRule .* – [F]

    Merci 🙂

    1. Pour ilovevitaly, je te conseille de faire un filtre permanent si ça ne marche pas au bout de 2-3 jours.
      Car pour ma part c’est vraiment le plus compliqué à bloquer…

  9. Le nuisible à l’origine de tous ces problèmes est un russe qui habite à Samara et qui s’appelle Vitaly Popov; il a réservé 108 noms de domaines dont entre autres darodar.com, lumb.co et toute la collection des ilovevitaly.* (il est bien le seul!!).

    En dehors de conseiller un filtrage des stats, Google n’a pas d’autre solution dans l’immédiat. Mais bon, je me vois mal passer du temps à filtrer tous les sites du bestiau.

  10. Bonsoir !

    Je me demandais si de nouvelles solutions étaient apparues concernant cet homme et tous ses sites, et je suis tombé par hasard sur ce site. J’avais aussi lu ce dont parle Dan82 et c’était assez intéressant. Si vous voulez plus de détails (en anglais) : http://www.blackmoreops.com/2014/12/19/darodar-com-referrer-spam/

    On peut comprendre pourquoi le .htaccess ne sert à rien dans le cas précis de ce monsieur et de ses lovevitaly et tout ça. Le mieux serait que Google mette à jour sa façon de procéder pour récupérer les données pour Analytics…

    Bonne soirée !

    1. Bonjour PG, merci pour l’article, une autre personne a aussi partagé ce lien, j’essaye une de ses méthodes.. on verra bien. Et il va falloir attendre que Google fasse des MAJ

  11. Bonjour,

    Il y a semble t-il une possibilité de filtrage préventif pour lutter contre le vol d’identifiant Analytics par d’autres sites. J’ai vu ça dans l’article (en anglais) http://www.blastam.com/blog/index.php/2011/06/are-rogue-sites-influencing-your-google-analytics-data qui explique comment en utilisant les filtres et une expression régulière ( un OU logique ici), on peut ne prendre en compte que les stats issues de son propre site (+ celles de googlecontent qui stocke les pages en cache).

    L’interface de Google Analytics utilisée dans l’article ne correspond pas tout à fait à l’interface actuelle mais la solution me parait viable (j’ai un petit doute sur la prise en compte de googlecontent qui doit aussi inclure les pages du pirate) bien qu’elle demande une bonne maîtrise de l’outil Analytics.

      1. Effectivement je l’ai eu cette semaine et ça n’a pas vraiment marché avec htaccess, il faut faire un filtre pour celui là. En attendant une MAJ de Google.

  12. Merci beaucoup pour ce topic. J’arrete pas d’avoir des spam qui kill mon google analytics.
    J’ai accès à mon htacces ma cela ne marche pas.
    Bref je n’ai pas fait surement la bonne manipulation
    RewriteEngine on
    RewriteCond %{HTTP_REFERER} forum\.topic44637676\.darodar\.com [NC]
    RewriteRule .* – [F]

    RewriteEngine doit être ecrit combien de fois?
    Et RewriteRule?
    Ou Sinon je dois juste copié coller les lignes? Car j’ai une redirection 301 qui est fonctionnelle.
    Merci d’avance pour votre réponse.

  13. Bonjour je vous conseille d’aller voir le code que nous avons mis dans l’article suivant. Il y a l’ensemble des crawleurs à bloquer. Cependant pour Darodar, seul la méthode des filtres est efficace pour le moment. Il faut attendre que Google fasse une mise à jour de son Analytics…

        1. Je vais continuer à regarder régulièrement mes analytics et surtout les ip. Je pense ne pas pouvoir avoir la paix avec ce genre d’histoire. C’est comme les tricheurs. Je les comprends pas et je comprends pas leurs plaisir.

          1. Malheureusement, il faut continuer à trier tous les jours, car plusieurs robots passent le htaccess… Le moyen le plus utile est de faire des filtres :/
            Car Google n’a pas fait de MAJ pour cette situation…

          2. Ah ce fameux google, qui me met également en colère menu comme fesse de bouc.
            J’ai également fesse de bouc insights qui prend en compte les émissions provenant de moscow.
            Bref comme tu dis il faut aller à la mine tous les jours. Donc il faut presque une personne à mis temps pour cela…
            Merci beaucoup Florian. Tes réponses fûrent les plus complète que j’ai trouvé sur le net.
            Très bonne journée

          3. Merci à toi ! et oui le sujet n’a pas été beaucoup traité sur le net :/
            Bon courage ! On va devoir travailler dessus constamment pour le moment !

    1. Oui ! Nous le trouvons aussi dans nos stats depuis plusieurs jours et nous essayons de le bloquer du mieux que nous pouvons mais c’est plus compliqué que pour les autres…

  14. Pour répondre à ceux qui utiliseront l’exemple en haut d’article et qui l’adapteront à la longue liste de spammeurs qui grandit tous les jours, je précise que :
    Les lignes « RewriteCond » doivent se terminer par [NC,OR] SAUF la dernière qui ne contient que [NC]. Le « OR » est un « OU » entre deux conditions qui se suivent…
    Le « RewriteEngine On » ne doit apparaître qu’une seule fois dans tout le fichier .htaccess et avant toutes les instructions Rewrite !
    Egalement, ces robots ne communiquent pas forcément de « referer » et dans ces cas-là ces conditions ne suffisent pas à bloquer l’accès au site. Il faut alors compléter les règles avec des tests sur une variable « env ».
    Ca devient lourd, c’est sûr, alors espérons que Google fera son travail car finalement c’est à lui d’assurer la fiabilité de son outil de mesure.

    1. Merci pour cette information complémentaire, je vais mettre à jour ce morceau du tuto !
      et oui j’espère que Google mettra rapidement à jour ce problème qui devient assez conséquent depuis quelques jours

  15. Bonsoir,
    Je découvre votre site ce soir après une recherche google sur darodar ^^ Je me demandais bien comment des visites avaient pu arriver sur mon tout jeune blog (8 mois d’existence environ) à partir d’un topic de forum que je connaissais pas du tout !

    Merci pour ce tuto simple et efficace 🙂

    1. Bonjour !
      Effectivement, ce sont les mêmes questions que je me suis posé… Mais je n’avais pas trouvé beaucoup d’information sur le sujet à l’époque… (il y a quelques mois x) )

      J’espère que le tuto te serviras bien ! N’hésite pas de bien suivre tes stats !

        1. Super ! C’est bien que ça marche! Maintenant il faut continuer à suivre tes stats et mettre à jour les filtres pour les crawlers qui arrivent à passer la défense que tu as mis en place !

    1. Bonjour Rico, de même nous avons découvert ce crawler hier, et bloqué ce matin…
      Pour Google, j’ai regardé en début de semaine et je n’ai rien vu à ce propos…

      Car ça devient alarmant, un nouveau crawler par semaine … ça commence à faire beaucoup

  16. Merci beaucoup pour toutes ces explications, je ne suis pas une experte en informatique mais ton tuto est très clair. Depuis que j’ai créée ma boîte, je vais souvent sur analytics pour suivre l’audience et je me disais bien qu’il y avait beaucoup trop de Russes qui me rendaient visites…. !

  17. Moi aussi envahi par toutes ces visites inopportunes depuis plusieurs semaines maintenant ! C’est vraiment très pénible et effectivement, pour ce tenir à jour, cela nécessite des interventions quasi-quotidiennes ; donc impossible à long terme…
    N’y a-t-il pas moyen d’inciter Google à réagir… ?
    Car à présent l’outil Analytics ne me sert plus à rien, tellement il est impacté…
    Merci à ceux qui ont un avis d’expert sur la question de nous tenir informés.

    1. En fait l’outils google reste quand même très utile une fois que tout est propre. Mais je suis d’accord, ça prend énormément de temps par jour ou semaine de tout mettre à jour.
      Mais je regarde tous les jours si google réagit où nous laisse des messages mais ce n’est pas le cas :/

      Personne ne sait quoi faire pour le moment :/

  18. Bonjour,
    J’ai commencé par appliquer des filtres spécifiques dans google analytics comme indiqué dans ton tuto (merci d’ailleurs pour la qualité et clarté de celui-ci !). Cela a fonctionné mais devant l’apparition de petits nouveaux chaque jour, j’ai tenté le tout pour le tout : mon site n’étant pas destiné à un public russe, j’ai pris le parti de créer un filtre sur FAI. La dénomination exacte sur google analytics est « Trafic à partir du domaine de FAI ». Cela m’a permis de bloquer tous ceux qui arrivent via « ertelecom.ru ». Je suis bien consciente que ce ne doit pas être le seul chez eux mais si force est de constater que ça limite déjà de façon conséquente. Voilà maintenant 3 jours que j’ai des stats parfaitement propres. Pourvu que ça dure…!

    1. J’ai deja vu des personnes parler de cette méthode. Mais j’ai préféré ne pas en parler. Car c’est une solution un peu extrême même si je suis d’accord, elle peux réellement servir !
      Moi je bloque petit à petit et j’arrive à avoir des stats propres. Après le problème est que si ces crawlers comprennent que tout le monde bloque la Russie, ils changeront de pays et ce sera repartie !

  19. Bonjour !

    J’ai découvert ce problème récemment, et avant de tomber ici, j’ai erré sur beaucoup de forums pour comprendre pourquoi les Russes de Samara Oblast s’intéressaient tant à mon webzine sur l’actualité de Nantes 🙂

    Merci beaucoup pour ce tuto très complet, j’ai opté pour les filtres prédéfinis sur Google Analytics , en bloquant une douzaine de domaines douteux, les mêmes cités dans les nombreux commentaires avant moi…

    Par contre j’ai une petite question, je n’ai plus accès à aucune statistique de mon site, les « ilovevitaly.co and cie » bloqués depuis hier, j’ai 0 session… Que dois-je faire ?

    Merci

        1. Question bête, aviez vous des stats sans ces crawlers ?
          ou alors il faut supprimer les filtres voir si tout revient et refaire petit a petit par etapes .. je ne vois pas d’autres solutions pour essayer :/

          1. Bonjour, avez vous modifier votre installation de google analytics sur votre site ou sur votre wordpress ?

            avez-vous enlevé les filtres hier soir ?

          2. Non je n’ai touché à rien depuis hier. Je n’ai pas supprimé les filtres pourtant depuis hier, j’ai reçu deux visites d’une adresse que j’avais bloqué : bestwebsitesawards.com

  20. Moi j’ai un site avec WIX et j’ai pourtant ajouter toute les filtres mais je suis incapable de me débarasser de darodar.com et pour l’instant ses uniquement lui le problème. Combien de temps le filtre prend pour être activer car j’ai fait la manip il y a quelque heures a peine et il ses connecter 4 fois depuis donc le filtre doit pas marcherj’ai fait des filtre avec le nom darodar.com et d’autre avec le nom complet forum.topic59549463.darodar.com et il reviens a chaque fois 🙁

  21. Oui j’ai remarquer que vous avez visitez mon site. J’ai eu chaud je croyais j’avais un autre emmerdeur. Un autre petite question. Peut t’on éffacer darodar de mes statistique ?? Présentement il est No 1 j’aimerais supprimer son nom du rapport. S’ai possible ??

      1. Hello,
        J’ai eu le malheur d’oublié pendant 2 jours de créer un filtre de restrictions pour darodar. 39 visites en 1 jours.
        Erreur rectifié et réetablie dans l’ordre. Mais bon voilà sachant que ces petits malins de chez darodar et autres sont très corrosif. Je voudrais trouvé une solution pour interdire carrément un pays entier à la visite de mon site, Je veux bien être tolérant mais bon voilà cela me consomme du temps. Bannir les crawler venant de ces pays et le moyen le plus facile.
        Merci d’avance

        1. J’oubliai: la question qui me tarode. J’ai activé le filtre chez google. Je ne reçois plus de stat venant avec darodar sur mon autre site. Voilà en faite quels les mauvaises conséquences de ces sites et leurs crawleurs. Que risquons nous de pire avec eux. Comme cela je suis près à avoir peur..
          Merci d’avance

          1. Laisser les crawlers sans les bloquer risque de nuire a votre référencement (d’après google).
            Après ,bloquer un pays entier n’est pas forcement la solution, surtout qu’une partie des ces crawlers ne sont pas en Russie même.

  22. Bonjour à tous,

    J’ai un nouveau spammeur qui est apparu sur un de mes site aujourd’hui

    Je viens d’ajouter cette ligne aujourd’hui dans mon fichier .htaccess

    RewriteCond %{HTTP_REFERER} o-o-6-o-o\.com [NC,OR]

    1. Oui ça fait plusieurs jours qu’il traîne celui la, j’ai fait un filtre personnalisé et un filtre prédéfini car le premier ne semblait pas marcher … :/
      Vous avez réussis a la bloquer avec le fichier htaccess ?

  23. j’ai cru comprendre que c’était des « fausses visites » qui généraient uniquement des vues sur analytics… quel est donc l’utilité du htaccess dans ce cas ? pourquoi dites vous que le référencement sera pénalisé car ces visites n’ont jamais existé ? Google baserait il son référencement selon les stats Analytic ?

    1. Ce sont des visites réels qui viennent de sites au référencement mauvais . Les laisser crawler votre site sans intervenir est pénalisant car google constate que vous ne mettez pas à jour votre site et donc qu’il n’est pas correctement adapté aux visiteurs. Cela suffit à pénaliser votre site sans se fier a google analytics forcement.

      1. comment pouvez expliquer cela : l’un des mes anciens sites, dont le nom de domaine et l’hébergement sont expirés, et qui dispose toujours d’un compte analytic (par oubli de l’avoir supprimé sur GA), présente encore des visites et de qui d’après vous ? Darodar et ses amis…
        il n’y a donc clairement pas eu de visites sur le site car il n’existe plus ! tout blocage serveur est donc totalement inutile.. reste à savoir comment GG répercute cela sur le réferencement… à mon avis les sites servent uniquement à distribuer des malware lorsque on tente de se connecter dessus..

    1. je ne comprends pas, personne ne se rend compte que ce n’est pas des vraies visites ? il s’agit de fausses visites uniquement liée à votre compte Analytic, les visites n’arrivent jamais sur votre site/serveur, c’est donc inutile de faire un blocage particulier, puisque il n’y a rien à bloquer 🙂

      Personne ici n’utilise un autre système que Analytic afin de nous confirmer que les visites n’existent pas dans ce cas ?

      Reveillez vous bordel !!! :p

    2. Bonjour,

      !? le problème n’est pas que ce soit de vrais ou fausses visites, le but ici est que ces « visites » ne polluent plus les statistiques Analytic…

      Ceci étant je ne comprends pas ton interventions qu’appelles tu des fausses visite ?

      Merci

      1. les visites n’étant pas réelles, je ne vois pas en quoi les méthodes de blocages HTACCESS sont efficaces ?
        Je ne vois pas non plus pourquoi cela nuirait à mon référencement puisque :
        – ces fausses visites ne ralentissent en rien mon serveur
        – le taux de rebond mauvais qu’on voit à cause de ces « visites » n’est pas réel, uniquement visible sur Analytic (et google ne référence pas selon les résultats analytics il me semble…)

        Pourquoi Fausse visites ? Parce qu’il suffit aux spammeur de connaitre votre identifiant Analytic (ex : UA-xxxxxxxx-x) pour générer ces « fausses visites » sur votre analytic. ils ont mis en place des robots qui viennent simplement utiliser votre identifiant et générer ces visites sur votre compte.

        Comment je le sais ? Parce j’ai encore un site paramétré dans mon Analytic, sauf que mon site n’existe plus réellement : plus de NDD, plus de serveur, etc…
        Pourtant, si je regarde les stats de cet ancien nom de domaine, j’ai toujours ces fameuses visites de Darodar & Cie. (comment est il possible de visiter un site qui n’existe pas ?)

        Conclusion : ces visites n’existent pas, elles ne ralentissent pas mon serveur, elles ne nuisent pas à mon référencement…

        Pourquoi personne ne parle de ça ?

    3. « Comment je le sais ? Parce j’ai encore un site paramétré dans mon Analytic, sauf que mon site n’existe plus réellement : plus de NDD, plus de serveur, etc…
      Pourtant, si je regarde les stats de cet ancien nom de domaine, j’ai toujours ces fameuses visites de Darodar & Cie. (comment est il possible de visiter un site qui n’existe pas ?) »

      Ow ! effectivement, faudra que je creuse tout ça,

      Ceci étant dit bien entendu que cela ne nuit en rien au référencement, les filtres (sur analytics) servent à dépolluer les statistiques analytics et permettre un meilleur vision de se qu’il se passe réellement.

  24. Bonjour Florian !
    Connais-tu free-share-buttons.com ?
    J’ai ce site dans mes stats GA depuis le 25 avril. Présent tous les jours, voilà ses stats :
    – 123 sessions dont 100% de nouvelles sessions
    – Taux de rebond : 8,13%
    – Page par session : 1,92
    – Durée moyenne par session ! 1min 26

    Les stats sont intéressantes mais je n’ai pas réussi à trouver ce qu’est ce site :/ Si tu peux m’éclairer, ça serait cool 🙂
    Merci d’avance et bonne journée !

  25. Bonjour,

    Merci pour cet article mais je me demande s’il ne faudrait pas protéger les tirets (-) avec des anti-slashs (\) ?

    Sinon, je ne pense pas que filtrer dans GA ne change quoi que ce soit au trafic. Un filtre ça masque une information, ça ne l’empêche pas d’exister. C’est pour moi la définition du mot « filtre » quand je lis la doc de GA. Donc mise à part perdre la possibilité de s’assurer que le filtre .htaccess fonctionne correctement, ou alors avoir des informations sur et seulement sur les « vrais » visiteurs, ne n’y voit pas d’intérêt.

    Sinon, pourquoi pas codé une autre « barrière » dans le langage côté serveur ? PHP permets de récupérer l’information dans la variable $_SERVER[‘HTTP_REFERER’]. Si certains crawler semble s’accommoder au blocage par les fichiers robots.txt et .htaccess, ça pourrait peut-être aider ? Quelqu’un a-t-il déjà tenté l’expérience ?

    Merci à tous, c’est en tout cas un sujet à faire suivre au fil de nos découvertes !

  26. Bonjour, voici une nouvelle liste qui me pollue mon blog depuis quelques mois… efficace en tout cas ! + cocher la case « Exclure tous les appels provenant de robots connus » + filtres à gogo sur analytics…
    RewriteCond %{HTTP_REFERER} googlsucks\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} s\.click\.aliexpress\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} theguardlan\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} site(.*)\.simple-share-buttons\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} simple-share-buttons\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} humanorightswatch\.org [NC,OR]
    RewriteCond %{HTTP_REFERER} free-share-buttons\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} site(.*)\.free-share-buttons\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} guardlink\.org [NC,OR]
    RewriteCond %{HTTP_REFERER} domination\.ml [NC,OR]
    RewriteCond %{HTTP_REFERER} buy-cheap-online\.info [NC,OR]
    RewriteCond %{HTTP_REFERER} www\.Get-Free-Traffic-Now\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} www\.event-tracking\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} editors\.choice54986295\.hulfingtonpost\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} editors\.choice(.*)\.hulfingtonpost\.com [NC,OR]

  27. Bonjour,
    je suis tombé sur un outil que je ne connaissais pas , search commander, qui permets de filtrer + de70 spams en quelques secondes , la méthode est similaire à celle de cet article, mais ça permets de gagner du temps plutôt qu’ajouter manuellement chaque spam et la liste est mise à jour régulièrement, une video de présentation et le lien:

Laissez-nous un commentaire et n’hésitez pas à vous inscrire au Blog !