Comment faire un A/B test en cold email : échantillon, durée et outils en 2026
Pour un AB test cold email fiable, changez une seule variable entre deux versions, envoyez-les à des groupes tirés au hasard, et jugez sur le taux de réponse. Comptez environ 750 contacts par variante pour détecter un passage de 3 % à 6 % de réponses, et attendez 7 à 14 jours après le dernier envoi avant de conclure.
En bref : Pour faire un AB test en cold email, ne changez qu'un seul élément (objet, accroche ou appel à l'action) entre deux versions envoyées à des groupes tirés au hasard, puis comparez le taux de réponse, pas l'ouverture. Comptez environ 750 contacts par variante pour détecter un passage de 3 % à 6 % de réponses, et jusqu'à 2 500 pour 3 % à 4,5 %. lemlist, Instantly et Smartlead proposent tous cette fonction.
- Un A/B test valide ne change qu'une seule variable à la fois et répartit une même liste au hasard entre deux versions.
- À 3 % de réponses, il faut environ 750 contacts par variante pour détecter un doublement, et environ 2 500 pour passer de 3 % à 4,5 % (calcul Dealflow, seuil 5 %, puissance 80 %).
- Le repère de 100 à 200 leads par version donné par lemlist est un plancher : 3 réponses contre 6 sur 100 contacts n'est pas significatif (p ≈ 0,31).
- Jugez sur les réponses, idéalement positives, et non sur les ouvertures, que Mail Privacy Protection d'Apple rend peu fiables.
- Attendez 7 à 14 jours après le dernier envoi : environ 58 % des réponses viennent du premier email et 42 % des relances (Instantly, données 2025).
- Instantly gère jusqu'à 26 variantes par étape, Smartlead jusqu'à 10, lemlist deux versions avec un choix de gagnant irréversible.
Qu'est-ce qu'un A/B test en cold email et à quoi sert-il ?
Un A/B test en cold email consiste à envoyer deux versions d'un même message (A et B) à deux groupes tirés au hasard dans la même liste, en ne changeant qu'un seul élément, puis à comparer le taux de réponse. Il sert à remplacer une intuition (« cet objet est meilleur ») par une mesure, à condition d'avoir assez de contacts pour que l'écart ne soit pas dû au hasard.
Les trois outils d'envoi les plus utilisés le proposent nativement : lemlist (deux versions d'une séquence ou d'une étape), Instantly (« A/Z testing », jusqu'à 26 variantes par étape) et Smartlead (jusqu'à 10 variantes par étape). Les fonctions, limites et réglages cités plus bas ont été relevés dans leurs pages d'aide officielles le 22 novembre 2026.
Un point de méthode d'abord : un test n'a de valeur que si vous décidez avant de l'envoyer ce que vous testez, quel indicateur tranche et combien de contacts il faut. C'est ce que détaille ce guide, avec un calcul que vous pouvez refaire vous-même. Si vous partez de zéro, commencez par connaître votre point de départ avec notre guide sur le taux de réponse moyen d'un cold email B2B.
Que tester en cold email : objet, accroche, appel à l'action, heure ?
Les quatre variables les plus rentables à tester en cold email sont l'objet, la première phrase (l'accroche), l'appel à l'action et, en dernier, le moment d'envoi. Elles agissent à des endroits différents de l'entonnoir : l'objet et l'accroche conditionnent la lecture, l'appel à l'action conditionne la réponse. Le tout est de ne les tester que l'une après l'autre.
La documentation de lemlist liste elle aussi les éléments testables : objet, appel à l'action, première phrase, personnalisation et positionnement de l'offre, mais aussi des éléments de structure (type de première étape, délais d'attente, ordre des canaux, nombre d'étapes). Sa consigne est identique à la nôtre : ne changer qu'une variable majeure à la fois.
- L'objet : longueur, présence du prénom ou du poste, question ou affirmation. Notre guide sur l'objet d'un cold email détaille les formes à comparer.
- L'accroche : la première ligne, souvent visible dans l'aperçu de la boîte de réception, qui prolonge l'objet.
- L'appel à l'action : demander un rendez-vous, une permission (« puis-je vous envoyer les trois points ? ») ou une simple réaction. Si vous placez un lien d'agenda, voyez le lien Calendly dans un cold email.
- L'offre et l'angle : le problème mis en avant, la preuve citée, le niveau de précision.
- Le format : texte brut ou HTML, voir cold email en texte brut ou en HTML.
- L'heure et le jour : variable la plus faible en général, à tester en dernier car les écarts sont petits et demandent donc beaucoup de contacts.
Valentin Thomy, fondateur de Dealflow, montre un exemple concret dans son tutoriel lemlist de A à Z en direct : face à deux objets possibles (dont « préaudit »), il active un A/B test sur l'objet et attend d'avoir environ 200 personnes prospectées avant de comparer. Nous verrons plus bas pourquoi ce volume est un minimum très bas.
Combien de contacts faut-il pour un A/B test de cold email ?
Il faut en général entre 400 et 2 500 contacts par variante pour un test de cold email, parce que les taux de réponse sont faibles (autour de 3 %) et que les écarts à détecter sont modestes. Le chiffre exact dépend de trois choix : votre taux de base, l'amélioration minimale que vous voulez repérer, et le niveau de certitude exigé.
La méthode, expliquée simplement. Chaque email est un tirage : il reçoit une réponse ou non. Avec peu d'emails, l'écart entre A et B peut venir du seul hasard, comme deux séries de pile ou face. Le test statistique le plus courant pour comparer deux taux (le test du khi-deux ou test z de deux proportions) calcule la probabilité d'observer un écart au moins aussi grand si A et B étaient identiques. Sous 5 % (seuil usuel), on considère l'écart non dû au hasard.
Le calculateur d'Evan Miller illustre bien les trois entrées : le taux de conversion de base, l'effet minimal détectable, et deux paramètres de rigueur (la puissance, c'est-à-dire la fréquence à laquelle on détecte un vrai effet, et le seuil de signification). Dans son exemple, passer de 10,2 % à 13,2 % exige 2 545 observations par variante. Plus le taux de base est bas ou l'écart visé petit, plus il en faut.
Nous avons appliqué la formule standard à des taux réalistes pour le cold email (seuil de 5 %, puissance de 80 %, calcul de Dealflow le 22 novembre 2026) :
- de 3 % à 4,5 % de réponses : 2 517 contacts par variante ;
- de 3 % à 6 % : 748 par variante ;
- de 5 % à 7,5 % : 1 470 par variante ;
- de 5 % à 10 % : 434 par variante ;
- de 3,43 % (moyenne Instantly) à 4,12 % (+20 % relatif) : environ 11 976 par variante.
Ce dernier cas montre qu'on ne peut pas détecter une petite amélioration avec une petite liste. Le repère de 3,43 % est le taux de réponse moyen publié par Instantly dans son rapport de référence (données du 1er janvier au 18 décembre 2025) ; les 10 % meilleurs expéditeurs dépassent 10,7 %.
Le décalage avec les conseils des outils. La page d'aide de lemlist sur le choix d'un gagnant recommande d'attendre qu'au moins 100 à 200 leads aient reçu chaque version, et considère comme un gagnant clair une version plus de 30 % meilleure. C'est un garde-fou pratique, mais à 3 % de réponses, 100 contacts produisent 3 réponses par version : une différence de 3 contre 6 réponses n'est pas significative (voir l'exemple chiffré plus bas). Utilisez ces repères comme un plancher, pas comme une preuve.
Si votre liste est trop petite pour ces volumes, la bonne réponse n'est pas de conclure quand même : testez un écart plus grand (une offre radicalement différente plutôt qu'un mot dans l'objet) ou regroupez plusieurs campagnes de même cible.
| Taux → visé | Par variante | Total A+B |
|---|---|---|
| 3 % → 4,5 % | 2 517 | 5 034 |
| 3 % → 6 % | 748 | 1 496 |
| 5 % → 7,5 % | 1 470 | 2 940 |
| 5 % → 10 % | 434 | 868 |
| 3,43 % → 4,12 % | 11 976 | 23 952 |
Combien de temps faut-il attendre avant de conclure un A/B test ?
Attendez que le volume prévu soit atteint et que les réponses tardives soient arrivées, soit en pratique de 7 à 14 jours après le dernier envoi du test. Ne conclure ni le premier jour, ni dès que l'écart « paraît bon » : regarder les résultats en continu et s'arrêter au premier écart flatteur gonfle fortement le risque de faux positif.
Le raisonnement est celui des comparaisons multiples, décrit sur Wikipédia (problème des comparaisons multiples) : si vous faites m tests indépendants avec un seuil de 5 %, la probabilité d'obtenir au moins un faux positif est de 1 − 0,95^m. Cela donne 22,6 % pour 5 tests et 40,1 % pour 10 (calcul Dealflow à partir de cette formule). Regarder 10 fois le même test pendant qu'il tourne revient, en simplifiant, à s'exposer à ce risque.
Trois règles simples :
- Fixez la taille d'échantillon avant le lancement et notez-la.
- Laissez les envois s'étaler sur plusieurs jours ouvrés pour que A et B reçoivent les mêmes jours et les mêmes heures. Instantly propose de répartir les variantes à parts égales chaque jour (option « Reset A/Z variant usage tracking daily »).
- Laissez passer les relances : dans le même rapport Instantly, environ 58 % des réponses viennent du premier email et 42 % des suivants. Un test jugé après un seul envoi rate près de la moitié des réponses.
Attention aussi à l'effet de la vie réelle : un test lancé la semaine d'un jour férié ou d'une période creuse pour votre cible peut fausser la comparaison avec le test suivant, même si A et B sont comparables entre eux.
Pourquoi ne tester qu'une seule variable à la fois ?
Parce que si deux éléments changent entre A et B, vous ne saurez pas lequel a produit l'écart. Un test qui change l'objet, l'accroche et l'appel à l'action à la fois est une comparaison de deux emails différents, pas un A/B test : il peut désigner un gagnant, jamais expliquer pourquoi, donc rien n'est réutilisable.
La documentation de lemlist le formule ainsi : « change only one major variable at a time ». Instantly et Smartlead permettent de multiplier les variantes, ce qui est tentant, mais chaque variante supplémentaire divise l'échantillon : avec 2 000 contacts, deux variantes en reçoivent 1 000 chacune, cinq variantes 400 chacune. Au-delà de deux ou trois variantes, vos conclusions deviennent fragiles.
Une méthode de travail qui tient dans la durée :
- Une campagne de référence (A, votre meilleure version actuelle).
- Un seul changement (B), formulé en hypothèse écrite.
- Une décision : B remplace A, ou A reste.
- Un nouveau test sur un autre élément, avec la nouvelle référence.
Valentin Thomy présente l'A/B testing comme un levier pour obtenir plus de rendez-vous dans son guide lemlist, où il montre les statistiques d'un test (ouverture, clic, réponse, intérêt) sur une campagne ; sa formation gratuite au cold email détaille la méthode d'ensemble, copywriting et délivrabilité comprises. Vérifiez toujours, avant un test, que la délivrabilité est saine : un écart de placement en spam entre deux boîtes d'envoi ruine n'importe quelle comparaison.
Quel indicateur regarder pour un A/B test de cold email : réponses ou ouvertures ?
Regardez le taux de réponse, et mieux encore le taux de réponses positives, pas le taux d'ouverture. L'ouverture est mesurée par un pixel invisible que beaucoup de messageries bloquent ou déclenchent automatiquement, alors qu'une réponse est un fait. Un objet qui fait ouvrir sans faire répondre n'est pas un gagnant.
Apple explique que sa fonction Mail Privacy Protection « aide les utilisateurs à empêcher les expéditeurs de savoir quand ils ouvrent un email » et masque leur adresse IP. Une partie des ouvertures est donc invisible ou artificielle, ce qui rend le taux d'ouverture peu fiable pour trancher. Nous détaillons ce point dans le tracking d'ouverture en cold email.
Les outils reflètent cette évolution. Instantly laisse choisir la métrique gagnante pour l'optimisation automatique entre réponse, clic et ouverture ; Smartlead propose réponse, réponse positive, clic ou ouverture. Choisissez la réponse (ou la réponse positive quand l'outil la détecte) et ignorez l'ouverture.
L'indicateur dépend de ce que vous testez :
- Objet : réponses, avec l'ouverture comme simple indice.
- Accroche, offre, appel à l'action : réponses positives et rendez-vous obtenus.
- Heure d'envoi : réponses, sur un volume plus grand car l'effet est faible.
Valentin Thomy, dans son tutoriel lemlist, rappelle les trois mesures à suivre en cold email : ouverture, réponse et rendez-vous, en précisant que 50 % de réponses ne servent à rien si personne n'est intéressé. C'est le rendez-vous, puis le client signé, qui comptent au bout du compte.
Lemlist, Instantly ou Smartlead : quel outil pour un A/B test de cold email ?
Les trois outils savent faire un A/B test ; ils diffèrent surtout par le nombre de variantes, le mode de répartition et la décision du gagnant. Instantly et Smartlead offrent des tests multi-variantes avec bascule automatique vers le gagnant ; lemlist reste sur deux versions et une décision manuelle et irréversible. Tableau relevé dans leurs pages d'aide le 22 novembre 2026.
- lemlist : deux versions (A et B) d'une séquence ou d'une étape ; répartition des leads entre A et B non détaillée dans l'aide ; le gagnant se choisit à la main (« Choose as winner ») et la décision est définitive, la version perdante étant archivée. L'aide conseille de créer le test avant le lancement ; les leads déjà entrés gardent leur version.
- Instantly : « A/Z testing », jusqu'à 26 variantes par étape ; répartition équilibrée sur la durée de la campagne ; l'optimisation automatique désactive les variantes les moins performantes selon la métrique choisie (réponse, clic ou ouverture). Les prix des forfaits sont publiés sur la page tarifs d'Instantly ; la page ne permet pas de confirmer quel forfait inclut quoi, vérifiez avant de vous engager.
- Smartlead : jusqu'à 10 variantes par étape ; répartition égale, manuelle ou par IA (échantillon de test de 10 % à 80 % des leads, 40 % par défaut, puis le gagnant envoyé au reste) ; métrique au choix : réponse, réponse positive, clic ou ouverture.
La limite commune : l'automatisation « gagnant » décide sur le critère que vous choisissez, sans tenir compte de votre taille d'échantillon. Un gagnant désigné automatiquement sur 80 contacts n'est pas statistiquement établi. Calculez votre échantillon vous-même et utilisez l'automatique comme un confort, pas comme un arbitre.
Pour comparer ces outils au-delà du test A/B, consultez nos guides alternatives à Instantly, alternatives à Smartlead et alternatives à lemlist.
| lemlist | Instantly | Smartlead | |
|---|---|---|---|
| Variantes | 2 (A et B) | Jusqu'à 26 / étape | Jusqu'à 10 / étape |
| Répartition | Non détaillée | Équilibrée | Égale, manuelle, IA |
| Gagnant | Choix manuel | Auto (option) | Auto IA (option) |
| Métrique | Réponse, ouverture | Réponse, clic, ouv. | Réponse, positive, clic |
| Décision | Irréversible | Variantes désactivées | Gagnant envoyé au reste |
Quelles hypothèses tester en premier : 10 idées de tests pour un cold email ?
Commencez par les hypothèses qui peuvent changer le résultat d'un facteur 2 (l'offre, l'accroche, l'appel à l'action) avant d'affiner l'objet ou l'heure, dont l'effet est plus faible. Voici dix hypothèses, chacune avec un seul changement, à écrire noir sur blanc avant le lancement.
- Objet court contre objet en question : une question fait-elle plus répondre qu'une affirmation de trois mots ?
- Objet avec poste du destinataire contre objet sans : la mention du poste améliore-t-elle les réponses ?
- Première phrase sur l'entreprise contre première phrase sur le problème : l'ancrage sur le contexte du prospect fait-il mieux ?
- Demande de permission contre proposition directe de rendez-vous : « puis-je vous envoyer trois points ? » contre « 15 minutes jeudi ? ».
- Appel à l'action sous forme de question fermée contre question ouverte : « est-ce un sujet pour vous ? » contre « comment gérez-vous cela aujourd'hui ? ».
- Preuve chiffrée contre preuve nommée : un résultat mesuré ou une référence cliente, quand elle est publique.
- Email court (3 à 4 lignes) contre email plus long : l'ajout de contexte aide-t-il ou freine-t-il ?
- Texte brut contre HTML léger : voir le guide sur le texte brut ou HTML.
- Avec ou sans lien (agenda, vidéo) : un lien dans le premier message réduit-il les réponses ?
- Mardi matin contre jeudi après-midi : hypothèse à tester en dernier, avec un très gros échantillon.
Ces idées sont des hypothèses à vérifier sur votre cible, pas des résultats établis : nous ne publions volontairement aucun « gain » chiffré qu'une source officielle ne démontre pas.
| Variable | Hypothèse | Échantillon | Indicateur |
|---|---|---|---|
| Objet | Question > affirmation | ≈ 750 (3→6 %) | Réponses |
| Accroche | Problème > contexte | ≈ 750 | Réponses |
| Appel à l'action | Permission > RDV | ≈ 750 | Réponses positives |
| Offre | Preuve chiffrée > nommée | ≈ 750 | RDV obtenus |
| Longueur | 3 lignes > 8 lignes | ≈ 1 500 | Réponses |
| Format | Texte brut > HTML | ≈ 1 500 | Réponses |
| Heure d'envoi | Mardi > jeudi | ≥ 2 500 | Réponses |
Exemple chiffré : comment lire un A/B test de cold email ?
Exemple illustratif (chiffres choisis par Dealflow pour la démonstration, pas un cas client) : vous testez deux objets sur 1 600 contacts, 800 par version, avec un taux de base d'environ 3 %. La version A reçoit 24 réponses (3,0 %), la version B 48 réponses (6,0 %). Le test z donne un écart significatif : p ≈ 0,004, bien sous 0,05.
Le calcul : taux regroupé = 72 réponses sur 1 600 = 4,5 % ; erreur standard = racine de (0,045 × 0,955 × (1/800 + 1/800)) ≈ 0,0104 ; z = (0,06 − 0,03) / 0,0104 ≈ 2,89 ; p ≈ 0,0038 (test bilatéral). B est donc retenue : l'écart de 3 points est peu probable par hasard.
Deux contre-exemples avec les mêmes taux :
- Trop petit : 100 contacts par version, 3 réponses contre 6 (mêmes 3 % et 6 %) : z ≈ 1,02, p ≈ 0,31. Impossible de conclure, alors que l'écart relatif est identique. C'est le piège du « 100 à 200 leads » : à ce volume, seul un écart énorme est détectable.
- Écart plus modeste : 24 contre 38 réponses sur 800 (3,0 % contre 4,75 %) : p ≈ 0,07. Au-dessus de 0,05 : on ne tranche pas, on prolonge ou on teste un écart plus net.
Résumé en une phrase : un écart de réponses n'est une information que rapporté au nombre de contacts. Reportez-vous à la méthode ci-dessus pour dimensionner votre prochain test avant de l'envoyer.
Faut-il faire ses A/B tests soi-même ou confier la prospection à une agence ?
Faites-les vous-même si vous avez une liste d'au moins quelques milliers de contacts qualifiés et le temps de suivre les résultats chaque semaine ; sinon, un test mal dimensionné coûte du temps et des décisions erronées. Déléguer l'ensemble, tests compris, est l'autre option.
Dealflow est l'éditeur de ce guide : nous sommes une agence de prospection B2B 100 % à la performance, pour les entreprises de services B2B de plus de 1 million d'euros de chiffre d'affaires. Notre rémunération est de 5 à 20 % du montant encaissé par le client, sans fixe mensuel ni frais de lancement (relevé sur dealflow.fr le 22 novembre 2026). Pour juger si une agence mène vos tests correctement, lisez notre guide sur l'agence cold email et les questions à poser avant de signer.
Dealflow n'est pas le bon choix si votre chiffre d'affaires est inférieur à 1 million d'euros, si votre panier moyen est faible ou si vous voulez maîtriser vous-même chaque message. Dans ce cas, ce guide et un outil comme ceux ci-dessus suffisent. Pour la méthode d'écriture elle-même, vous pouvez aussi lire le template de cold email B2B de Valentin Thomy.
En vidéo
- Tutoriel Lemlist de A à Z en direct : Exemple d'A/B test d'objet dans lemlist et les 3 données à suivre
- Tutoriel Lemlist⎥Prospecter en automatique en email et sur Linkedin (Meilleur Guide Lemlist 2025) : Construire sa première campagne lemlist et vérifier les points clés
- Copie-colle cet email pour signer +30 CLIENTS B2B – Formation Gratuite COLD EMAIL : Formation gratuite au cold email : copywriting et délivrabilité
Questions fréquentes
Comment faire un A/B test en cold email ?
Choisissez une seule variable (objet, accroche, appel à l'action), écrivez l'hypothèse, créez deux versions dans votre outil (lemlist, Instantly, Smartlead), répartissez la même liste au hasard, fixez l'échantillon avant l'envoi, puis comparez le taux de réponse une fois les relances passées. Gardez la meilleure version et testez la variable suivante.
Quelle taille d'échantillon pour un A/B test de cold email ?
Cela dépend du taux de réponse de départ et de l'écart à détecter. Avec un seuil de 5 % et une puissance de 80 %, passer de 3 % à 6 % de réponses demande environ 750 contacts par variante, et de 3 % à 4,5 % environ 2 500. Les repères de 100 à 200 leads des outils sont un plancher, pas une preuve.
Combien de temps dure un A/B test de cold email ?
Comptez de 7 à 14 jours après le dernier envoi du test, le temps que le volume prévu soit atteint et que les réponses aux relances arrivent. Environ 58 % des réponses viennent du premier email selon Instantly, le reste des suivants : conclure après un seul envoi fausse donc le résultat.
Faut-il juger un test sur les ouvertures ou les réponses ?
Sur les réponses, idéalement positives. L'ouverture dépend d'un pixel que des messageries bloquent ou déclenchent seules ; Apple indique que Mail Privacy Protection aide à empêcher les expéditeurs de savoir quand un email est ouvert. Un objet qui fait ouvrir sans faire répondre n'est pas gagnant.
Quel outil choisir pour un A/B test de cold email ?
Instantly (jusqu'à 26 variantes par étape) et Smartlead (jusqu'à 10) conviennent aux tests multi-variantes avec choix automatique du gagnant. lemlist propose deux versions et une décision manuelle irréversible. Dans les trois cas, calculez vous-même l'échantillon plutôt que de vous fier au gagnant automatique.
Peut-on tester plusieurs variables en même temps ?
Non, pas pour un A/B test classique : si l'objet et l'accroche changent ensemble, vous ne savez pas lequel a fait la différence. lemlist recommande de ne changer qu'une variable majeure à la fois. Chaque variante en plus divise aussi l'échantillon et fragilise la conclusion.
Que tester en premier en cold email ?
Les éléments à plus fort effet potentiel : l'offre, l'accroche et l'appel à l'action, avant l'objet puis l'heure d'envoi. L'heure produit des écarts faibles qui exigent de très grands échantillons. Écrivez chaque hypothèse avant le lancement et ne testez qu'un changement par campagne.
Payés uniquement sur ce que vous encaissez.
On prospecte vos cibles, on vous ouvre des deals, et on ne se rémunère qu'une fois vos nouveaux clients encaissés.
Sources
- lemlist : A/B tester une séquence (aide officielle)
- lemlist : choisir une séquence gagnante (aide officielle)
- Instantly : A/Z testing (aide officielle)
- Smartlead : A/B testing dans une campagne (aide officielle)
- Instantly : Cold Email Benchmark Report 2026 (données 2025)
- Instantly : tarifs
- Evan Miller : calculateur de taille d'échantillon A/B
- Wikipédia : problème des comparaisons multiples
- Apple : Mail Privacy Protection (communiqué de presse)
- Dealflow : agence de prospection B2B à la performance
Pour aller plus loin
Sur Masterminds
Vous voulez réunir vos meilleurs clients ou prospects ? Masterminds organise des masterminds, retraites et dîners d'affaires, payés à la performance.
Sur UPSL
UPSL, le podcast des fondateurs B2B : des patrons d'agences, de SaaS et de boîtes de services racontent comment ils signent leurs clients.