Incrementality Testing: Πώς να μετράς το πραγματικό impact των καμπανιών σου

Ας το παραδεχτούμε: το last-click attribution model είναι μια βολική ψευδαίσθηση. Σου λέει ότι ένα campaign «δουλεύει» γιατί βλέπεις conversions. Αλλά δεν σου λέει αν αυτά τα conversions θα γίνονταν ούτως ή άλλως – χωρίς να ξοδέψεις ούτε ένα ευρώ.

Αυτό είναι το ερώτημα που λύνει το incrementality testing. Και αν δουλεύεις σε mature performance accounts με σημαντικό budget, είναι το πιο σημαντικό measurement framework που δεν εφαρμόζεις ακόμα.

Τι είναι το Incrementality Testing – και γιατί το attribution δεν φτάνει

Κάθε attribution model – last-click, data-driven, ακόμα και το MMM – μετράει συσχέτιση, όχι αιτιότητα. Βλέπει ότι ένας χρήστης είδε ένα ad και μετά έκανε αγορά, και αποδίδει credit. Δεν ξέρει αν ο χρήστης θα αγόραζε εν πάση περιπτώσει.

Το incrementality testing θέτει το μόνο ερώτημα που έχει πραγματική αξία:

“Ποσα conversions δημιουργησα εγω που δεν θα υπηρχαν χωρις τη διαφημιση μου;”

Η απάντηση είναι το incremental lift – και μετράται πάντα μέσω controlled experiment: ένα exposed group που βλέπει τις διαφημίσεις σου, και ένα holdout group που δεν τις βλέπει. Η διαφορά στα conversions μεταξύ των δύο είναι το true incremental impact.

Το αποτέλεσμα; Ξέρεις ακριβώς πόσο budget δημιουργεί πραγματική αξία και πόσο απλώς καταναλώνεται σε conversions που θα γίνονταν organically.

Τα 3 βασικά formats Incrementality Testing

1. Geo-Based Holdout Tests

Ο πιο robust και platform-agnostic τρόπος. Χωρίζεις geographic regions σε δύο ισοδύναμες ομάδες – test και control – απενεργοποιείς τις διαφημίσεις στα control geos, και μετράς τη διαφορά σε conversions, revenue ή οποιοδήποτε business KPI θες.

Γιατί είναι το gold standard:

• Λειτουργεί cross-platform (Google + Meta + Programmatic ταυτόχρονα)
• Δεν εξαρτάται από cookies ή pixel tracking
• Μετράς business outcomes, όχι attributed conversions

Πώς το στήνεις:

1. Επίλεξε τα geo pairs σου. Χρειάζεσαι περιοχές που είναι ιστορικά παρόμοιες σε conversion volume και trend. Χρησιμοποίησε τουλάχιστον 2-3 εβδομάδες ιστορικών δεδομένων για να επαληθεύσεις παρόμοιο baseline.
2. Ελαχιστοποίησε το geo bleed. Αν το control geo είναι Αττική και το test geo είναι Θεσσαλονίκη, υπάρχει minimal overlap. Αν βάλεις γειτονικές περιοχές της ίδιας πόλης, το experiment μολύνεται από cross-exposure.
3. Επίλεξε σωστή διάρκεια. Τουλάχιστον 2-4 εβδομάδες για να αντισταθμίσεις το εβδομαδιαίο seasonality. Για seasonal categories (π.χ. fashion, travel), θέλεις συγκρίσιμες περιόδους YoY.
4. Μέτρησε τη διαφορά. Conversion rate (ή revenue) test geos μείον conversion rate control geos = incremental lift. Χρησιμοποίησε Causal Impact (R package από Google) ή απλό t-test για statistical significance.

Το κλειδί: Ποτέ μην τρέχεις geo test με λιγότερα από 20-30 regional units ανά group. Με 2-3 regions ανά group, δεν έχεις statistical power για να βγάλεις ασφαλή συμπεράσματα.

2. Conversion Lift Studies (Meta)

Το Meta Ads Manager έχει built-in incrementality testing μέσω του Conversion Lift tool – ένα feature που πολλοί senior marketers αγνοούν ή υποχρησιμοποιούν.

Πώς λειτουργεί: Το Meta χωρίζει αυτόματα το audience σου σε exposed και holdout group στο επίπεδο του user (όχι cookie). Το holdout group δεν βλέπει τα ads σου για τη διάρκεια του test, και στο τέλος συγκρίνεις conversion rates μεταξύ των δύο groups.

Τι μετράς:

• Incremental conversions: Πόσα conversions δημιούργησε το campaign που δεν θα υπήρχαν χωρίς αυτό
• Cost per incremental conversion: Το πραγματικό κόστος ανά incremental result – πολύ συχνά 2-5x υψηλότερο από το reported CPA

Πρακτικές οδηγίες:

• Το test χρειάζεται τουλάχιστον 10.000 people reached στη holdout group για να έχεις statistical significance
• Minimum διάρκεια: 2 εβδομάδες (το Meta το απαιτεί)
• Πρόσεξε: Conversion Lift μετράει τον αντίκτυπο του campaign, όχι του ad set ή creative. Αν τρέχεις πολλά overlapping campaigns, τα αποτελέσματα θολώνουν.

3. Brand & Search Lift Studies (Google / YouTube)

Για upper-funnel campaigns (YouTube, Display, Demand Gen), το Google προσφέρει Brand Lift και Search Lift studies.

Brand Lift: Μετράει αύξηση σε brand awareness, ad recall, consideration ή purchase intent μέσω post-exposure surveys σε exposed vs. control users.

Search Lift: Μετράει αύξηση σε branded search queries ως αποτέλεσμα exposure στο YouTube ή Display. Αυτό είναι ιδιαίτερα χρήσιμο για να αποδείξεις ότι το upper-funnel budget οδηγεί σε incremental brand interest.

Πότε τα χρησιμοποιείς: Όταν δεν μπορείς να μετρήσεις direct conversion impact (π.χ. long consideration cycles, offline conversions) και θέλεις να δικαιολογήσεις brand investment με δεδομένα.

Πώς να χτίσεις το δικό σου Incrementality Testing Framework

Αν θες να το κάνεις σωστά – και όχι απλώς να τρέξεις ένα isolated test – χρειάζεσαι structured approach.

Βήμα 1: Ορίσε την υπόθεση

Πριν στήσεις οτιδήποτε, απάντησε: Τι ακριβώς θέλεις να αποδείξεις ή να διαψεύσεις;

Παραδείγματα καλών υποθέσεων:

• «Το retargeting campaign μας οδηγεί σε incremental purchases ή απλώς καλύπτει users που θα αγόραζαν ούτως ή άλλως;»
• «Το branded search budget μας είναι πραγματικά incremental ή καταναλώνουμε budget σε organic traffic που θα έρθει ούτως ή άλλως;»
• «Τι γίνεται αν κόψουμε 30% από το Meta budget; Ποιο ποσοστό revenue θα χαθεί πραγματικά;»

Χωρίς σαφή υπόθεση, το test θα σου δώσει numbers που δεν ξέρεις πώς να ερμηνεύσεις.

Βήμα 2: Επίλεξε το σωστό test format

Βήμα 3: Καθόρισε το minimum detectable effect

Αυτό είναι το στατιστικό βήμα που παραλείπουν οι περισσότεροι. Πριν τρέξεις το test, υπολόγισε: πόσο μεγάλη πρέπει να είναι η διαφορά για να την εντοπίσεις με confidence;

Αν το baseline σου είναι 500 conversions/εβδομάδα και ψάχνεις να δεις αν η αλλαγή είναι 5%, χρειάζεσαι πολύ μεγαλύτερο sample ή διάρκεια από ό,τι αν ψάχνεις 20% διαφορά.

Χρησιμοποίησε power calculator (π.χ. Evan Miller’s A/B testing calculator) για να ορίσεις:

• Significance level: 95% (p < 0.05)
• Statistical power: 80%
• Expected effect size: Βασισμένο σε ιστορικά δεδομένα ή conservative estimate

Βήμα 4: Τρέξε, μέτρησε, δράσε

Κατά τη διάρκεια του test:

• Μην αλλάζεις τίποτα στα exposed campaigns – bidding, budget, creatives.
• Παρακολούθησε καθημερινά για anomalies (external events, competitor actions).
• Κράτα notes για οτιδήποτε συμβαίνει εκτός πλαισίου (promotions, PR, seasonality).

Μετά το test:

• Υπολόγισε iROAS (incremental ROAS): Incremental revenue / Media spend
• Σύγκρινε με reported ROAS: Η διαφορά σου λέει πόσο το attribution model σε «κοροϊδεύει»
• Λάβε απόφαση: Scale, maintain ή reallocate budget

Advanced: Branded Search Incrementality – Το πιο αμφιλεγόμενο test

Ένα από τα πιο ψαγμένα (και αμφιλεγόμενα) experiments στο performance marketing: Τι γίνεται αν παύσεις το branded search;

Η λογική της Google λέει ότι το branded search είναι incremental γιατί κατοχυρώνει το top position και αποτρέπει τους ανταγωνιστές. Η πραγματικότητα για πολλά brands; Μεγάλο μέρος του branded search traffic θα ερχόταν ούτως ή άλλως από organic.

Πώς το τεστάρεις σωστά:

1. Επίλεξε geo holdout (π.χ. 2 πόλεις με συγκρίσιμο μέγεθος).
2. Κάνε pause το branded search στα control geos για 4 εβδομάδες.
3. Μέτρησε: organic branded clicks, direct sessions, revenue από control vs. test geos.
4. Υπολόγισε cannibalization rate: Πόσο από το branded search spend εκτοπίζει organic traffic που θα ερχόταν ούτως ή άλλως.

Τα αποτελέσματα συχνά εκπλήσσουν: cannibalization rates 40-70% δεν είναι σπάνιο ποσοστό για ισχυρά brands με υψηλή οργανική επισκεψιμότητα.

Τι κάνεις με τα αποτελέσματα: Budget Reallocation Logic

Το incrementality testing δεν είναι μια ακαδημαϊκή άσκηση – είναι εργαλείο για επενδυτικές αποφάσεις. Αφού έχεις iROAS ανά channel ή campaign type, η λογική είναι απλή:

Incremental ROAS > Target ROAS → Scale. Το κανάλι δημιουργεί πραγματική αξία.

Incremental ROAS ≈ Target ROAS → Maintain. Το attribution είναι αρκετά ακριβές, δεν υπάρχει σημαντικό waste.

Incremental ROAS < Target ROAS → Investigate. Είτε μειώνεις budget, είτε αλλάζεις targeting (π.χ. παύση retargeting σε πολύ low-funnel users που θα έκαναν convert ούτως ή άλλως).

Incremental ROAS ≈ 0 → Cut. Το channel εκτοπίζει organic performance χωρίς να προσθέτει τίποτα.

Τα πιο κοινά λάθη στο Incrementality Testing

1. Πολύ μικρό holdout group: Αν το holdout είναι 5% του traffic, έχεις χαμηλό statistical power. Minimum 10-20% για αξιόπιστα αποτελέσματα – ειδικά σε μικρότερα accounts.

2. Test που τρέχει πολύ λίγο: 2 εβδομάδες είναι το απόλυτο ελάχιστο. Για κατηγορίες με μεγάλο consideration cycle (B2B, high-ticket), θέλεις 4-8 εβδομάδες.

3. Overlapping campaigns κατά τη διάρκεια του test: Αν τρέχεις νέα campaigns, αλλάζεις creatives ή κάνεις budget changes ενώ τρέχει το test, τα αποτελέσματα είναι άχρηστα.

4. Ερμηνεία χωρίς confidence intervals: Ένα point estimate (π.χ. «+15% lift») χωρίς confidence interval δεν λέει τίποτα. Πάντα ρώτα: το αποτέλεσμα είναι στατιστικά σημαντικό; Ποιο είναι το range;

5. One-time testing αντί για ongoing framework: Το incrementality testing δεν είναι event – είναι process. Τα αποτελέσματα έχουν ημερομηνία λήξης γιατί αλλάζουν το media mix, ο ανταγωνισμός, το consumer behavior. Στόχευε σε τουλάχιστον 2 major tests ανά έτος, ανά σημαντικό channel.

Εργαλεία που χρειάζεσαι

Για τις περισσότερες ομάδες, ο συνδυασμός Meta Conversion Lift + Geo holdouts (με GeoLift ή Causal Impact) καλύπτει το 80% των αναγκών χωρίς πρόσθετο κόστος.

Συμπέρασμα

Το incrementality testing δεν είναι για όλους – χρειάζεται volume, πειθαρχία και ανοχή στην αβεβαιότητα. Αλλά αν διαχειρίζεσαι σοβαρό performance budget και παίρνεις αποφάσεις βασισμένες αποκλειστικά στο attributed ROAS, παίζεις στα τυφλά.

Η αλήθεια είναι ότι κάποιο ποσοστό του media spend σου δεν κάνει τίποτα incremental. Το ερώτημα δεν είναι αν – είναι πόσο. Και μόνο το incrementality testing μπορεί να σου το πει.

Ξεκίνα με ένα hypothesis, ένα channel, ένα test. Τα συμπεράσματα θα αλλάξουν τον τρόπο που κάνεις budget allocation για πάντα.