Τον Αύγουστο του 2023, το OpenAI αποκάλυψε τον web crawler του, το GPTBot, και, με αυτόν τον τρόπο, επέτρεψε στους website owners να αποκλείσουν την πρόσβαση στο robots.txt — όπως θα μπορούσε κανείς να αποκλείσει το Googlebot από την πρόσβαση σε ορισμένες ευαίσθητες ή μη χρήσιμες ενότητες ενός website.
Ένας τεράστιος αριθμός websites (έως και 48% σε ορισμένα industries) γρήγορα μπήκε στη λογική του AI crawler blocking, σύμφωνα με μελέτες του Originality.ai και του Ινστιτούτου Reuters στο Πανεπιστήμιο της Οξφόρδης.
Η Google ανακοίνωσε λίγο μετά το ξεχωριστό bot “Google-Extended”, επιτρέποντας στα websites να αποκλείουν συγκεκριμένα τα εργαλεία AI της Google από ορισμένες ή όλες τις σελίδες.
Από τότε έχει ξεκινήσει ένα σημαντικό debate.
Η συζήτηση βρίσκεται σε εξέλιξη στον κλάδο του SEO γενικότερα σχετικά με τον καλύτερο τρόπο χρήσης αυτής της νέας ικανότητας για άρνηση πρόσβασης σε (ορισμένα) εργαλεία τεχνητής νοημοσύνης και, μάλιστα, εάν έχει καν αυτή η ενέργεια κάποιο πρακτικό αντίκτυπο.
Με τις περιορισμένες πληροφορίες που είναι διαθέσιμες αυτήν τη στιγμή, ιδιαίτερα σχετικά με τη μελλοντική διαχείριση αυτών των δεδομένων και αυτών των εργαλείων, θεωρείται ότι υπάρχει μια σίγουρη απάντηση που ταιριάζει σε όλους.
Σε αυτό το post, θα αναφερθούμε στα επιχειρήματα, τις πεποιθήσεις, ή τα επιχειρηματικά πλαίσια που θα μπορούσαν να σε αναγκάσουν να αποκλείσεις τους crawlers της τεχνητής νοημοσύνης.
Πριν πάμε εκεί, όμως — έχει πράγματι νόημα αυτό που σκέφτεσαι να κάνεις;
“Ούτως ή άλλως, έχουν όλο το περιεχόμενό μου”
Ισως. Το OpenAI έχει χρησιμοποιήσει διάφορες πηγές δεδομένων στο παρελθόν, καθώς μόλις πρόσφατα κυκλοφόρησε (αποκαλύπτοντας;) το δικό του web crawler.
Για παράδειγμα, το Common Crawl ήταν ένα τεράστιο κομμάτι των training data για το GPT-3 και αυτό δεν είναι το ίδιο με το GPTBot. Ελάχιστα websites μπλοκάρουν το Common Crawl CCbot, το οποίο θεωρείται αρκετά “ελαφρύ” όσον αφορά τα server demands με δυνητικά ευρέως πλεονεκτήματα, πολύ πέρα από την εκπαίδευση μοντέλων AI.
Επιπλέον, εάν αποκλείσεις τώρα τα νεότερα AI bots, δεν διαγράφεις κανένα περιεχόμενο που έχει ήδη συλλεχθεί από το website σου στο παρελθόν.
Ως εκ τούτου, στη χειρότερη περίπτωση, επιβραδύνεις την πρόσβασή τους σε νέο περιεχόμενο που δημοσιεύεις. Μπορεί ωστόσο να πιστεύεις ότι αυτό το νέο περιεχόμενο έχει κάποιο είδος μοναδικής αξίας, ειδικά όταν είναι “φρέσκο”. (Δεν είναι τυχαίο ότι τα ειδησεογραφικά websites τείνουν προς το παρόν να αποκλείουν.)
Ωστόσο, μπορεί κάλλιστα να αντιγραφεί σε άλλες τοποθεσίες που λειτουργούν ως content scrapers. Ενδεχομένως (αν και δύσκολο), τα πιο εξελιγμένα μοντέλα να ενσωματώνουν κάποιο είδος authority signas (πιθανόν links!), επομένως το website του scraper μπορεί να μην είναι τόσο αξιόπιστο όσο tο δικό σου website ή να γίνεται recrawled τακτικά. Αυτό όμως δεν μπορεί να επιβεβαιωθεί καθώς μιλάμε.
“Δεν χρειάζονται το περιεχόμενό μου”
Ίσως πιστεύεις ότι ακόμα κι αν προσφέρεις ένα μοναδικό expertise (ή/και περιεχόμενο) στο community και στον κλάδο που δραστηριοποιείσαι, τα AI bots θα μπορούν τελικά να παράγουν περιεχόμενο για θέματα που απευθύνεται το website σου εξίσου καλά με εσένα. Ακόμη και χωρίς στοιχεία από τα πρόσφατα δημοσιευμένα ή πρόσφατα ενημερωμένα άρθρα σου.
Αν ναι, αυτό μπορεί και να είναι μια μάλλον άδικη άποψη για την πρόταση αξίας οποιουδήποτε website ή επαγγελματία με επίκεντρο το περιεχόμενο, πιθανότατα με σοβαρές συνέπειες για τη βιωσιμότητά του στο SEO, ανεξάρτητα από τυχόν μελλοντικές εξελίξεις AI ή έλλειψη αυτής.
Ωστόσο, μπορεί να είναι αλήθεια — ορισμένα industries υποφέρουν από έναν τεράστιο αριθμό websites που δημοσιεύουν τελικά πολύ παρόμοιο περιεχόμενο. Ορισμένα industries είναι επίσης πολύ απίθανο να προχωρήσουν σε ένα εκτεταμένο blocking των AI bots. Αυτοί είναι παράγοντες που θα πρέπει να λάβεις υπόψη ως μέρος της απόφασής σου.
Οι λόγοι για να μην μπλοκάρεις τα AI bots
Τρία επιχειρήματα μπορούν να ξεχωρίσουν για να αφήσεις το website σου εντελώς ξεμπλοκαρισμένο για τα AI bots:
- Modern traffic acquisition
- Modern brand exposure
- Μελλοντικές εξελίξεις στα LLM-powered εργαλεία
Πάμε να τα αναλύσουμε ένα-ένα.
Modern traffic acquisition
Το ChatGPT (και τα παρόμοια εργαλεία) πιστεύεται ότι θα αποτελέσουν πανίσχυρες μηχανές για traffic acquisition. Συνδυαστικά με τις εξελίξεις στα LLMs (Large Language Models) και την υιοθέτηση των AI δυνατοτήτων από τις μηχανές αναζήτησης, ίσως και να μιλάμε για ένα νέο acquisition κανάλι. Ας σκεφτούμε λίγο τα παρακάτω.
- Το ChatGPT δεν χρησιμοποιείται κυρίως ως μηχανή αναζήτησης, αλλά ως ένας AI assistant, ειδικά για τη δημιουργία περιεχομένου, τη μετάφραση και το coding.
- Η χρήση του ChatGPT είναι σταθερή ή φθίνουσα και ένα μικρό κλάσμα της χρήσης της Google.
- Το μερίδιο αγοράς του Bing αυξήθηκε λιγότερο από 1% από την ενσωμάτωση του ChatGPT, επομένως δεν φαίνεται ότι οι χρήστες βρήκαν ότι η παρόμοια λειτουργικότητα του Bing αλλάζει το παιχνίδι.
Το Generative AI δεν πρόκειται να αντικαταστήσει το search (μάλλον). Είναι ένα διαφορετικό εργαλείο με διαφορετικές χρήσεις. Αλλά η αξιολόγηση των παραπάνω θα πρέπει να γίνει μεμονωμένα για κάθε industry και επιχείρηση.
Στην περίπτωση του “Google-Extended”, πρέπει επίσης να εξετάσουμε εάν πιστεύουμε ότι αυτό επηρεάζει το Google Search ως acquisition channel. Προς το παρόν, η Google αναφέρει πως δεν επηρεάζει, ένας ισχυρισμός για τον οποίο αρκετοί είναι δύσπιστοι. Είτε έτσι είτε αλλιώς, αυτό μπορεί να αλλάξει γρήγορα εάν και όταν η Google εισάγει δυνατότητες αναζήτησης μέσω τεχνητής νοημοσύνης.
Modern brand exposure
Ο Rand Fishkin υποστήριξε σε πρόσφατη ομιλία του ότι οι digital marketers είναι υπερβολικά κολλημένοι στο bottom funne attribution, το οποίο γίνεται ολοένα και πιο δύσκολο, και θα έπρεπε αντ ‘αυτού να “μάθουν” από τους pre-web marketers που εκτιμούσαν τα impressions, το footfall και παρόμοια «vanity metrics». Ίσως και να έχει δίκιο!
Σε παρόμοια λογική, ίσως δεν θα έπρεπε να μας ενδιαφέρει μόνο αν το ChatGPT (ή ακόμη και άλλα αποτελέσματα από μοντέλα LLM, όπως AI-writtent content) οδηγούν σε επισκεψιμότητα, αλλά απλώς αν αναφέρουν το brand name και τα προϊόντα μας. Κατά προτίμηση, να το αναφέρει με τον ίδιο τρόπο που θα κάναμε και εμείς.
Εάν εμποδίσεις αυτά τα μοντέλα να έχουν πρόσβαση στις σελίδες όπου μιλάς για τα προϊόντα σου και αν συμφωνήσεις επίσης στο παραπάνω επιχείρημα ότι η αποτροπή πρόσβασης επηρεάζει ουσιαστικά το περιεχόμενο που μπορούν να απορροφήσουν τα μοντέλα, τότε είναι λιγότερο πιθανό να αναφερθούν (τα προϊόντα και το brand name) με ακριβή τρόπο, ή μάλιστα και καθόλου.
Αυτό θα μπορούσε να είναι ιδιαίτερα σημαντικό σε μια περίπτωση που λανσάρεις ένα νέο προϊόν ή κάνεις rebranding — οτιδήποτε νέο λανσάρεις θα απορροφηθεί από την αγορά μόνο μέσω εξωτερικών πηγών, οι οποίες μπορεί να είναι ανακριβείς.
Μελλοντικές εξελίξεις στα LLM-powered εργαλεία
Τι θα συμβεί αν δεχθούμε ότι τα τρέχοντα εργαλεία που έχουν δημιουργηθεί σε Generative AI δεν είναι σημαντικά acquisition channels; Θα είναι πάντα έτσι; Τι θα συμβεί αν αποκλείσεις το GPTBot τώρα, και μετά σε ένα ή δύο χρόνια, το OpenAI λανσάρει μια μηχανή αναζήτησης βασισμένη στο index που έχει δημιουργήσει;
Ίσως σε εκείνο το σημείο, κάποιος θα μπορούσε να κάνει ένα γρήγορο rollback. Αλλά θα είναι αρκετά γρήγορο;
Συχνά, αυτά τα μοντέλα δεν είναι ακριβώς στο επίπεδο της Google όταν πρόκειται για γρήγορη απορρόφηση νέου περιεχομένου. Προφανώς, όμως, για να είναι μια ανταγωνιστική μηχανή αναζήτησης, θα έπρεπε να είναι, σωστά;
Ή θα χρησιμοποιούσαν το index και τον crawler του Bing; Κάποιος θα μπορούσε επίσης να σκεφτεί ότι αυτά τα μοντέλα θα μπορούσαν να χρησιμοποιήσουν το ίδιο το περιεχόμενο (ποιο όμως θα είναι το original;) ως authority signal, σε αντίθεση (για παράδειγμα) με links, user signals ή branded search volume. Ακούγεται ανέφικτο και ως εκ τούτου, απίθανο, αλλά όλα αυτή τη στιγμή κρύβονται πίσω από ένα μεγάλο ερωτηματικό.
Επιπλέον, μια μηχανή αναζήτησης είναι μόνο μία (πιο πιθανή) πιθανότητα – πριν από μερικά χρόνια, δεν θα φανταζόμασταν ότι το ChatGPT θα ήταν τόσο επιδραστικό όσο έγινε στην πορεία.
Οι λόγοι για να μπλοκάρεις τα AI bots
Πάμε στον αντίλογο. Γιατί να μπλοκάρεις τα AI bots;
- Ανενεργό περιεχόμενο
- Νομικά και εμπορικά πλαίσια
- Μελλοντικές εξελίξεις
Όπως και πριν, πάμε να τα αναλύσουμε ένα προς ένα.
Ανενεργό περιεχόμενο
Η μεγαλύτερη απειλή που θέτουν τα μοντέλα του OpenAI για την Google και το SEO σήμερα δεν είναι αυτή ενός ανταγωνιστής της Google, αλλά ως ένα high-scalable content creation εργαλείου. Αυτό είναι αρκετά disrupting, κυρίως για το search, αφού δυσκολεύει τόσο τη δουλειά της Google όσο και κανιβαλίζοντας την επισκεψιμότητα που διαφορετικά θα μπορούσε να μεταφερθεί στο υπάρχον περιεχόμενο ενός website.
Εάν γράφεις μοναδικό περιεχόμενο που περιέχει νέες και ενδιαφέρουσες πληροφορίες, ενδεχομένως, υποτιμάς αυτό το περιεχόμενο επιτρέποντάς του να συνεισφέρει σε άρθρα, βίντεο και εργαλεία που έχουν γραφτεί με τεχνητή νοημοσύνη αλλού. Θέλεις νέους ανταγωνιστές να βασιστούν (εν μέρει) στο νέο και μελλοντικό σου περιεχόμενο;
Όπως αναφέρθηκε παραπάνω – μπορεί το περιεχόμενο να γίνει scraped ούτως ή άλλως από αλλού, να αναδημοσιευτεί και στη συνέχεια να απορροφηθεί από AI bots. Και πάλι, τα συστήματα τεχνητής νοημοσύνης μπορεί να μην εμπιστεύονται αυτούς τους scrapers όσο θα εμπιστεύονται το δικό σου website για διάφορους λόγους.
Λοιπόν, τι πετυχαίνεις με το block; Ίσως μια μικρή υποβάθμιση στην ποιότητα και τη φρεσκάδα του περιεχομένου που δημιουργείται σε θέματα σχετικά με το website σου. Ίσως μια μειωμένη πιθανότητα να γίνεται αναφορά στο website σου, κάτι που μπορεί να θεωρήσεις κακό (αν αυτά τα εργαλεία είναι πιθανά acquisitoin channels) ή/και καλό (αν ανησυχείς για παραπλανητικές αναφορές).
Νομικά και εμπορικά πλαίσια
Ας θίξουμε το νομικό κομμάτι — υπάρχουν διάφορες εν εξελίξει νομικές υποθέσεις που αφορούν το OpenAI αυτή τη στιγμή, ίσως πιο αξιοσημείωτη η αγωγή των New York Times. Αυτή είναι μια τεράστια απειλή για πολλές τρέχουσες εφαρμογές αυτής της τεχνολογίας και για την OpenAI ως εταιρεία, μπορεί να είναι υπαρξιακή. Ορισμένοι publishers μπορεί να πιστεύουν ότι ο αποκλεισμός των AI bots τώρα θα καθυστερήσει τις απειλές που αντιλαμβάνονται για αρκετό καιρό ώστε να δουν την εισαγωγή ισχυρών νομικών (και εμπορικών) πλαισίων.
Μελλοντικές εξελίξεις
Όπως είναι πιθανό στο μέλλον να δούμε περισσότερα acquisition channels που τροφοδοτούνται από αυτά τα AI bots, είναι επίσης πιθανό να δούμε περισσότερες απειλές να τροφοδοτούνται με τον ίδιο τρόπο. Deepfakes του brand σου; Copycat προϊόντα; Αυτές οι εξελίξεις φαίνονται να ταιριάζουν καλύτερα με τα δυνατά σημεία αυτής της τεχνολογίας όπως είναι τώρα, και τα περισσότερα brands θα έκαναν ό,τι μπορούσαν για να υπονομεύσουν την ποιότητα τέτοιων δημιουργιών.
Υπάρχει οδός για ‘κατά το ήμισυ’ blocking;
Μπορείς να πετύχεις και τα δύο;
Στο robots.txt, σε τελική ανάλυση — ως SEO, γνωρίζουμε ότι είναι δυνατό να έχουμε ευελιξία σε αυτό που μπορούμε να αφήσουμε ανοιχτό ή κλειστό.
Τι γίνεται αν θέλεις τα οφέλη — brand exposure, αναφορά στα προϊόντα/υπηρεσίες και ενημερωμένες πληροφορίες που περιλαμβάνονται στις απαντήσεις του AI; Ωστόσο, δεν θέλεις τους κινδύνους – να συμβάλλεις στους ανταγωνιστές, να αποφύγεις κακές αναφορές στο brand ή να μειώσεις τη μοναδική αξία του website σου.
Φυσικά, δεν είναι τόσο απλό. Αλλά μια λύση, σε αυτήν την περίπτωση, μπορεί να είναι να αφήσεις ανοιχτά στα bots τα προϊόντα του website σου, αλλά να μπλοκάρεις την πρόσβαση στο περιεχόμενό σου (π.χ. blog) και, φυσικά, τις ίδιες σελίδες που πιθανώς αποκλείεις στο Googlebot.
Generative AI και blocking πάνε μαζί;
Σε αυτό το σημείο, ίσως θεωρείς υποκριτικό το γεγονός ότι σκέφτεσαι να μπλοκάρεις τα AI bots από το website σου αλλά παράλληλα να επενδύεις χρόνο και πόρους στο Generative AI.
Σε έναν ιδανικό κόσμο, μπορεί να θέλεις να μπορείς να χρησιμοποιείς LLMs στη δουλειά σου, ενώ γνωρίζεις ότι οι authors και οι δημιουργοί που δεν ήθελαν το περιεχόμενό τους να χρησιμοποιείται με αυτόν τον τρόπο είχαν τη δυνατότητα να εξαιρεθούν.
Η πραγματικότητα είναι ότι σε αυτό το σημείο, εξακολουθείς να εργάζεσαι ως επί το πλείστον(;) με πληροφορίες που λαμβάνονται πριν από τον Αύγουστο του 2023, αλλά αυτό θα αλλάξει με την πάροδο του χρόνου.
Τελικά, αυτό θα καταλήξει σε έναν συνδυασμό του τι πιστεύεις ότι σου επιφυλάσσει το μέλλον και τι είναι πιο σημαντικό και πιο επιδραστικό για την επιχείρησή σου.
Δεν πρέπει να αποκλείσεις τα AI bots εάν πιστεύεις ότι:
- Τα AI bots είναι ή θα γίνουν ένα αξιόλογο acquisition channel (ή κάποια μελλοντική τεχνολογία βασισμένη στο LLM).
και
- Αυτά τα μοντέλα θα είναι πιο πιθανό να αναφέρουν το brand σου σας στις απαντήσεις τους, εάν το training set ή το index τους περιλαμβάνει το περιεχόμενο που δημοσιεύεις από τότε έως τώρα.
ή
- Είναι καλύτερα τα μοντέλα AI να έχουν τις πιο πρόσφατες πληροφορίες για την επιχείρησή σου, επομένως ακόμα κι αν ανταγωνίζονται το website σου ως πηγή πληροφοριών για το προϊόν σου, είναι λιγότερο πιθανό να σε παραποιήσουν στη διαδικασία.
Πρέπει να αποκλείσεις τα AI bots εάν πιστεύεις ότι:
- Αυξάνετε την απειλή των AI bots, όσον αφορά το ανταγωνιστικό περιεχόμενο ή ανταγωνιστικά εργαλεία επιτρέποντας σε μοντέλα τεχνητής νοημοσύνης να ανιχνεύουν το πιο πρόσφατο περιεχόμενό σου.
ή
- Η επιλογή σου να αποκλείσεις τα AI bots συνεργατικά με το industry σου (π.χ. κάτι που πάει να συμβεί με τους publishers) σας θα μειώσει τη βιωσιμότητα του περιεχομένου ή των εργαλείων που υποστηρίζονται από LLM στον τομέα σου, κερδίζοντας χρόνο μέχρι να τεθούν σε ισχύ νομικές και εμπορικές διασφαλίσεις.
Σε πολλές περιπτώσεις, αυτό θα οφείλεται όχι μόνο στις πεποιθήσεις σου για το πώς θα εξελιχθεί αυτή η τεχνολογία αλλά και στις ιδιαιτερότητες κάθε επιχείρησης. Για παράδειγμα:
- Είναι τα προϊόντα που χρησιμοποιούνται από αυτά τα AI bots ένα acquisition channel για εσένα;
- Είναι πιο σημαντικό για εσένα να αναφέρεσαι (π.χ. για μια startup είναι σημαντικό να γίνεται mentioned) ή να υπερασπίζεσαι αποκλειστικό περιεχόμενο (π.χ. ένα website ειδήσεων);
Και για να επικεντρωθούμε στα του οίκου μας, τόσο στο www.performance-marketing.gr όσο και στο αδελφικό www.grow-digital.gr, για τώρα έχουμε αφήσει την πρόσβαση στα AI bots ανοιχτή για το σύνολο των σελίδων και των άρθρων.