חברת Cloudflare, ענקית תשתיות האינטרנט, הכריזה ב-1 ביולי 2025 (היום) על מהלך משמעותי שמכונה "יום העצמאות של התוכן" (Content Independence Day). כל דומיין חדש שיירשם בשירותי החברה יחסום כברירת מחדל סורקי AI, כמו GPTBot של OpenAI או Googlebot, אלא אם יוצרי התוכן יקבלו תמורה כספית עבור הסריקה.
בנוסף, Cloudflare השיקה תוכנית חדשה בשם "Pay per Crawl" (שלם לכל סריקה), שמאפשרת לבעלי אתרים לקבוע מחיר עבור גישה לתוכן שלהם על ידי סורקי AI.
Cloudflare, שמנהלת כ-20% מתעבורת האינטרנט העולמית, החליטה לשנות את חוקי המשחק עבור יוצרי תוכן. בעבר, סורקי אינטרנט כמו Googlebot סרקו אתרים כדי לאנדקס תוכן ולשלוח תנועה חזרה לאתרים, מה שהניב הכנסות מפרסומות או מנויים.
אבל סורקי AI, שמשמשים לאימון מודלים כמו ChatGPT, אוספים תוכן בכמויות אדירות מבלי להחזיר תנועה משמעותית, מה שפוגע בהכנסות של יוצרי תוכן. לדוגמה, בין מאי 2024 למאי 2025, תעבורת הסורקים עלתה ב-18%, כאשר GPTBot זינק ב-305% ו-Googlebot ב-96%.
כדי להתמודד עם זה, Cloudflare הכריזה על שני צעדים עיקריים:
- חסימת סורקי AI כברירת מחדל: כל משתמש חדש (כולל בתוכנית החינמית) יקבל הגדרה אוטומטית שחוסמת סורקי AI, כמו GPTBot, ClaudeBot ו-Bytespider, אלא אם בעל האתר מאשר גישה מפורשת. זה נותן שליטה מלאה ליוצרי תוכן על התוכן שלהם.
- Pay per Crawl: תוכנית בבטא פרטית שמאפשרת לבעלי אתרים לקבוע מחיר עבור כל סריקה של התוכן שלהם על ידי סורקי AI. התוכנית משתמשת בקוד HTTP 402 ("נדרש תשלום") כדי לאותת לסורקים שהגישה בתשלום, ובעלי אתרים יכולים לבחור בין שלוש אפשרויות: לאפשר גישה בחינם, לדרוש תשלום או לחסום לחלוטין. Cloudflare משמשת כמתווכת לניהול התשלומים ומספקת את התשתית הטכנית.
למה זה קורה?
האינטרנט משתנה וסורקי AI משנים את הכלכלה של התוכן. בעבר, Google סרקה אתרים ושלחה תנועה חזרה, מה שאפשר ליוצרים להרוויח מפרסומות. כיום, סורקי AI אוספים תוכן כדי לאמן מודלים, אבל המשתמשים לא מגיעים לאתרים המקוריים, הם מקבלים תשובות ישירות ממנועי AI.
התוצאה? ירידה דרמטית בתנועה ובהכנסות. לדברי מת'יו פרינס (Matthew Prince) מנכ"ל Cloudflare, לפני עשור Google שלחה מבקר אחד על כל שתי סריקות, אבל כיום זה ירד למבקר אחד על כל 18 סריקות. Cloudflare רוצה להחזיר את השליטה ליוצרי תוכן, תוך יצירת שוק הוגן שבו חברות AI משלמות עבור התוכן שהן משתמשות בו.
מה זה אומר למשתמשים ולבעלי אתרים?
ליוצרי תוכן: כלי חדש לשליטה על התוכן שלהם. בעלי אתרים יכולים לראות אילו סורקי AI מבקרים באתר שלהם, כמה תוכן הם אוספים, ולבחור אם לחסום אותם או לדרוש תשלום. זה יכול להפוך לזרם הכנסה חדש, במיוחד עבור בלוגים קטנים או אתרים נישתיים שקשה להם להתחרות מול מו"לים גדולים.
לחברות AI: המודל החדש מחייב אותם לשלם עבור תוכן או להסתכן בחסימה. זה עשוי להגביל את הגישה שלהם לנתונים לאימון, אבל Cloudflare טוענת שזה יעודד חדשנות אחראית יותר וייצור שוק שקוף שבו כולם מרוויחים.
לגולשים: בטווח הארוך, המהלך הזה עשוי לשפר את איכות התוכן באינטרנט, כי יוצרים יקבלו תמריץ ליצור תוכן איכותי במקום להסתמך על תוכן זול שנוצר על ידי AI. מצד שני, יש חשש שהאינטרנט יהפוך למפוצל יותר, עם יותר תוכן מאחורי חומות תשלום.
האם המהלך מוצדק?
Cloudflare זורקת כפפה לתעשיית ה-AI עם המהלך הזה ומנצלת את מעמדה כשחקנית מרכזית באינטרנט (שמגנה על כ-40 מיליון אתרים) כדי לשנות את הכללים. התוכנית "Pay per Crawl" נראית כמו צעד מבטיח להחזיר את השליטה ליוצרי תוכן, אבל היא לא חפה מאתגרים. חברות AI כמו OpenAI כבר הביעו התנגדות, בטענה שהתוכנית מוסיפה מתווך מיותר ויש סיכוי שהן ינסו לעקוף את החסימות.
בנוסף, הצלחת התוכנית תלויה בכך שמספיק מו"לים וחברות AI ישתתפו ואם רק המו"לים הגדולים ירוויחו, הקטנים עלולים להישאר מאחור. עם זאת, התמיכה של שמות כמו The Atlantic ו-The Associated Press נותנת למהלך משקל. האם זה יציל את האינטרנט הפתוח או יוביל לעולם של תוכן בתשלום? מה דעתכם, שתפו אותנו בתגובות!
