Noisy-TV בסוכני LLM: סרקתי ארבע ספרויות בחיפוש אחר המלכודת — איש לא פרמל אותה, ואני מדדתי אותה בסוכן של עצמי

ב־2018 הציבה OpenAI סוכן מונע־סקרנות במבוך תלת־ממדי, ותלתה על אחד הקירות טלוויזיה המכוונת לרעש סטטי. הסוכן — שמתוגמל על חיפוש אחר מה שאינו מצליח לחזות — נעצר מול הטלוויזיה ונשאר שם, מהופנט מרעש שלעולם לא יניח לחזות אותו. הניסוי נכנס לקאנון בתור ה־noisy-TV problem, ולמידת החיזוק בילתה את שבע השנים הבאות באילוף המלכודת.

שמונה שנים אחר כך, החזית מתקינה "סקרנות" בסוכני LLM — מערכות שבהן מי שמחליט על הצעד הבא הוא מודל שפה, ושבהן חידוש נמדד בהשוואת ייצוגים מספריים של טקסט. הלכתי לבדוק אם מישהו חזר ושאל את שאלת הטלוויזיה הרועשת על המכשיר החדש הזה. התשובה, אחרי סריקה שיטתית בארבע מסורות ספרות: איש לא. שני קווי המחקר אינם מצטטים זה את זה. והמלכודת אינה היפותטית — מצאתי אותה, עם מספר מדוד ועם שורת קוד, בסוכן הניסיוני שאני מתחזק במכונה של עצמי.

הדרך לשם אינה מניחה שום ז'רגון: כל רכיב — למידת חיזוק, מוטיבציה פנימית, embedding, טמפרטורה, learning progress — נכנס מוסבר ומודגם, עם מספר ועם קוד, כי המלכודת גרה בדיוק במכניקה העדינה שהמילים היפות מסתירות.

המלכודת, מאפס: כשהסקרנות משולמת במטבע של הפתעה

למידת חיזוק (RL, מ־reinforcement learning) היא תחום ה־AI שבו תוכנית — הסוכן — לומדת בניסוי וטעייה. הסוכן פועל; הסביבה (המשחק, המבוך, העולם המדומה) מחזירה מצב חדש ומספר — התגמול; והסוכן מכוונן את התנהגותו כדי לצבור יותר תגמול לאורך זמן. כך למדו מכונות לנצח ב־Go ולשלוט בדמויות של משחקי וידאו: איש אינו מתכנת את המהלך — מתכנתים את לוח התוצאות, והמהלך צומח מאליו.

השיטה עובדת כל עוד לוח התוצאות קיים. אבל הסביבות המעניינות נוטות להיות דלות בנקודות: במבוך ענקי, התגמול עשוי לשכון במרחק אלפי צעדים, ו"שוטט אקראית עד שתיתקל בו" אינו עובד בקנה מידה. הפתרון הקלאסי הוא מוטיבציה פנימית: הסוכן מייצר לעצמו את התגמול, על עצם החקירה. בניסוח הפופולרי ביותר מתגמלים על הפתעה — הסוכן מחזיק מודל חיזוי של מה שעומד לקרות, ואם טעה, הטעות הופכת לפרס. ההימור סביר: מקומות בלתי־צפויים הם מקומות שטרם נלמדו. זו הגרסה החישובית של הילד שפותח את כל המגירות בבית: הלא־נודע מושך מעצם היותו לא־נודע.

המלכודת יושבת בתוך ההגדרה עצמה. הפתעה אינה מבחינה בין "עוד לא למדתי" ובין "אין כאן מה ללמוד". טלוויזיה שירדה משידור היא בלתי־צפויה לנצח: כל פריים של רעש סטטי הוא חדש, ואף אחד מהם אינו ניתן ללמידה. עבור סוכן המתוגמל על שגיאת חיזוי, היא מקור הכנסה אינסופי. הניסוי של OpenAI הראה את התוצאה פשוטה כמשמעה: הסוכן חוצה את המבוך, מוצא את הטלוויזיה — וחונה. סקרנות המוגדרת כהפתעה ממוקסמת על ידי רעש.

שלושים שנות הגנה: תגמלו על התקדמות, לא על הפתעה

הגנאלוגיה הקלאסית קצרה ומוצקה. Oudeyer ו־Kaplan (2007) עשו סדר שיטתי בתחום המוטיבציה הפנימית החישובית; Schmidhuber פרמל, בעבודות שראשיתן עוד בשנות התשעים, מדוע הסקרנות הנאיבית נכשלת — ומהו התיקון. האות הנכון אינו הטעות; הוא ההתקדמות: הקצב שבו הטעות יורדת. הספרות קוראת לזה "הנגזרת של הטעות", והביטוי הזה ראוי לפירוק, כי עליו נשענת ההגנה כולה.

ההבחנה נעשית ברורה מאליה כשהמספרים על השולחן. דמיינו סוכן מול שני ערוצים: דלת שמאחוריה דפוס הניתן ללמידה, וטלוויזיית הרעש הסטטי. בכל סבב הוא מנסה לחזות את הפריים הבא של כל ערוץ ורושם את הטעות (הערכים שלמטה הם להמחשה, כדי להפוך את המנגנון לגלוי):

סוכן המתוגמל על הפתעה משווה את הטעות הנוכחית בשני הערוצים — 0.10 מול 0.50 — ובוחר בטלוויזיה. לנצח. סוכן המתוגמל על התקדמות מסתכל על דבר אחר: כמה הטעות ירדה מסבב לסבב. בדלת: 0.40, אחר כך 0.30, אחר כך 0.10 — יש שם למידה בעיצומה. בטלוויזיה: אפס, אפס, אפס — בלתי־צפויה, אך עקרה. "הנגזרת של הטעות" היא רק זה: לא "עד כמה אני טועה", אלא "האם אני הולך וטועה פחות?". לטלוויזיה הרועשת הפתעה מקסימלית ונגזרת אפס — בדיוק המקרה שהניסוח דרך התקדמות תוכנן לגרש.

המחקר רחב־ההיקף של OpenAI (2018) הדגים את כשל ההפתעה בפועל, ו־RND היה המיטיגציה המפורסמת הראשונה — במקום לחזות את העתיד (בן־ערובה של מקריות הסביבה), הסוכן לומד לחזות פונקציה קבועה ודטרמיניסטית של המצב הנוכחי, מה שמוציא מהחשבון את מזל המעבר. Mavor-Parker ואחרים (ICML 2022) תקפו ישירות את השונות האקראית. הקו הזה עודנו פעיל — BAMDP Shaping (2024) ו־Beyond Noisy-TVs (2025) הן פורמליזציות עדכניות ורציניות.

הפרט שחשוב למאמר הזה: כולן פועלות ב־RL קלאסי — מצבים, תגמולים, מודלי עולם נלמדים. אף אחת מהן אינה נוגעת במכשיר שבו סוכני LLM מודדים חידוש. והמכשיר הזה הוא חיה אחרת.

המכשיר החדש: embedding, קוסינוס וטמפרטורה

סוכן LLM הוא תוכנית שצעד ההחלטה שלה הוא מודל שפה: במקום מדיניות שאומנה בתגמולים בתוך משחק, יש מודל שקורא את ההקשר בטקסט וכותב בטקסט את המחשבה הבאה או את הפעולה הבאה. כשחוקרים רוצים להתקין "סקרנות" בסוכן כזה, עליהם למדוד חידוש על גבי טקסט — והתקן בכל הספרות זהה: embeddings מושווים בקוסינוס, על טקסט שנדגם בטמפרטורה. שלוש מילים, שלושה הסברים.

Embedding. מחשב אינו משווה משמעויות; הוא משווה מספרים. embedding הוא תרגום של טקסט לרשימת מספרים — נקודה במרחב של עשרות עד אלפי ממדים — הבנויה כך שטקסטים בעלי משמעות דומה ינחתו בנקודות קרובות. "החתול נרדם על הספה" ו"החתלתול מנמנם על הריפוד" נעשים שכנים; "מדרגת מס הכנסה" נופלת בקצה האחר של המרחב. הקרבה נמדדת בדמיון קוסינוס: קרוב ל־1 — אותו נושא; קרוב ל־0 — שום קשר. "חידוש", בעולם הזה, הופך למרחק — כמה רחוק נחתה המחשבה החדשה מכל מה שהסוכן כבר ראה.

טמפרטורה. LLM אינו בוחר את המילה הבאה: הוא מקצה הסתברות לכל מועמדת — ומגריל. הטמפרטורה שולטת בהגרלה. בטמפרטורה 0 יוצאת תמיד הסבירה ביותר — הטקסט נעשה דטרמיניסטי (וחזרתי). בערכים המקובלים בסוכנים, סביב 0.7 עד 1.0, ההגרלה מתפזרת: אותו prompt, באותו הקשר, מוליד המשכים שונים בכל הרצה. זה רצוי — זה מה שנותן להתנהגות מגוון — ויש לזה השלכה שנאמרת בקול רם לעיתים רחוקות: התנהגות הסוכן היא משתנה מקרי מעצם הבנייה. שתי מחשבות תחת גירוי זהה לעולם אינן זהות.

רצפת הרעש. כאן נכנסת העובדה שכל המשך המאמר תלוי בה — והיא נכנסת בעשר שורות קוד. שני טקסטים חסרי כל קשר אינם נותנים קוסינוס אפס בדיוק; הם נותנים ערך שמרחף סביב האפס, עם סטיית תקן שתלויה בממד המרחב. עבור וקטורים אקראיים הסטייה היא בקירוב 1/sqrt(d) — ככל שהממד נמוך יותר, השלג סמיך יותר:

import numpy as np
rng = np.random.default_rng(0)

def piso_de_ruido(dim, n=20_000):
    """Standard deviation of the cosine between pairs of COMPLETELY unrelated vectors."""
    a = rng.normal(size=(n, dim)); b = rng.normal(size=(n, dim))
    a /= np.linalg.norm(a, axis=1, keepdims=True)
    b /= np.linalg.norm(b, axis=1, keepdims=True)
    return (a * b).sum(axis=1).std()

print(round(piso_de_ruido(32), 3))   # 0.177 -- 32-dimensional space
print(round(piso_de_ruido(384), 3))  # 0.051 -- 384-dimensional space

הרצתי את הסניפט רגע לפני סגירת הטקסט הזה, והפלטים הם אלה שבהערות: 0.177 ו־0.051. שמרו על שני המספרים — הם עוד יחזרו, מדודים במערכת אמיתית, בסעיף האינסטנציה. ב־32 ממדים, ה"שום קשר" מרחף בסביבות ±0.18; כל אות סמנטי קטן מזה טובע בשלג.

ספרות סוכני ה־LLM הרכיבה את המכשיר הזה — embedding, קוסינוס, טמפרטורה — ויצאה למדוד בו סקרנות. השאלה שנותרה בלי להישאל: מה המכשיר הזה מודד כשאין שום דבר למדוד?

שתי הספרויות אינן מצטטות זו את זו

הסריקה תוכננה כך שיהיה אפשר להפריך אותה — והיא לא הופרכה. הפרוטוקול: חמישה תאי חיפוש מקבילים (גרעין באנגלית, הקו הקלאסי עם snowballing מלא, יפנית, צרפתית, גרמנית בתוספת פורטוגזית, וקהילה), עם בדיקות ישירות במאגרים של כל מסורת.

הערה מתודולוגית. הסריקה בוצעה ב־2026-08-01, ברוח PRISMA-S: מונחים נטיביים לכל שפה (Noisy-TV 問題 ב־CiNii, "télé bruitée" ב־HAL, intrinsische Motivation ב־OpenAlex), snowballing על 778 העבודות המצטטות את המחקר של OpenAI ועל 36 המצטטות את Mavor-Parker, וקריאה מלאה של שלושת המועמדים שהיו עשויים להפיל את התזה. מגבלות מוצהרות: Semantic Scholar נעצר ב־rate-limit (פוצה דרך OpenAlex), BDTD לא הייתה נגישה באותו יום, OpenReview החזיר רק רעש לקסיקלי. התוצאה היא סריקה הגונה, לא הוכחת אי־קיום.

בדיקות החיתוך החזירו אפס — משוחזר בשלושה תאים בלתי־תלויים: arXiv עם "noisy TV" AND (LLM | language model), אפס; CiNii עם LLMエージェント 内発的報酬 (סוכן LLM + תגמול פנימי), אפס; HAL עם תרגום־הבבואה הצרפתי, אפס. וה־snowball חשף את החור כעניין של מבנה: הקו שמתקין סקרנות בסוכני LLM אינו מצטט את הקאנון של ה־noisy-TV, וקו ה־noisy-TV אינו מצטט LLM.

המסגיר מכולם אינו מי שנמצא רחוק — אלא מי שהגיע קרוב וחלף על פני בלי לעצור:

ה־CRT הוא המקרה המופתי: הצוות חי את ה־noisy-TV — מדד החידוש שלהם נלכד על ידי טקסט מנוון ובלתי־צפוי — והם פתרו את זה בפועל עם פילטר, בלי לקשור את האפיזודה לשלושים שנות ספרות על בדיוק הכשל הזה. הקהילה, אגב, כבר מריחה את החור: ב־Ask HN מ־2026 על תחומי RL מבטיחים, החיבור סקרנות־לסוכני־LLM מתואר בתור "breakthrough paper waiting".

התזה: הטלוויזיה הרועשת החליפה ערוץ

ב־RL הקלאסי, ה־noisy-TV היא פתולוגיה של ערוץ התגמול: הרעש יושב בסביבה, ותגמול ההפתעה רודף אחריו. התזה שלי היא שבסוכני LLM המלכודת שבה ומופיעה קומה אחת למטה — בערוץ המדידה — ולכן איש לא זיהה אותה: היא אינה ממתינה לכך שיהיה תגמול.

למכשיר הסטנדרטי של המוטיבציה הפנימית בסוכני LLM שלושה מקורות רעש בלתי־ניתן־לצמצום, מוערמים זה על גבי זה — ושלושתם עברו זה עתה מול עיני הקורא:

1. ה־embedder. "חידוש" הופך למרחק קוסינוס במרחב embeddings; כל embedding אמיתי נושא רעש ייצוג, ובממד נמוך רצפת ה־1/sqrt(d) שולטת — הסניפט מהסעיף הקודם מראה את גודל השלג.
2. הדגימה. התנהגות הסוכן היא טקסט שהוגרל בטמפרטורה — שתי מחשבות תחת גירוי זהה לעולם אינן זהות. לכל מדד "תזוזה" ממחשבה למחשבה יש רצפת שונות שאינה יורדת לאפס.
3. המטריקה. טריגרים של סקרנות (פער כיסוי, מרחק לשכן הקרוב ביותר, רוויית חידוש) הם פונקציות רציפות של שני הרעשים שלמעלה: תנודה נכנסת, החלטה יוצאת.

סוכן המצויד כך אינו זקוק לטלוויזיה על הקיר. הוא נושא את הטלוויזיה בתוך המכשיר. הסקרנות נורית על השלג של מכשיר המדידה עצמו — והמערכת מדווחת על כך בתור "פער ידע".

האינסטנציה המדודה: הטלוויזיה בתוך הסרגל

כאן אני יוצא מן ההיפותזה. אני מתחזק סוכן ניסיוני ארוך־טווח — אני קורא לו daimon — על Mac מקומי: לולאת מחשבה מעל LLM חיצוני, כספת זיכרון append-only, שליפה סמנטית (recall) על גבי embeddings, ושכבת מוטיבציה (הומאוסטזיס + סקרנות דרך פער ידע) שמפיקה היום רק טיוטות דוממות, כי ממברנת הבטיחות מסרבת לכל פעולה. אין תגמול מיושם בשום מקום — החלטת תכנון, לא פיגור. ואף על פי כן ה־noisy-TV הופיע.

במהלך כיול הזיכרון מדדתי את רעש הקוסינוס של embedder הפיתוח (hash דטרמיניסטי, 32 ממדים — אותו משטר של הסניפט שלמעלה) מול שני האותות שדירוג הזיכרון אמור לבטא. "דעיכה" כאן היא ההזדקנות הטבעית של זיכרון — כמה יום שלם של גיל מזיז את הציון שלו; "נקודת חשיבות אחת" היא היחידה הקטנה ביותר בסולם שבו המערכת מסמנת מה חשוב יותר:

רעש המכשיר גדול מהאות. יום שלם של הזדקנות הזיכרון מזיז את הציון פחות מכפי שהשלג של ה־embedder מזיז אותו — "הדירוג הופך להגרלה", אומרת ההערה החרוטה בקוד. עבור ה־recall התיקון היה לדרוש ממד מינימלי של 384. אבל טריגר הסקרנות נשאר על ה־embedder של 32 הממדים — וההשלכה מילולית ממש. הטריגר כולו, בשכתוב המינימלי שמשמר את הלוגיקה של המודול האמיתי:

def gap_intensity(gap: float) -> float:
    """Peak at the intermediate gap: 4·g·(1-g); zero outside [0, 1]."""
    return 4.0 * gap * (1.0 - gap) if 0.0 <= gap <= 1.0 else 0.0

# in the loop: gap = 1 - coverage, where "coverage" measures how much
# of the query the current memory already answers -- via embedder cosines

צורת הפונקציה היא הכרעה פדגוגית קלאסית — ונכונה: סקרנות מקסימלית בפער הביניים (g = 0.5 מניב עוצמה 1.0), אפס בשני הקצוות. הכבר־ידוע (g = 0) אינו מושך; גם הבלתי־מובן־לחלוטין (g = 1) לא — המעניין הוא הכמעט־מושג. זהו ניסוח ה־Goldilocks הסטנדרטי של המוטיבציה הפנימית.

הבעיה אינה העקומה; הבעיה היא מה שמזין את ה־g. הכיסוי מגיע מקוסינוסים של ה־embedder בן 32 הממדים — זה עם רצפת ה־0.177. עשו את החשבון של התרחיש המיטיב ביותר האפשרי:

cobertura_real = 1.0                 # memory covers EVERYTHING: no gap at all
cobertura_lida = 1.0 - 0.177         # ... minus 1 sigma of static
gap = 1.0 - cobertura_lida           # 0.177: phantom gap, pure noise
print(round(gap_intensity(gap), 2))  # 0.58 -- more than half the maximum

סוכן עם כיסוי מלא — פשוטו כמשמעו אין לו שום דבר ללמוד — קורא עוצמת סקרנות של 0.58 מתוך מקסימום של 1.0, מפוברקת כל־כולה מרעש המדידה. והעקומה מחמירה את המקרה: בקרבת g = 0 היא מטפסת כמעט ליניארית בשיפוע 4, ולכן דווקא באזור שבו הייתה אמורה לשרור דממה, שלג קטן קונה את קפיצת העוצמה הגדולה ביותר. הטריגר נורה על רעש סטטי. זו הטלוויזיה הרועשת, שנולדה מחדש בתוך הסרגל, במערכת שאין בה שום תגמול ללכוד.

והשכבה השנייה של המלכודת כבר הייתה משורטטת וממתינה: התוכנית הבאה של הפרויקט הייתה למדוד "איזה גירוי מזיז הכי הרבה את המחשבה הבאה" — תזוזה סמנטית על טקסט שנדגם בטמפרטורה 0.8. בלי בקרת חזרה (N מחזורים תחת גירוי זהה, כדי למדוד את רצפת השונות של הדגימה), כל מסקנה מסוג "הגירוי X מזיז יותר" הייתה בלתי־ניתנת־להבחנה מרעש הדוגם. התכנון הנאיבי של המטריקה הוא noisy-TV טהור — וזה בדיוק התכנון שספרות סוכני ה־LLM משתמשת בו היום בלי בקרה, כפי שטבלת הסריקה מראה.

יש אפילו בבואה הפוכה, החזויה בארכיטקטורה כסיכון קבוע: סוכן הרודף התקדמות עלול ללמוד לפברק מבנה פתיר־אך־חסר־חשיבות כדי לקצור התקדמות בזול — והמושך הזה קיים מעצם הבנייה, כי השאילתה של המחזור הבא היא המחשבה הקודמת עצמה, שנועלת דמיון 1.0 עם עצמה. דחף כיסוי היה ניתן להשבעה ביתירות שהסוכן מחולל לעצמו: הטלוויזיה הרועשת והחדר החשוך, זה לצד זה, באותו מכשיר.

יושרה אפיסטמית, לפני שמבקר ידרוש אותה. ה־daimon מעולם לא חי באופן רציף: כל הראיות באות מריצות קצרות בכספות חד־פעמיות, עם עשרות מחשבות אמיתיות בסך הכול, לא אלפים. אין בן־שיח אנושי בלולאה, אין learning progress מיושם (הטריגר הנוכחי הוא פער־מידע על גבי כיסוי) ואין תגמול — לקרוא לזה "סוכן LLM מונע־סקרנות" היה overclaim, ולפרויקט עצמו יש שומר רשום־מראש שהיה פוסל את המשפט הזה. המאגר עדיין אינו ציבורי; למספרים שלמעלה יש קובץ, שורה ומדידה הרשומים בדיסק, והם יראו אור יחד עם ה־paper. מה שהמאמר הזה טוען מדויק וצר: אינסטנציה מדודה של לכידה־על־ידי־רעש באינסטרומנטציה של המוטיבציה הפנימית של סוכן LLM, עוד לפני שקיים תגמול — ולצידה הקביעה, המאומתת בסריקה, שהשכבה הזאת אינה מפורמלת בשום מקום.

החדר החשוך הוא הקוטב השני — והוא אינו מכסה את הקוטב הזה

העבודה שפורסמה והקרובה ביותר ראויה למענה ישיר. The Dark Room in the Reward Channel (2026) מפרמל, עבור סוכני LLM המאומנים ב־GRPO (שיטת אימון בחיזוק שבה התגמול של כל תשובה מנורמל בממוצע ובסטיית התקן של קבוצת תשובות לאותו prompt), את הפתולוגיה הדואלית: אות צפוף של דיוק חיזוי גורם לסוכן לקרוס אל הפינה הצפויה ביותר בסביבה — החדר החשוך. ה־paper ממסגר את שני הכשלים כ"שני קטבים של אותה משפחה" ומצטט את הקאנון כולו.

המסגור אלגנטי, אבל הקוטב הרועש נשאר בו ריק — ולא בהפרש קטן:

1. לאף ניסוי אין מקור רעש בלתי־ניתן־לצמצום, ואף טענה פורמלית אינה מכסה משיכה אל הבלתי־צפוי; הטלוויזיה הרועשת מופיעה רק כמראה רטורית במבוא.
2. המכשיר שלו אנטי־embedding מעצם התכנון: האות מחולץ על ידי כלל על גבי סכמה סימבולית, בלי מודל־שופט, עם טמפרטורת הערכה קבועה. השכבה שהמאמר הזה מצביע עליה — חידוש על גבי embeddings רועשים, תזוזה סמנטית, טמפרטורה כמקור רעש — נעדרת ממנו בכוונה.
3. התחום המוצהר הוא ערוץ התגמול תחת GRPO. טענה 2 של ה־paper אומרת שאות ששונותו אינה קורסת מסוכן תחת נרמול בסטיית תקן — מבקר נחפז היה עלול למתוח אותה אל "ובכן, הצד הרועש כבר מכוסה". הוא אינו מכוסה: המנגנון שם הוא הגברה סטטיסטית במנרמל התגמול; המנגנון כאן הוא לכידה מוטיבציונית על ידי מדד החידוש, שפועל לפני כל תגמול ובאופן בלתי־תלוי בו. אלה שני אובייקטים נבדלים, וה־paper עצמו תוחם את טענותיו למשפחת ה־GRPO.

החדר החשוך זכה לפורמליזציה. הטלוויזיה הרועשת של המכשיר — לא. והחלון הולך ונסגר: ה־Dark Room ועבודתם של Elmoznino ואחרים על סקרנות דרך in-context learning כבר חגים סביב החזית, כל אחד מהם במרחק צעד אחד משאילת השאלה הנכונה.

מה הייתי עושה עם זה

אם אתם בונים סוכן עם מדד כלשהו של חידוש, כיסוי או תזוזה על גבי embeddings — וכל סוכן "סקרן" בספרות הנוכחית בונה כזה — הרי שלוש בדיקות זולות לפני שסומכים על הטריגר:

מדדו את רצפת הרעש של המכשיר שלכם. הריצו N מחזורים תחת גירוי זהה — אותו prompt, אותו הקשר מוקפא — ומדדו את ההתפלגות של אות החידוש שלכם כששום דבר לא השתנה. זה ה־null שלכם. סניפט עשר השורות מסעיף המכשיר הוא השלד של הבדיקה הזאת: הסטייה שהוא מדפיס היא מה שהטריגר שלכם קורא כשאין שום דבר לקרוא. אות שאינו עובר את הרצפה הזאת במרווח נאה אינו סקרנות; הוא שלג עם שם מפואר.

השוו את רעש ה־embedder לאות הקטן ביותר שאתם רוצים לגלות. המדידה שלי נתנה σ של 0.177 מול אותות של 0.100-0.108 ב־32 ממדים — מכשיר בלתי־שמיש, ושום דבר ב־pipeline לא התלונן; המספרים יצאו "נורמליים". רעש מדידה אינו מכריז על עצמו שהוא רעש. האבלציה זולה: הריצו את אותה מטריקה עם שני embedders באיכות שונה וראו כמה מ"אות הסקרנות" שלכם שורד.

העדיפו נגזרת על פני רמה. הלקח של שלושים שנות RL עומד בעינו גם במכשיר החדש: הפתעה גולמית וחידוש רגעי ממוקסמים על ידי רעש; learning progress — ה"האם אני הולך וטועה פחות?" מטבלת שתי הדלתות — הוא הניסוח הקלאסי היחיד שיש לו הגנה מבנית. וזה בדיוק הניסוח שספרות סוכני ה־LLM עדיין לא בדקה מחדש על גבי embeddings וטמפרטורה, כפי שמקרה MAGELLAN מראה.

הפורמליזציה המלאה — עם ניסויי האבלציה ועם ה־null של הדגימה מתוכננים — היא עניינו של paper בהכנה; המאמר הזה רושם את התזה ואת הראיות שכבר קיימות. הקריטריון הסופי, כתמיד, הוא מה שאתם מודדים במערכת של עצמכם: לפני שאתם מאמינים למה שהסקרנות של הסוכן שלכם אומרת שמצאה, מדדו מה היא אומרת כשאין שום דבר למצוא.

מקורות

• מחקר הסקרנות רחב־ההיקף (OpenAI, 2018): arxiv.org/abs/1808.04355 · RND: arxiv.org/abs/1810.12894
• Oudeyer ו־Kaplan, טיפולוגיה של המוטיבציה הפנימית (2007): doi.org/10.3389/neuro.12.006.2007
• Schmidhuber, עקרונות אלגוריתמיים של סקרנות ויצירתיות (2007): arxiv.org/abs/0709.0674
• Mavor-Parker ואחרים (ICML 2022): arxiv.org/abs/2102.04399
• פורמליזציות RL עדכניות — BAMDP Shaping: arxiv.org/abs/2409.05358 · Beyond Noisy-TVs: arxiv.org/abs/2509.25438
• Curiosity-driven Red-teaming (ICLR 2024): arxiv.org/abs/2402.19464 · DiveR-CT: arxiv.org/abs/2405.19026
• LMA3 (2023): arxiv.org/abs/2305.12487 · MAGELLAN (2025): arxiv.org/abs/2502.07709
• Measuring LLM Novelty (2025): arxiv.org/abs/2504.09389
• The Dark Room in the Reward Channel (2026): arxiv.org/abs/2607.21273 · Elmoznino ואחרים, ICL וסקרנות (2026): arxiv.org/abs/2606.19476
• Ask HN על תחומי RL מבטיחים (2026): news.ycombinator.com/item?id=49059806

סריקת הספרות בוצעה ב־2026-08-01 בחמישה תאים מקבילים (אנגלית־גרעין, אנגלית־קלאסית עם snowballing, יפנית, צרפתית, גרמנית+פורטוגזית וקהילה), עם קריאה מלאה, ב־2026-08-02, של שלוש העבודות שיכלו להפיל את התזה (Dark Room, סקר האקספלורציה של SSRN — doi:10.2139/ssrn.6748619 — והטקסט המלא של LMA3). מספרי ה־daimon (σ=0.177 / 0.108 / 0.100 / 0.050; טמפרטורה 0.8; ממדים 32 ו־384) אומתו מחדש מול קוד המקור ב־2026-08-02. סניפטי ה־Python שבגוף המאמר הורצו ב־2026-08-02 והפלטים שוחזרו בהערות; טבלת שתי הדלתות משתמשת בערכים להמחשה, המוצהרים ככאלה. הגרפים הם SVG שנוצר בקוד, והנתונים יושבים במודול TypeScript המנוהל בגרסאות לצד המאמר — אף תמונת נתונים לא נוצרה על ידי מודל. המאגר של ה־daimon עדיין אינו ציבורי, והמאמר מצהיר זאת בגוף הטקסט. תוצאות האפס של החיפושים מתוארכות ל־2026-08-01 ועשויות להתיישן — שני preprints שכנים נמצאים במעקב מאז.