MAR, oltre la RAG: cercare il significato, non le parole
Un'ipotesi per superare la RAG salvando concetti atomici invece di frasi: filtri esatti sugli assi e contesto minimo per qualsiasi modello AI.
1. L'informazione nell'archivio c'è, ma il sistema non la trova
Chi ha messo una RAG in produzione dentro un'azienda conosce bene questa situazione: sai per certo che un'informazione nei documenti c'è, fai la domanda all'assistente e lui risponde come se quella riga non fosse mai stata scritta.
Succede ogni volta che un concetto utile viene espresso una volta sola, di passaggio, mentre si parla d'altro. Quattro mesi fa, cercando una giacca sintetica al posto della pelle, hai scritto in chat «i miei sono vegani». Stasera chiedi: «cosa cucino per i miei sabato?». Per una persona il legame è immediato; per gli strumenti attuali il collegamento salta.
Un ricercatore indipendente ha trasformato questa scena in un test pubblico, The Buried Clue: 150 chat di un utente simulato, tre vincoli detti di sfuggita e una domanda esplicita di controllo, sullo stesso modello da 8 miliardi di parametri. Sui tre vincoli nascosti hanno fallito tutti:
- Senza memoria: 0 su 4, com'è ovvio.
- RAG classica: 1 su 4. Trova solo la domanda esplicita sul nome della sorella; la chat sui genitori vegani non la ripesca mai.
- Tutte le 150 chat nel prompt: 0 su 4. Le conversazioni ci sono tutte, ma si perdono dentro 27.000 token (circa ventimila parole).
- Memorilla (16 vettori densi compressi): 0 su 4. Arrivati a 150 chat, il nome della sorella Priya diventa Emily.
Quattro domande non fanno statistica, e l'autore del test lo chiarisce subito. Mostrano però un difetto strutturale concreto: l'informazione nell'archivio esiste, ma il meccanismo di ricerca la manca.
In Pensare senza parole proponevo un linguaggio molecolare per rappresentare i concetti senza passare dalle parole, accennando alla fine che anche l'archivio esterno dovrebbe usare lo stesso formato. Qui porto quell'idea su un terreno vicino al lavoro quotidiano: salvare e ritrovare tutto ciò che comunichiamo. La chiamo MAR, Meaning-Atom Retrieval: recupero per atomi di significato.
Come per l'altro quaderno, resta un'ipotesi teorica: non ho ancora scritto né addestrato il sistema. In fondo spiego i punti in cui può rompersi e la prova da cui partirei per verificarla.
2. Lo scatolone a misura fissa e i limiti della RAG
Una RAG divide i documenti in spezzoni di lunghezza simile, trasforma ogni spezzone in un vettore numerico (embedding) e ripesca i cinque più vicini alla domanda. Funziona finché domanda e risposta usano parole simili. Si rompe in tre punti:
- Il vettore ha la stessa dimensione a prescindere da cosa comunichi. È come spedire qualsiasi cosa nello stesso scatolone fisso: una risposta di una parola sola («Sì») occupa, ad esempio, millecinquecento numeri tanto quanto una pagina fitta di venti concetti diversi. Sul testo minimo gonfia dettagli senza senso; sul testo denso schiaccia tutto in una sola media.
- Il taglio a lunghezza fissa spezza i concetti. Se un discorso cade a metà tra la fine di uno spezzone e l'inizio del successivo, nessuno dei due lo conserva per intero.
- Confronta le parole usate, non il significato. «Giacca sintetica» e «cosa cucino sabato» non condividono vocaboli. Il concetto che li unisce nella chat sulla giacca non è scritto come regola di cucina: va capito.
Le alternative più recenti spostano il problema senza risolverlo. Mettere tutto l'archivio nel prompt alza tempi e costi e annega i dettagli. Far scrivere riassunti testuali a un agente (come Mem0 o MemGPT) riduce il volume, ma perde pezzi per strada: chi riassume scarta ciò che sul momento gli sembra marginale. Comprimere l'archivio in sedici vettori (ricalcolati a ogni domanda, però sempre della stessa taglia fissa), come fa Memorilla, è rapido (0,12 secondi letti i testi, circa sei volte più veloce del contesto intero su 512 documenti), ma porta all'estremo il punto 1: nomi e concetti si mescolano come tempere nello stesso bicchiere. Prova a cambiare il messaggio qui sotto per vedere la differenza.
Stessa scatola fissa per tutto (RAG) contro concetti su misura (MAR)
Clicca i tre messaggi: la MAR non butta via nemmeno un «Ciao!», trasforma in concetti tutto ciò che comunichi usando lo spazio che serve davvero.
«Ciao! Tutto bene? Appena riesci ci sentiamo per un caffè, buona giornata!»
Sempre lo stesso vettore fisso (es. 1.536 numeri), dove però restano incollate le parole «caffè» e «giornata» invece dell’intenzione sociale.
Non butta via nulla: anche «Ciao, tutto bene?» comunica concetti precisi e viene scomposto per intero, liberandolo però dalle parole usate.
3. Tradurre ogni comunicazione in atomi, molecole e legami
La MAR non è un estrattore che tiene solo le nozioni da database buttando via il resto: è un sistema di concetti atomici che traduce tutto ciò che un testo comunica, scartando solo la forma delle frasi.
Anche scrivere «Ciao! Tutto bene? Ci prendiamo un caffè?» trasmette moltissimo: apertura di contatto, registro informale, interesse per chi legge e proposta di incontro futuro. Nulla va cestinato, a meno che non esprima davvero zero significato; anzi, un saluto ricco di intenzioni sociali può accendere più assi di una nota secca. Il punto è che lo spazio occupato segue la ricchezza dei concetti espressi, senza aggiungere né togliere nulla a ciò che volevi dire.
Qui conta distinguere bene atomi, molecole e legami, come visto in Pensare senza parole: un limone, una casa o un animale sono già molecole composte, costruite combinando proprietà elementari più piccole (vita biologica, sensibilità, movimento, acidità, grandezza). Il burro o un maglione di lana, ovviamente, non sono esseri viventi e non si muovono: ciò che li accomuna alla carne e alla pelle è un legame di provenienza (deriva_da → animale), che per brevità possiamo chiamare origine_animale. Così la frase «cerco una giacca sintetica, i miei sono vegani» registra due legami distinti:
- l'oggetto cercato quel giorno (
giacca), che esclude ciò chederiva_da → animale; - sul nodo
genitori, un rifiuto stabile verso tutto ciò chederiva_da → animale.
Quando mesi dopo chiedi cosa cucinare o che maglione regalare a tuo padre, aprendo genitori (o risalendovi da padre) esce quello stesso rifiuto, che scarta carne, burro, lana e pelle perché puntano tutti per provenienza alla molecola animale.
E le metafore? Se scrivo «mio padre al mattino è un orso», cancellare l'orso sarebbe un errore: se domani chiedessi «a quale animale paragono mio padre appena sveglio?», perderei la risposta. La MAR salva entrambi i lati: registra il tratto reale (burbero al risveglio) e affianca un legame marcato come metafora verso la molecola orso. Così una ricerca sugli animali veri lo ignora, mentre una domanda sul paragone usato ritrova subito l'orso. Guarda i tre casi qui sotto.
Legami di provenienza («deriva da → Animale») e metafore salvate («è un orso»)
Prova i tre casi qui sotto: anche la metafora dell’orso resta in archivio col suo marchio figurato, senza confondersi con gli animali veri.
Così non sporchi le ricerche letterali, ma non cancelli nemmeno l’immagine scelta da chi parlava.
4. Mille assi possibili, zero spazio per quelli spenti
Nasce subito un'obiezione geometrica: se lo spazio completo conta mille assi, ogni piccolo concetto deve portarsi dietro mille caselle quasi tutte vuote?
No. Un concetto che tocca quattro assi è un oggetto a quattro dimensioni immerso in uno spazio a mille, e i conti non ne soffrono. Sul disco salvi solo le coppie (asse, valore) davvero misurate, incluso uno 0 reale come l'acqua tiepida; gli altri novecentonovantasei assi non vengono scritti e occupano zero spazio, come nei vettori sparsi dei motori di ricerca.
L'unico punto in cui il calcolo può sbagliare è trattare il silenzio come zero. Per evitarlo restano separati i tre stati già visti nel primo articolo:
- Misurato: il testo esprime un valore su quell'asse, positivo, negativo o centrale (
0). «Sono vegani» e «mangiano di tutto» sono entrambi misurati, con segni opposti. - Ignoto: la proprietà avrebbe senso per quel soggetto (ad esempio il glutine per i genitori), ma non ne abbiamo mai parlato.
- Non applicabile: la proprietà non ha senso per quel concetto, come la temperatura di ebollizione per il numero
5.
Due concetti si confrontano solo sugli assi misurati: ciò che non sappiamo resta ignoto, ciò che non c'entra resta non applicabile, e nessuno dei due diventa uno zero finto. Osserva i tre esempi qui sotto.
Pochi assi salvati su mille, e perché il silenzio non è uno zero
Scegli uno dei tre esempi: vedi subito l’unica colonna che finisce sul disco (Misurato) e le due che non occupano spazio.
- materia fisica = sì (+1)
- compattezza = liquido
- temperatura = 0 (tiepida misurata!)
- provenienza (rubinetto o bottiglia?)
- capienza esatta della tazza
- carattere burbero
- ruolo aziendale
Sul disco scrivi solo quei 3 valori (incluso lo 0 reale di «tiepida»!). Gli altri 997 assi non occupano spazio: ciò che non è detto resta «ignoto», mai zero.
5. Primo livello: filtri sugli assi e contesto minimo
Con l'archivio e la domanda tradotti nello stesso spazio, il recupero diventa un filtro sulle coordinate invece di una gara di somiglianza lessicale. In tre passi:
- Tocca i nodi e i loro gruppi specifici: se chiedi «cosa cucino per i miei?» apre
genitorie scende ai membri (padre,madre). Se chiedi «che regalo prendo a mio padre?» parte dapadree risale agenitori, senza allargarsi agli altri membri. - Raccoglie i legami compatibili con la richiesta: sui soggetti coinvolti estrae i vincoli attivi che toccano gli stessi nodi o legami di ciò che stai scegliendo (cibo, lana e pelle tramite
deriva_da → animale), filtrando anche lungo l'asse del tempo (ad esempio ciò che è validooggio da oggi in poi). - Taglia per gradi continui e soglie numeriche insieme ai legami: se chiedi «un regalo per mio padre: caldo, morbido e sotto i 50 €» (cercando tra appunti o schede prodotto codificati nello stesso spazio), un solo filtro combina la risalita sui legami (
padre → genitori → NON deriva_da → animale, via la lana), i gradi sugli assi continui (isolamento_termicoalto,morbidezzaalta, preferendo un cotone felpato a una giacca di tela rigida) e la soglia Geohash (prezzo < 50 €). Non c'è contraddizione con la sezione precedente: se cerchi dove si parla di budget o di prezzi prendi solo chi ha misurato quell'asse, mentre quando controlli i vincoli di una persona un asse ignoto (come il glutine mai nominato) non diventa un divieto.
Quando il primo filtro basta, ti fermi. Se invece emerge un dubbio (una domanda al singolare che pesca due Mario diversi, fonti in conflitto o una casella necessaria rimasta su ignoto), quel dubbio fa partire un secondo filtro mirato, ad esempio leggendo il messaggio precedente della chat; e si potrebbe allenare il modello a scegliere il percorso di filtri più breve.
Da questo primo livello esce un contesto minimo e preciso: poche righe pulite passate a un modello linguistico normale perché ci ragioni sopra a mente lucida, accompagnate da un ID che punta al brano originale su un database classico (Redis, Postgres o NoSQL) quando serve rileggere il testo esatto. Prova le tre domande sull'esempio qui sotto.
Esempio illustrativo (Livello 1): filtro sugli assi contro somiglianza di parole
Simulazione su 6 note d’esempio: confronta cosa ripesca la somiglianza lessicale e quale contesto minimo passerebbe la MAR.
Il budget iniziale del progetto è 50.000 €.
Mia sorella si chiama Priya, compie gli anni ad aprile.
Cerco una giacca sintetica, i miei sono vegani.
Cosa cucino stasera per i colleghi? Ricetta carbonara.
Aggiornamento: da maggio il budget approvato è 80.000 €.
Mario Rossi (fornitore) e Mario Bianchi (progetto B).
Somiglianza di parole: pesca #104 («cucino», «ricetta») e #57 («mia»), mancando #88 che parlava di giacche.
Contesto minimo passato all’AI: «Genitori utente: rifiuto su deriva_da → Animale [fonte #88, marzo].»
6. Secondo livello: bozza di vincoli in concetti e catalogo delle identità
Il passo successivo sarebbe produrre già nello spazio dei concetti una bozza strutturata della risposta: prima ancora del testo finito, il sistema fissa l'insieme preciso dei concetti e dei vincoli (constraints) che la risposta dovrà rispettare. A valle, qualsiasi modello linguistico genererebbe poi la frase nella nostra lingua restando dentro quei binari.
Qui sorge un dubbio concreto: se ragiono senza parole, come faccio alla fine a sapere che quel nodo è Mario, o Napoleone? E se mi riferisco a quella specifica sedia su cui siedo da anni, non a una sedia qualsiasi, come la distinguo?
Basta affiancare allo spazio un catalogo delle identità. Come in Pensare senza parole, ogni esemplare specifico (Mario, Napoleone, Priya, quella singola sedia) riceve un indirizzo stabile, e il catalogo gli associa l'etichetta scritta lettera per lettera. In ingresso incroci nome, tratti e contesto per riagganciare lo stesso Mario tra cento chat (lasciando oppure sugli omonimi dubbi); in uscita esporti la bozza di concetti insieme alle sole identità toccate, così Priya resta Priya senza mai passare da una media di vettori.
7. Terzo livello: un cervello geometrico navigabile
Facendo un altro passo avanti, se ogni concetto o episodio registrato è un oggetto a quattro, otto o dieci dimensioni, l'intera base di conoscenza diventa un unico spazio a mille dimensioni popolato da oggetti di taglia diversa.
Con un database costruito apposta per custodire e percorrere questa geometria, sparisce persino il confine tra recupero e ragionamento: un modello allenato con normali tecniche di machine learning entrerebbe dalle coordinate della domanda e navigherebbe lungo assi e frecce condivise. La sfida di addestramento più dura diventerebbe insegnargli il punto giusto in cui smettere di pensare perché la risposta è completa.
È l'orizzonte più lontano dell'ipotesi; i primi due livelli potrebbero già lavorare da soli davanti ai modelli attuali. Confronta cosa produce ciascuno dei tre livelli qui sotto.
La stessa domanda nei tre livelli: cosa esce davvero a ogni gradino
Domanda di partenza: «Un regalo per mio padre: caldo, morbido e sotto i 50 €». Cambia livello per vedere cosa produce il sistema.
• Bozza risposta: capo caldo (+0,8) · morbido (+0,7) · prezzo < 50 € · VIETATO: deriva_da → Animale
• Catalogo identità toccate: #ID_04 = «Papà Mario» (scritto lettera per lettera)
Vantaggio: chi scrive il testo finale deve solo tradurre in italiano quei vincoli già decisi, senza poter proporre la lana né storpiare i nomi.
8. Chi ci sta già lavorando: frasi atomiche, grafi temporali e cosa cambia qui
Due filoni di ricerca vicini mostrano sia cosa funziona già sia dove resta uno spazio aperto.
Il primo spezza i testi in unità minime: Atom-RAG indicizza i documenti come brevi «fatti atomici» scomponendo le domande in sotto-domande, mentre AtomicRAG collega «atomi di conoscenza» in un grafo tramite le entità citate e avvia la ricerca col vettore. In entrambi i casi, però, l'atomo resta una frase in lingua naturale (come «Japan is an island country») pensata per fatti dichiarativi e cercata per somiglianza: loro spezzano le frasi in frasi più corte, la MAR scompone l'intera comunicazione nei suoi assi elementari.
Il secondo filone usa i grafi della conoscenza: HippoRAG propaga la ricerca lungo le relazioni tra entità, e Zep costruisce un grafo temporale che aggiorna fatti e date di validità nelle conversazioni. Un database a grafo sa già seguire frecce discrete come burro → latte → mucca, chiudere un vecchio budget e filtrare valori o soglie, però solo sui campi che qualcuno ha previsto nello schema di quel dominio: se per un catalogo nessuno ha dichiarato morbidezza, quel dato non esiste. La MAR usa invece un'unica tavola condivisa di assi graduati, riempita in automatico dal codificatore leggendo il testo: «felpa di pile spessa» accende calore e morbidezza senza che nessuno abbia progettato quelle colonne per le felpe, e gli stessi assi valgono per una coperta o una giornata d'inverno senza chiudere ogni concetto in un'etichetta intera.
9. Dove può rompersi, e la prima prova da fare
Proprio perché sulla carta il disegno torna, vanno messi in chiaro i tre punti in cui può incagliarsi nella pratica:
- Tavola degli assi, interpretazione e cambi di versione. Allineare la griglia tra chi scrive e chi legge funziona come le versioni di un QR code: fissata una versione dello schema (anche ridotta per una base dati verticale o per le domande tipiche degli utenti, lasciando la tavola completa al macro-cervello), scrittura e filtro usano le stesse coordinate. Le versioni ridotte sono semplici sottoinsiemi della stessa tavola condivisa, quindi ogni asse mantiene sempre lo stesso significato in ogni versione. Restano però due ostacoli veri. Primo: a differenza di un QR code, che applica una regola fissa sui caratteri, qui la traduzione è un'interpretazione appresa, quindi due frasi come «sono vegani» e «evitano cibi animali» rischiano comunque di finire su coordinate diverse se il modello oscilla. Secondo: allargare un sottoinsieme richiede solo di calcolare gli assi nuovi, mentre modificare la tavola madre (ad esempio dividendo un asse in due) obbliga a ricodificare tutto l'archivio.
- Errori del codificatore sul testo di partenza. Gli atomi tolgono ambiguità dopo la codifica, durante i filtri e il ragionamento; in ingresso, però, il codificatore legge pur sempre frasi umane ambigue e può fraintendere una negazione o un sottinteso. Per questo serve conservare sempre l'ID del brano grezzo sul database tradizionale, per poter rileggere la fonte originale nei casi dubbi (e ripartire da lì se cambia la versione degli assi).
- Costo di calcolo in scrittura. Scomporre ogni pagina con un modello linguistico enorme costerebbe molto più di un normale embedding, rendendo pesante la fase di prototipo. Fissata una versione stabile degli assi, la via d'uscita sarebbe addestrare col machine learning un piccolo modello dedicato solo a convertire testi in coordinate atomiche, pagando il lavoro all'ingresso una volta sola per avere poi ricerche più leggere.
La prima verifica che farei resta semplice: prendere le 150 chat di The Buried Clue e testare il primo livello. Basta controllare se, alla domanda «cosa cucino per i miei sabato?», il vincolo sui genitori vegani entra nel contesto minimo senza trascinarsi dietro le chat-esca sulle ricette. Lì la RAG classica ha fatto zero; vedere come si comporta il filtro sugli assi darebbe subito la prima misura vera.
Non un archivio che ammucchia frasi sperando di ritrovarle per assonanza, ma uno spazio di concetti che si interroga e si percorre con filtri esatti.