Ett företag med runt 200,000 produkter ville ha det alla vill ha nu: ställ en fråga på vanligt språk, få svaret ur katalogen. Datan var ren och låg bakom välbyggda API:er. Det såg ut som en helgs arbete.
Sen lät vi en modell fråga datan direkt, och såg den göra det modeller gör. Den hallucinerade fält som inte fanns. Den missade sådana som fanns. Värst av allt började den bygga tysta skuggkopior av databasen i sin egen kontext, och svarade utifrån en version av sanningen som drev lite längre från verkligheten för varje fråga.
Regeln: modellen pratar aldrig med din data
Lösningen var inte en bättre prompt. Det var en regel vi nu tillämpar överallt: modellen pratar aldrig med din data direkt.
Istället la vi ett lager emellan. En fråga på naturligt språk blir en schemavaliderad query, kontrollerad mot vad datan faktiskt är, som sen körs mot den riktiga källan och returnerar ett riktigt resultat. Modellen hjälper till att formulera frågan. Den hittar aldrig på svaret.
AI föreslår. Systemet avgör vad som är verkligt.
Varför det extra lagret betalar sig
Skillnaden är ansvarstagande. En modell kan ha fel om vad som helst. En validerad query kan bara returnera något som verkligen finns där, och varje svar den ger går att spåra tillbaka till en källsida. Ser en siffra fel ut kan du följa den hela vägen hem.
Det här är human-in-the-loop flyttat en nivå ner. AI föreslår; systemet avgör vad som är verkligt. Modellen får vara kreativ med språket, och inget annat. Det är något mer arbete att bygga, och det är skillnaden mellan en demo som vinner ett möte och ett system folk fortfarande litar på vid den tvåhundrade frågan.
Ett svar du inte kan spåra är inget svar. Det är en gissning med bra grammatik.