Förmåga 08 · Edge AI
Demon fungerade.
Produktionslinjen är svårare.
Ett deployment-flöde för vision-modeller som måste fortsätta fungera på en riktig linje – när ljuset skiftar, damm lägger sig och edge cases dyker upp varje dag.
Situationen
Träffsäkerhet i en demo och träffsäkerhet i produktion är två olika problem.
Modellen fungerade på rena testbilder. På golvet ändras ljuset under dagen, damm lägger sig på linsen och nya edge cases dyker upp.
Hårdvaran är begränsad, nätverket är opålitligt och resultat som kommer för sent går inte att agera på.
En modell som var träffsäker förra månaden kan glida i tysthet utan att någon märker det.
Utmaningen
Det svåra är att förbli träffsäker – och att märka när du inte är det.
Att få en modell i produktion är en sak. Att hålla den träffsäker när förutsättningarna ändras är en annan.
Den måste köra pålitligt på edge-hårdvara, skicka tillbaka resultat snabbt nog för att spela roll och övervakas så att glidning fångas tidigt.
Utan övervakning är det första tecknet på problem en missad defekt eller en störtflod av falsklarm.
Förmågan
Vi tar modellen till golvet – och håller den träffsäker.
Modellen körs på edge-hårdvara, kontrollerar bildinput lokalt och skickar tillbaka strukturerade resultat in i driftsystemet i realtid.
Prestandan övervakas över tid, så att glidning fångas innan den blir ett problem, och modellen tränas om när förutsättningarna ändras.
Inspektionen blir en del av flödet, inte ett separat steg som med tiden faller ifrån.
Så fungerar flödet
Före / efter
En modell som fungerade i en demo kämpar på linjen. Resultaten fördröjs och glidningen går obemärkt förbi tills något missas.
Modellen körs på edge-hårdvaran, rapporterar tillbaka i realtid och övervakas så att drift fångas tidigt och rättas. Den fortsätter fungera när förhållandena ändras, inte bara vid lansering.
Kontroller
- Lokal bearbetning på edge
- Resultat loggas och skickas tillbaka till systemet
- En konfidensgräns för granskning
- Mänsklig granskning av osäkra fall
- Prestanda övervakas för glidning
- Larm när träffsäkerheten sviktar
- Omträning när förutsättningarna ändras
- En tydlig ägare till den driftsatta modellen
Var detta passar
Vad som förändras
Frågor om vision i produktion
Vad händer när systemet inte är säkert?
Det frågar. Osäkra fall går till en person för granskning och godkännande istället för att avgöras automatiskt. Linjen fortsätter gå, och bedömningarna stannar hos ert team.