Hur Fungerar SignTrack?

SignTrack är en interaktiv applikation som använder AI och hand tracking för att göra lärandet av teckenspråk mer modernt, engagerande och lättillgängligt. Genom mobilkameran kan appen analysera användarens handrörelser i realtid och ge direkt feedback på olika tecken och rörelser. Målet med projektet är att kombinera teknik och lärande för att skapa ett enklare och mer motiverande sätt att träna teckenspråk.

Programmet fungerar genom att kameran identifierar och följer flera punkter på användarens händer och fingrar. Dessa rörelser analyseras sedan av en AI-modell som jämför rörelsen med tidigare tränad data för att avgöra vilket tecken som utförs. På så sätt kan systemet känna igen olika handrörelser och ge användaren feedback direkt på skärmen.

I den nuvarande prototypen har vi utvecklat ett system som kan känna igen tecken från alfabetet. För att träna modellen har vi samlat in och bearbetat data från olika handrörelser och tecken. Systemet använder denna data för att lära sig skillnaden mellan olika rörelsemönster och förbättra igenkänningen över tid.

SignTrack är även utvecklat som en spelbaserad lärandeplattform där användaren ska kunna utvecklas genom nivåer, utmaningar och olika övningar. Tanken är att lärandet ska kännas mer interaktivt och motiverande jämfört med traditionella metoder. Genom direkt feedback kan användaren snabbt förstå om ett tecken utförs korrekt och förbättra sina rörelser steg för steg.

Projektet är fortfarande under utveckling och vår vision är att vidareutveckla systemet med fler ord, fler rörelser, förbättrad AI-igenkänning och fler funktioner i framtiden.