OmniTouch

En af de store revolutioner inden for computing har været berøringsskærme. De bragte en ny måde at interagere med computeren på, enten med en speciel markør eller med din finger. I 2011 gik Microsoft videre med introduktionen af ​​OmniTouch, et projekt, der gjorde enhver overflade berørbar. Grundideen er at montere et kamera og en projektorenhed på skulderen, som projicerer skærmen og aflæser brugerens tastetryk. Mulighederne er uendelige, hvilket giver os mulighed for at forvandle vores hånd, væggen, et lagen eller enhver anden overflade til en berøringsskærm .

Sådan fungerer OmniTouch: genkender tastetryk

Den vigtigste del af OmniTouch-projektet er sporingen af ​​fingrenes position og dybde for at vide, hvor brugeren rører ved. Til dette blev der brugt et dybdefølsomt PrimeSense-kamera i prototypen. I modsætning til et norm alt kamera, der måler farver, måler PrimeSense afstanden af ​​hvert punkt i billedet fra kameralinsen. 1 mm nøjagtighed og 20 cm minimum rækkevidde er de største fordele i forhold til Kinect-kameraet, som oprindeligt blev brugt i projektet.

"

For at finde fingre fanger OmniTouch først dybdekortet (A). Derefter beregnes hældningskortet >"

I (B) kan du se det kort oversat til farver: rød betyder, at der er mindre dybde i den positive retning af X- eller Y-aksen (opad eller til højre) og blå betyder, at der er mindre dybde i negativ retning af X- eller Y-aksen (ned eller til venstre).Lilla betyder, at der næsten ikke er nogen ændring i dybden.

Med dette kort leder softwaren efter lodrette cylindriske sektioner, en overflade, der nærmer sig kameraet, derefter bliver og til sidst bevæger sig væk. Hvad har været en finger, hvis du kører den fra den ene side til den anden, wow. Se efter et rødt udsnit på farvekortet, derefter et lilla udsnit og derefter et blåt udsnit, alt sammen på den samme lodrette akse.

Mulige kandidater filtreres efter højde for at frafiltrere alt, der ikke kan være en finger (for eksempel kan en 2-millimeter høj cylinder ikke genkendes som en finger, så den kasseres). I figur (C) kan du se alle fingersektionerne identificeret.

Når dette er gjort, samles alle de lodrette sektioner til fingeren (figur D). Fingre, der kan være for korte, kasseres, og det antages, at da brugeren er højrehåndet, er den yderste venstre del af fingeren spidsen.Og voila, vi ved nu, hvor brugeren peger på .

Nu, hvordan ved vi, om fingeren rører overfladen? De kalder det oversvømmelsesfyld, men det vil være mere bekendt, hvis jeg fortæller dig, at det er som at fylde med malerspanden med Paint.

Teknikken er enkel: Find fingerens midtpunkt, og begynd at fylde pixels op, til venstre og til højre med en tolerance på 13 millimeter. Det vil sige, at de kun fylder en pixel, hvis forskellen mellem dens dybde og fingerens midtpunkt er mindre end 13 millimeter.

På denne måde, hvis din finger ikke rører noget, vil kun de pixels, der svarer til din finger, blive udfyldt. Hvis du rører ved hånden, vil mange flere blive fyldt. På billedet kan du se, hvad der sker, hvis fingeren er i luften (venstre) eller rører ved hånden (højre). Når en vis margen af ​​fyldte pixels er passeret, sender softwaren et tryk eller klik på det tilsvarende sted.

Sådan fungerer OmniTouch: Projicering af billedet

Selvom fingergenkendelse er den centrale del, kan vi ikke glemme, at OmniTouch også skal projicere et billede på enhver overflade. Dybdekammeret bruges også til dette. Alle overflader i billedet detekteres ved hjælp af en tilsluttet komponentalgoritme, som meget effektivt registrerer indbyrdes forbundne punkter i billedet.

Når overflader, der er mindre end en hånd, er blevet kasseret, fortsætter vi med at fiksere et center eller referencepunkt for at projicere billedet. Dette punkt hjælper med at registrere orienteringen af ​​overfladen og gør det derfor muligt at skabe et billede, der ikke ser forvrænget ud.

Det næste svære punkt kommer, når det kommer til at opdage størrelsen af ​​overfladen.Da kanterne af overflader ikke kan genkendes godt nok, bruger OmniTouch middelværdien og standardafvigelsen af ​​komponentpunkterne til at klassificere det i fem punkter: hånd, arm, notesbog, væg og bord. Hver af dem har en bestemt størrelse og et center for billedet.

Softwaren genererer det billede, der skal projiceres med alle data, og forvrænger det, så det vises korrekt på overfladen. Den sender derefter billedet til projektoren, som vil vise billedet på hvilken overflade det er.

Præcis teknologi med mange muligheder

Test, der bruges til at måle nøjagtigheden af ​​OmniTouch.

I test viste OmniTouch sig at være en meget præcis teknologi. 96,5% nøjagtighed, når det kommer til at genkende et klik, et meget godt tal og endnu mere i betragtning af, at det er en prototype.Med hensyn til størrelsen af ​​grænsefladen, med knapper på 2 centimeter i diameter, vil 95 % af tastetryk blive genkendt.

Denne maksimale størrelse er nødvendig for en grænseflade, der projiceres i hånden. På andre overflader længere væk, såsom et bord eller en væg, kan den reduceres til 15 millimeter, mere eller mindre den samme størrelse, der anbefales til en knap på en konventionel berøringsskærm .

"

Mulighederne er uendelige. Med prototypen blev der skabt en talerstol til at male: På væggen tegnede du og i venstre hånd valgte du farverne. Bruges også som highlighter>"

… vi interagerer med computeren.

"

OmniTouch er et virkelig spændende projekt, både i dets teknik og i dets muligheder. Vi vil snart tale om ham igen i den særlige Fremtiden ifølge Microsoft>"

I Xataka Windows | Fremtiden ifølge Microsoft Mere information | OmniTouch