Дзеркало і дверна петля зробили екран ноутбука сенсорним

Інженери МТІ розробили простий і недорогий спосіб перетворення звичайного екрана ноутбука в сенсорний. Для цього вони встановили перед його веб-камерою дзеркало на дверний петлі, яке дозволяє камері бачити дотик пальця до екрана. Програмна частина системи аналізує зображення з камери, за допомогою комп'ютерного зору визначає координати дотику до екрану і перетворює торкання в дії мишею.

Деякі сучасні ноутбуки оснащені сенсорними екранами, проте переважна більшість як і раніше випускається зі звичайними екранами. Деякі інженери пропонують не змінювати сам екран, а обійтися невеликими сторонніми пристроями. Кілька інженерів з Массачусетського технологічного інституту створили просте і дешеве рішення для наділення існуючих екранів ноутбуків здатністю реагувати на дотики. Для цього вони створили з підручних матеріалів невелику насадку на веб-камеру ноутбука. Вона складається з дверної петлі, на яку за допомогою клею прикріплене дзеркало. Воно встановлене під таким кутом, що на камеру потрапляє зображення екрана і невелика області перед ним.


Насадка на веб-камеру

Для аналізу зображення команда розробників використовувала технологію одного з учасників проекту, яку він розробив ще в 2010 році в якості аматорського проекту. Він створив на основі відкритої бібліотеки комп'ютерного зору OpenCV програму, яка визначає дотик по відображенню пальця від поверхні екрану. При піднесенні пальця до екрану камера починає бачити не тільки палець, але і його відображення від екрана на деякій відстані. Алгоритм виділяє і залишає на зображенні тільки ті частини, які мають колір, близький до кольору шкіри. В результаті на ньому залишається два об'єкти. Якщо ж об'єкти об'єдналися - це значить, що палець доторкнувся до екрану.


Програма визначає торкання при відсутності зазору між пальцем і його відображенням

Спочатку розробник використав для цього зовнішню камеру, але тепер інженери спростили концепцію і за допомогою дзеркала змогли використати для тієї ж мети вбудовану в кришку ноутбука камеру. Перед початком роботи програму необхідно відкалібрувати - для цього вона просить користувача доторкнутися до певних місць на екрані і на основі декількох таких дотиків вчиться зіставляти координати на зображенні з камери з координатами реального екрану.


Як виглядає оброблене програмою зображення

Для того, щоб програму можна було використовувати з будь-якими додатками в операційній системі, розробники навчили її перетворювати торкання в дії миші. Крім цього, розробники додатків можуть адаптувати їх для використання з новою програмою і отримувати не тільки дані про торкання, але і про висоту пальця над екраном. Автори відзначають, що поки їх насадка лише демонструє працездатність концепції, оскільки насправді дзеркало не дозволяє відображати на камеру весь екран відразу, але для цього можна використовувати зігнуте дзеркало. Вихідний код програми опублікований на GitHub.

---

© за матеріалами