«У дочки сохранилось совсем чуть-чуть зрения». Как отец слепой девочки научил нейросеть читать по Брайлю
У Ильи и Ольги Оводовых семеро детей — трое кровных и четверо приемных. У младших тяжелые заболевания: Варя не ходит, Анжела с рождения не видит. Илья — программист, а Ольга — математик. Вместе они придумали программу, которая переводит страницу на Брайле в текст на русском языке, и этим очень облегчили жизнь учительнице Анжелы. О работе над программой, премии губернатора Московской области и жизни большой дружной семьи Ольга и Илья рассказали «Правмиру».

Мама, а что это на столе? — Анжела нащупала неизвестный предмет и начала свою любимую игру в вопросы, пока Ольга заплетает ее длинные волосы в тугие косы. 

— Банка из-под креветок.

— А что такое креветки?

— Морские животные.

— Они большие? Какого они размера?

— Разного размера. Вот такого примерно, — Ольга берет указательный палец девочки и отмеряет на нем расстояние длиной с креветку. Анжела понимающе кивает.

Ольга Оводова

«В самых смелых мечтах мы идем в школу слабовидящих»

Ангелина попала в семью Оводовых 2,5 года назад. Илья и Ольга на тот момент уже были родителями шести детей: кровных Андрея, Александра, Ани и приемных Сергея, Арины и Вари. 

У Вари — артрогрипоз, это врожденное заболевание скелетно-мышечной системы, при котором возникает деформация конечностей, недоразвитие суставов и мышц. «Мы когда ее только взяли, у нее руки и ноги не разгибались, мы ее вешали на шею, как стетоскоп», — вспоминает Ольга. 

“Лучше булка с кефиром, чем кричащая мать и депрессия”
Подробнее

 

После того как Оводовы узнали об Анжеле из Сергиево-Посадского детского дома для слепоглухих, они еще год не могли решиться взять ее, потому что делали Варе операцию и занимались ее тяжелейшей реабилитацией. Когда жизнь понемногу наладилась, они забрали в семью 9-летнюю Ангелину и не без труда учились жить все вместе. 

На днях Оводовы ездили в библиотеку для слепых, сдали учебники за второй класс и взяли часть за третий — математика, русский, английский, окружающий мир. Муж Ольги, Илья, вынес стопку огромных толстых книг, вывалил ее на стол и сам наполовину за ней скрылся. Книги, кроме того, что громоздкие и тяжелые, еще и дорогие — каждая стоит примерно по 3–4 тысячи рублей.

Оводовым повезло устроить Анжелу в ближайшую к ним среднеобразовательную школу. До специализированной, говорит Ольга, ехать 2,5 часа в одну сторону, то есть им нужно было либо жить в машине, либо отправлять девочку с водителем, но тогда у нее выработалась бы привязанность к нему, а не к папе и маме.

— Главное, что должен делать детдомовский ребенок несколько лет после усыновления — сидеть в обнимку с родителями, — рассказывает Ольга. — Поэтому мы очень не хотели интернат. Ломали голову, что делать, а потом случайно в школе, где учатся все мои дети, встретили учителя начальных классов. «О! У вас новый ребенок», — сказала она. 

Оказалось, Лариса Николаевна по образованию тифлопедагог. Она в тот год выпустила четвертый класс, не стала набирать новых детей, а взяла Анжелу на индивидуальное обучение. 

— Мы в основном ходим в школу, потому что это дисциплинирует. Учится она по общеобразовательной программе, хотя ей поставили задержку психического развития — она второй класс заканчивает, по возрасту четвертый. Но она очень умная, задает много вопросов, все анализирует, — продолжает Ольга. 

— Я у мамы спрашиваю, что такое Африка, — живо включается в разговор Анжела. — Африка — это такое место или континент, где очень-очень жарко, там, где экватор.

— Вот, теперь вы знаете об Африке, — продолжает Ольга. — Мы вчера были у врача, он сказал, что интеллект в абсолютной норме. Есть особенности развития, связанные с тем, что она не видит, что пять лет провела в специализированном детдоме в Сергиевом Посаде, а до этого — четыре года в доме ребенка. Ее отнесли туда практически сразу после рождения, когда узнали, что она слепая.

Семья бедная, скорее всего там маме сказали: «Что ты будешь делать с ней, отдай».

— И я родилась недоношенная, — добавляет Анжела.

Ангелина знает свою историю. Особенную роль в ней сыграла певица Диана Гурцкая. До трех лет девочка жила в курганском доме ребенка, самом обычном, где никто не занимался ее особенностями. Например, не планировал ее учить писать и читать на Брайле. Из-за этого Ангелина почти не разговаривала. Потом в этот детский дом приехали журналисты проекта «Чужих детей не бывает», их очень растрогала история слепой девочки. Они увидели, как Ангелина самозабвенно танцует под песню «Волшебное стекло моей души», и написали певице. 

Анжела

Диана Гурцкая пригласила девочку на благотворительный фестиваль «Белая трость» в Москву, где Анжела выступила с «Бурановскими бабушками», организовала обследование для нее в ведущих клиниках столицы и договорилась об устройстве ее в Сергиево-Посадский детский дом слепоглухих. Говорят, дети, попавшие туда, вытянули счастливый билет. Анжеле повезло еще больше — она нашла семью. 

— У нее сохранилось совсем чуть-чуть зрения, — продолжает Ольга. — То есть она различала цвета, если к глазу близко поднести, различала свет и тень, это сохранило тот участок мозга, который отвечает за зрение, и можно сказать, ее спасло. Олег Витальевич Дискаленко, признанный в России и в мире специалист по ретинопатии недоношенных, сказал нам: «Вам есть что терять, даже ощущение света — это уже много, нужно оперировать». 

После операции Анжела стала видеть пятна, различать контуры — Ольга распечатывала ей на листе жирный круг, плюсик, а она пальчиком обводила. 

— В очереди к врачу в этой петербургской больнице одна мама посоветовала нам зрительного терапевта из Чехии Паулину Примусову. Она занимается тем, что у нас, видимо, вообще никто не умеет — с помощью специальных игрушек, которые вообще не похожи на классические приборы офтальмолога, ищет у слепого ребенка остатки зрения. С последней консультации мы ушли с заключением: «Ваш ребенок различает линии толщиной не менее 5 миллиметров с расстояния не более 20 сантиметров». Но если с этим пойти к обычному районному врачу, он, конечно, никаких процентов зрения не намерит, — рассказывает Ольга.

Анжела дошла до таких высот, что читает шрифт размером 100, для Ольги и Ильи это настоящее чудо. Они все время проговаривают, что Анжела видит, чтобы ее мозг учился обрабатывать зрительную информацию. Буквально за два дня девочка перетрогала и запомнила все буквы русского алфавита, путает только «р» и мягкий знак. 

Ольга кладет лист бумаги на лампу, Анжела без ошибок рисует буквы. Она видит тени, заходит в дверной проем, обходит ведро с водой посередине кухни, если ее заранее попросить обратить на него внимание, но с точки зрения традиционной медицины Ангелина все еще незрячая. Ольга говорит:

— В самых смелых мечтах мы идем в школу слабовидящих с каким-нибудь ярким планшетом, на котором увеличиваем буквы до шрифта 100. Но, конечно, мы готовимся и к тому варианту, что она всю жизнь будет учиться по Брайлю. А так как теперь у нас есть программа, которая любого учителя делает брайлистом, почему бы нам не пойти на инклюзию в какую-нибудь обычную школу.

«Выглядело как волшебство, но ошибок было 40%»

Илья Оводов — программист, специалист по компьютерному зрению. Если у других людей, объясняет Ольга, есть хобби, то для ее мужа это работать после работы. Иногда он участвует в онлайн-соревнованиях для специалистов в области искусственного интеллекта, чтобы по гамбургскому счету оценить, насколько он хороший специалист.

— Это некий спорт, некий драйв, и это просто интересно. На работе сложно оценить, насколько ты грамотно и профессионально применяешь свои знания, — объясняет Илья. 

Илья Оводов

Во время одного из таких соревнований он учил нейронную сеть отличать айсберги от не айсбергов.

— Для того чтобы компьютер научился, скажем, отличать на фотографии собак от кошек, надо не просто сесть и написать программу. Надо программе показать множество изображений разнообразных собак и кошек с аннотацией, где собака, а где кошка. После этого программа сможет найти какие-то закономерности, чтобы, видя незнакомые изображения кошек и собак, их идентифицировать. Это — базовый принцип глубокого обучения, с которым мы все чаще сталкиваемся в нашей жизни: от голосового набора в телефоне до беспилотных автомобилей, — объясняет Илья. 

Примерно так же в том соревновании надо было научить компьютер отличать на снимках из космоса корабли от айсбергов. Ольга подходила к компьютеру и видела почти одинаковые изображения: вот черный фон, на нем десять белых точек — это айсберг. А вот другие десять точек — это корабль. На глаз не отличишь. Тогда-то ей и пришла в голову мысль: если ее муж может научить нейронную сеть среди этих одинаковых точек распознавать айсберги, то, наверное, написать программу, распознающую выпуклые точки в учебнике на Брайле, он сможет за вечер, максимум за два. 

Такая программа, как представлялось Ольге, нужна была по многим причинам. Дело в том, что шрифт Брайля, предназначенный для чтения с помощью осязания, пальцами, крайне сложно читать глазами, поскольку выглядит он как белые выпуклости, выдавленные на белой бумаге. Но и это полбеды. 

Учебник

В учебниках текст печатается с двух сторон. Буквы с обратной стороны листа выглядят как вдавленные выпуклости. При чтении пальцами они почти не заметны, но визуально отличаются очень слабо: не больше чем корабли от айсбергов на картинках в соревновании. Если бы зрячему человеку пришлось читать книги на прозрачной бумаге, на которой одинаково видны буквы лицевой и обратной стороны, то и это было бы слабым подобием сложностей, с которыми приходится сталкиваться, читая Брайль глазами. Для полноты картины как минимум буквы с обеих сторон должны быть белыми на белом фоне.

— У школьных учителей есть хитрость — они трут страницу копиркой, чтобы точки окрасились и проявились, но и это, во-первых, не точно, а во-вторых, учебник за четыре тысячи копиркой не потрешь. А научиться читать Брайль руками для зрячего человека чрезвычайно сложно: чувствительность пальцев не та! Даже в московской школе-интернате №1 для обучения и реабилитации слепых, лучшей в стране, среди зрячих педагогов, для которых работа со слепыми — профессия, руками читают буквально пара человек, как нам сказал директор, — вспоминает Ольга. 

Услышав про пару вечеров работы, Илья усмехнулся, но согласился, что заняться надо, может, что-то и получится. Почти год он занимался разработкой алгоритма, проводил за программой по 10–20 часов в неделю, сидя вечерами после работы и в выходные. 

Начать нужно было с тех самых тысяч изображений кошек и собак — то есть с размеченных страниц на Брайле, которые бы запоминала нейронная сеть. Делать это вручную было нереально, поэтому Илья прежде всего стал искать, кто до него занимался подобным. 

В целом, научных работ по компьютерному распознаванию брайлевского текста довольно много, но последние достижения в области компьютерного зрения еще никто не применял. Единственное исключение — группа китайских разработчиков, которые выложили в открытый доступ 100 страниц размеченных текстов на Брайле по-китайски. 

Преподаватель ВШЭ выучил шрифт Брайля на французском, чтобы проверять работы незрячей студентки
Подробнее

— Я скачал этот набор картинок на китайском и научил нейросетку его распознавать. Поскольку принцип шрифта Брайля во всех языках одинаковый, даже после обучения на китайском языке программа дала какие-то вразумительные результаты, хотя и негодные пока к использованию. В результатах было много мусора, ошибок, но были и удачные решения. Дальше надо было исправлять ошибки и продолжать учить программу. 

Проблема в том, что проверять весь текст, букву за буквой, очень сложно. Было бы славно, если бы был текст, про который известно, какая буква стоит на какой строке в каком месте, — объясняет Илья. — Тогда можно было бы просто сравнить результат работы программы с правильным ответом. К счастью, такие тексты мы знаем с детства: «Муха, муха-цокотуха, позолоченное брюхо», «Одеяло убежало, улетела простыня»… Именно на детских стишках программа начала свое обучение русскому языку, прямо как маленький ребенок. Пыталась их распознавать, я исправлял ошибки, учил программу заново, и так несколько раз. Потом уже стал добавлять другие, не стихотворные, тексты.

— На глазах было видно, как все меняется, — добавляет Ольга. — Сначала ошибок было больше половины, но все равно выглядело как волшебство. Через несколько дней стало лучше. Оно жужжит, работает день и ночь, пока нейросетка учится, компьютер греется, я в эту комнату ношу белье сушить, потому что там сауна.

— Я ее давно не обучал, сейчас там не так жарко, — уточняет Илья. — В шрифте Брайля всего 64 символа, из которых один — это пробел. То есть в 63 символа Луи Брайлю и тем, кто дорабатывал шрифт после его изобретения, нужно уместить буквы алфавита, 10 цифр, знаки препинания, ноты, буквы других языков. Это делается по-разному. Например, «а» и «1» — это один и тот же символ, но перед «1» всегда ставится особый цифровой знак. Иногда нужно догадываться по контексту, примерно так же, как мы с вами знаем, что «ха» — это смешно, а «х*а» — это числовое выражение. А без контекста и не всегда догадаешься. Например, ВЕЕР — это складное опахало или гудит машина? 

Сейчас сервис, названный в честь Анжелы, angelina-reader.ru, работает в тестовом режиме. Пользователь должен сфотографировать при правильно падающем свете страницу на Брайле на свой смартфон, зайти на сайт, загрузить фотографию и подождать несколько секунд, пока программа обработает снимок и выдаст текст на русском. 

Это очень облегчило жизнь учительнице Анжелы Ларисе Николаевне — она теперь готовится к урокам не шесть часов, глазами прочитывая точки на Брайле, а полчаса. А также Ольге и Илье, и еще сотне пользователей программы. Рекламы особенно не было, все они пришли, прочитав о сервисе в фейсбуке Ольги. 

— У нас есть знакомая усыновительница, которая в Тольятти привезла слепую девочку. Она сходила в свою школу и там разрекламировала. Теперь вся школа пользуется, — рассказывает Ольга. — Сейчас пользователь должен зайти на сайт, автономно такая программа не работает и вряд ли в ближайшее время будет. Потому что программу такой мощности невозможно запихнуть в маленькую коробочку смартфона…

— Возможно, но этим отдельно надо заниматься, — уточняет Илья. — Сейчас нейросети научились запускать и на смартфоне. Но это отдельная работа.

— …и она не имеет особого смысла, — продолжает Ольга. — Ну, вот у меня, например, стоит программа распознавания растений…

— Смысл-то имеет, — поправляет Илья.

— Ну, не знаю. Вот у меня — программа распознавания растений. Когда я иду куда-нибудь в лес, где нет связи, я грущу. Как она работает: я отправляю фотографию, программа анализирует, присылает наиболее похожие, я выбираю, она мне присылает, как оно называется. Вся эта база фотографий не лежит на моем смартфоне, она лежит на сервере. Наша программа работает так же сейчас, но страницы на Брайле не появляются в лесу, как мои растения. В большинстве ситуаций человек находится дома или в школе, то есть на связи с интернетом.

— Да-да, и точки можно было за пару вечеров распознать, — смеется Илья. — Теперь я расскажу, как на самом деле. Компьютер стоит у меня в кабинете, любой человек, который заходит на сайт, попадает на мой компьютер и решает эту задачу. Компьютер работает круглосуточно… 

— …то есть если у нас в деревне нет электричества, все пользователи остаются без программы, — уточняет Ольга. 

— По-хорошему ее нужно разместить где-то в дата-центре, — продолжает Илья. — Проблема в том, что для этого нужно арендовать сравнимый по мощности компьютер, это стоит примерно тысячу долларов в месяц. Если бы удалось снизить требовательность этой программы к ресурсам, что тоже известно как, но это отдельная кропотливая работа, это намного бы упростило ее вынос с моего домашнего компьютера. Я подал заявку на премию губернатора Московской области «Мы вместе» в том числе для того, чтобы перевести все это на промышленную основу.

Мы хотим оставить программу бесплатной, наша принципиальная позиция — чтобы это не препятствовало ее использованию ни для кого.

— Ну, а кто будет платить? Учителя? — поясняет Ольга. — Брайль используется в основном в обучении. Во взрослой жизни слепых его не так уж много. Например, если слепой пришел в магазин, никто не написал ему на консервной банке Брайлем, что там за рыба внутри и какой срок годности. Только на упаковках лекарств иногда печатают информацию. Для консервов есть благотворительные программы, когда слепой человек звонит волонтеру, крутит в камеру смартфона банку, а тот ему прочитывает: «Сайра, годен до…» 

Сын видит мир моими глазами. Но он играет в теннис, путешествует и пишет по Брайлю на английском
Подробнее

То есть в основном Брайль связан с учебой, но это важно именно для детей, потому что это грамотность, — продолжает Ольга. — Человек, который будет только слушать, будет писать «карова». Также многие обычные учителя говорят, что письмо от руки все еще важно, хотя все могут печатать на компьютере. Это правда крутая штука. Такой программы не было нигде. Мои друзья, кто живет за рубежом, пишут: «Я показывала учителям в Австралии, они говорят, чтобы скорее делали им на английском. Что это у русских есть, а у нас нет».

— Хотя это направление есть, — продолжает Илья, — опять же, по библиографии я смотрю, в западных странах публикаций на эту тему нет, но этим занимаются японцы, китайцы, корейцы.

— А ты им сказал, что ты крутой? — строго спрашивает Ольга.

— Ну, как. Я публиковаться собираюсь в обозримом будущем.

— Опубликуйся уже скорей, а то кто-нибудь вперед тебя опубликуется.

— Я уже начал. Так вот, азиаты и арабы занимаются: Саудовская Аравия, Иран, Ирак. Они пытаются распознавать Брайль, но такое ощущение, что они в плане компьютерного зрения живут лет на восемь в прошлом. А на Западе им, видимо, вообще это неинтересно.

— Наверное, они все уже ушли в компьютер, но у нас об этом пока речи не идет. Даже если в самой главной московской школе только старшеклассников сажают за монитор, до глубинки это точно не скоро дойдет, — заключает Ольга.

Илья про результат своей работы скромно говорит, что он доволен и рад. Во-первых, он сделал большое дело, а это всегда приятно, во-вторых, он уже видит, как это помогает его близким и не только близким людям. Ольга, гордо посматривая на мужа, добавляет, что не каждый может придумать что-то такое, что изменит жизнь других к лучшему. 

Как минимум жизнь их дочери Ангелины программа точно изменит — ей не нужно будет уезжать в интернат.

Ольга реально смотрит на вещи и не ждет, что каждый учитель в обычной средней школе выучит Брайль, чтобы проверять работы Анжелы. Поэтому единственная форма обучения после начальной школы для незрячих — это специальная школа. Если семья живет далеко от нее, то интернат, что не всякому ребенку подходит, а детдомовскому — противопоказано. Программа распознавания брайлевского текста — это реальный вариант инклюзии и огромный шаг к тому, чтобы незрячие дети могли жить дома рядом со своими родителями, обучаясь дистанционно в скайпе или в инклюзивном классе с обычными учителями.

«Когда начинаю себя жалеть, читаю книгу про жизнь в ПНИ»

Два года назад «Правмир» уже рассказывал про семью Оводовых. Тогда Варя только училась ходить, осторожно передвигаясь в пространстве метр на метр между диваном и столом, а Анжела полгода как приехала в семью. 

Нормальная благодарность
Подробнее

— Что изменилось? Больше детей не стало, слава Богу, — смеется Ольга. — Мальчишки съехали все, Санька женится через две недели, Андрей уехал, в Москве живет, Сергей уже тогда был женат. У нас сейчас четыре девочки в наличии. Аня вот с утра на конюшне, она живет конным спортом. У Вари в плане реабилитации мало изменилось. Весь 2017 год мы потратили на то, что ее лечили, до конца 2018-го она училась ходить между диваном и столом. Сейчас она бодро ходит по дому, по улице или в незнакомых помещениях боится, ей нужно добежать до опоры. Учится в школе, у нее там ассистент. Взялась рисовать, хотя нам казалось, что какое там рисование. А сейчас она рисует часами, назаказывали ей дорогущих фломастеров. У нас такая позиция — если у ребенка хобби, его надо поддерживать. 

Про склонность к рисованию и дизайну Ольге подсказали на курсах профориентации, куда она повела Варю, уверенная, что быть ей программистом. Еще одно большое достижение — Варе купили коляску российского производства, которая обошлась дешевле немецкой, и к ней электрическую приставку. 

— У Вари слабые руки, проехать на коляске руками она может еще меньше, чем пройти. А тут она нажимает кнопку и коляска развивает скорость до 15 км/час. Варя очень придирчива к одежде, как только она из чего-то вырастала, я выхаживала с ней километры по торговому центру, ей ничего не нравилось, а для меня это мука. Теперь я ее закинула в торговый центр, пошла по своим делам, через два часа она мне позвонила, сказала, что выбрала, я зашла в два магазина, оплатила платья и мы, обе счастливые, ушли. Потом мы приехали на рынок, я ей сказала, что мне нужны мелкие помидоры. Она катается, высматривает, находит, продавец достает из сумки деньги, кладет помидоры и сдачу, она ко мне приезжает. То есть теперь у нее появилась кнопка, которую она может нажать и быть там, где хочет, — говорит Ольга. 

Из комнаты тем временем выходит Анжела и демонстративно спрашивает, который час. Половина третьего — время обедать. Появляется Варя, серьезная, молчаливая. Пока Илья ушел во двор за рыбой собственного копчения, Ольга рассказывает:

— Они вместе не играют, Варя соответствует своему возрасту, она подросток, а Анжела — малышка. К тому же Анжела сложная, она много шумит. Если ее никак не ограничивать, она будет петь, греметь в колокольчики, но засунуть ее в тишину нельзя, потому что она живет в мире звуков. Конечно, я не была к этому готова. Но приспособляемость организма меня удивляет. Я на дух не переношу фонового шума, я не хожу в кафе, потому что там музыка, когда я сижу в очереди к врачу и там работает телевизор, я жду, стиснув зубы. И при этом у меня дома круглосуточно сказки, колокольчики. Не скажу, что мне это нравится, но я живу. Любая мать чем-то жертвует для своего ребенка и приспосабливается. У нас ведь есть еще и Варя, с которой все сложно в быту…

— Вам нравятся колокольчики? — как буря врывается в разговор Анжела. — У вас нет дома колокольчиков? Ой, мамочки! Я очень люблю колокольчики. Просто на вечность! 

Несмотря на все трудности, Оводовы счастливы и ни о чем не жалеют. Когда Ольге становится особенно сложно и себя жаль, она открывает книгу Анны Клепиковой «Наверно, я дурак» о работе волонтера в психоневрологических интернатах. Ольга читает, думает о том, что было бы с ее детьми, окажись они в ПНИ, и понимает, что ей не так уж и трудно. В конце концов, любая мать чем-то жертвует для своего ребенка. 

Премия, чтобы программа была бесплатной

В голосовании на премию губернатора Московской области «Мы вместе» участвует несколько тысяч проектов. Жюри будет рассматривать только первую тысячу, которую выберут люди, чтобы отобрать 180 проектов. Ольга просит у всех своих друзей в социальных сетях зайти на сайт премии и проголосовать. Так как для голосования требуется регистрация, письма от него постоянно попадают в спам, некоторым нужно несколько дней, чтобы пробиться и отправить голос.

— Пожалуйста, у кого не получилось проголосовать, напишите, что именно происходит. А у кого получилось — попросите, пожалуйста, еще и членов семьи. С одного IP можно оставить до пяти голосов, — пишет Ольга у себя в фейсбуке.

Она действительно верит в проект мужа и очень хочет, чтобы у него были средства его доработать: добавить английский алфавит, научить программу распознавать алгебру, арендовать наконец компьютер в дата-центре, чтобы программа не зависела от наличия электричества в их деревне и чтобы при этом могла остаться доступной для школьных учителей, то есть бесплатной.

 Фото: Михаил Еремин

Поскольку вы здесь...
У нас есть небольшая просьба. Эту историю удалось рассказать благодаря поддержке читателей. Даже самое небольшое ежемесячное пожертвование помогает работать редакции и создавать важные материалы для людей.
Сейчас ваша помощь нужна как никогда.
Друзья, Правмир уже много лет вместе с вами. Вся наша команда живет общим делом и призванием - служение людям и возможность сделать мир вокруг добрее и милосерднее!
Такое важное и большое дело можно делать только вместе. Поэтому «Правмир» просит вас о поддержке. Например, 50 рублей в месяц это много или мало? Чашка кофе? Это не так много для семейного бюджета, но это значительная сумма для Правмира.