Отметим, что vOICe не единственная технология замещения визуальных сигналов звуковыми; в последние годы подобные технологии появляются в изобилии. Например, разработано приложение EyeMusic, которое использует музыкальные тоны для отображения положения объектов в вертикальной плоскости: чем выше располагается пиксель изображения, тем выше музыкальный тон. Для обозначения правого или левого положения пикселя используется временной интервал: ноты, зазвучавшие раньше, указывают, что объект слева; позже — справа. Система даже умеет передавать цвета через звук разных музыкальных инструментов: белый — звучит вокал, синий — труба, красный — орг
Повсеместное распространение смартфонов позволило человечеству отойти от громоздких компьютеров и приобрести колоссальную вычислительную мощь в кармане. Смартфоны дают не только выигрыш в эффективности и скорости, но и шанс в глобальном масштабе улучшить ситуацию с помощью устройств сенсорного замещения, в особенности с учетом того, что 87 % людей с нарушениями зрения проживают в развивающихся странах41. Недорогие мобильные приложения для сенсорного замещения можно распространить по всему миру, поскольку это не требует постоянных издержек на производство, физическое распространение или пополнение запасов, как и не вызывает неблагоприятных побочных эффектов. В этом смысле вдохновленный нейробиологией подход можно считать малозатратным, быстро развертываемым и применимым для решения глобальных проблем здоровья человека.
* * *
Если вас удивляет, что незрячие люди могут «прозреть» за счет языка или звуков в наушниках смартфона, вспомните, как они учатся читать шрифт Брайля. Поначалу под кончиками пальцев не чувствуется ничего, кроме странных, хаотически рассыпанных бугорков. Но вскоре хаос перерастает в нечто намного большее: мозг перестает обращать внимание на необычность средства доставки сигналов (осязание выпуклых точек кончиками пальцев) и сосредоточивается на смысле образуемых ими символов. Опыт чтения брайлевского текста аналогичен вашему, когда вы ведете глазами по этим строчкам: хотя буквы имеют произвольную форму, вы обходите стороной частные подробности данного средства передачи информации (форма букв) и напрямую усваиваете смысл нарисованного ими узора.
Новичку, в первый раз применяющему наязычный дисплей или наушники с системой замещения видеоданных звуковыми, требуется переводить входные сигналы в что-то осмысленное: звуки, генерируемые визуальной картинкой (скажем, собакой, входящей в гостиную с косточкой в зубах), мало что говорят о происходящем вокруг. Это аналогично тому, как если бы ваши нервные волокна вдруг начали транслировать мозгу послания на иностранном языке. Но при достаточной практике мозг способен обучиться переводить звуки в зрительные образы. И как только он этому научится, создаваемая звуками визуальная картинка станет вам понятна и очевидна.
Принимая во внимание, что примерно 5 % населения Земли из-за тяжелой формы тугоухости обречены на инвалидность, ученые несколько лет назад начали плотно изучать генетические корни заболевания42. К сожалению, на настоящий момент наука выявила более 220 генов, так или иначе связанных с глухотой. Это большое разочарование для тех, кто надеется на простые способы излечения, хотя удивляться по большому счету нечему. В конце концов, слуховая система подобна симфоническому оркестру, каждый инструмент которого тонко настроен на гармоничное взаимодействие с остальными. А всякая сложная система подвержена сотням различного рода сбоев. Малейшая неполадка в работе хотя бы одного элемента нарушает функционирование всей системы, из-за чего развивается тугоухость. Многие ученые посвящают себя поиску способов «починки» отдельных элементов слуховой системы. А мы с вами подойдем к проблеме с позиций живой нейронной сети мозга: чем принципы сенсорного замещения могли бы помочь восстановлению способности слышать?
Движимые этой идеей, мы с моим бывшим аспирантом Скоттом Новичем решили придумать устройство для сенсорного замещения слуха. И нацелились сконструировать устройство совершенно незаметное — настолько, чтобы посторонние даже не заподозрили, что оно у вас есть. В этих целях мы использовали ряд достижений из области высокопроизводительных вычислений и получили носимое под одеждой устройство, позволяющее воспринимать звук посредством осязания. Наш сенсорный жилет — Neosensory Vest — улавливает звуки внешней среды и конвертирует их в вибрации, которые передаются на кожу встроенными в жилет моторчиками (рис. 4.14). Это позволяет человеку кожей ощущать звуковую картину окружающей реальности.
Рис. 4.14.
Syed Rahman
Если вы не верите, что такой способ может возыметь эффект, напомню, что ровно то же самое проделывает ваше внутреннее ухо: раскладывает звук на частоты (от низких до высоких) и в таком виде сгружает данные мозгу для интерпретации. В сущности, мы всего лишь переместили внутреннее ухо на кожу.
Уму непостижимо, какими изощренными вычислительными возможностями обладает человеческая кожа, однако в современной жизни они мало используются. Если бы какой-нибудь стартап в Кремниевой долине синтезировал подобный материал, за него отвалили бы огромные деньги, хотя он в натуральном виде имеется под одеждой у каждого из нас. Правда, почти все время простаивает без дела. Конечно, задействовать столь чувствительный орган было бы неплохо, но сразу возникает вопрос: достаточно ли широка у него полоса пропускания[24], чтобы передавать звуковую картину во всей полноте. Напомню, что ушная улитка — в высшей степени специализированная структура, ее изысканно-прихотливая форма идеальна для приема и кодирования звука. Кожа, в отличие от улитки, предназначена для восприятия воздействий совсем иного рода, а ее пространственное разрешение оставляет желать лучшего. Для передачи на кожу всей полноты информации, которую играючи улавливает внутреннее ухо, потребовалось бы несколько сотен вибротактильных моторчиков — слишком много, чтобы навесить их на человека. Но за счет сжатия речевой информации можно обойтись менее чем тремя десятками моторчиков. Как это может быть? Суть сжатия речевых сигналов заключается в извлечении максимума смысла из информации любого объема. Возьмем, например, разговор по сотовому телефону: вы что-то говорите, а ваш голос слышит собеседник. Но на самом деле то, что он слышит, совсем не ваш напрямую передаваемый ему голос. Сотовый телефон производит цифровое семплирование, или дискретизацию, вашей речи (через равные промежутки времени берет отсчеты — семплы — аналогового, то есть непрерывного сигнала) 8 тысяч раз за секунду. Затем алгоритмы выделяют из этих тысяч отсчетов важную информацию, и этот сжатый сигнал передается на вышку сотовой связи. Посредством техники сжатия сигнала Neosensory-жилет улавливает звуки и «проигрывает» эту звуковую картину на коже за счет вибрации десятков моторчиков43.
Первым участником испытаний Neosensory-жилета стал 37-летний Джонатан с врожденной полной глухотой. На протяжении четырех дней мы просили его надевать жилет и по два часа тренироваться в распознавании набора из тридцати слов. На пятый день Скотт, прикрыв ладонью рот (чтобы нельзя было прочитать по губам), произнес слово «трогать». Джонатан ощутил на коже под жилетом сложный паттерн из вибраций и написал это слово на маркерной доске. Тогда Скотт произнес слово из другой части речи («где»), и Джонатан снова написал его правильно. Итак, он оказался способен раскодировать сложносочиненный паттерн вибраций и понять, какое слово произнесено, причем не в результате сознательного умственного усилия (паттерны вибраций слишком сложны для этого), мозг сам производит раскодирование. Затем мы переключились на изучение следующего набора слов, и Джонатан по-прежнему хорошо справлялся с заданиями, это свидетельствует о том, что он не просто запоминал отдельные конфигурации вибраций, а обучался слышать. Иными словами, если у вас со слухом все в порядке, я мог бы произнести незнакомое вам слово schmegegge (шмеджэдж, то есть полная несуразица), и вы прекрасно различили бы его — не потому, что когда-то слышали и запомнили, а потому, что умеете пользоваться слухом.
Мы разработали наше заместительное устройство в нескольких формах, в том числе как нагрудный пояс для детей (рис. 4.15). Его действие было испытано на группе глухих детей в возрасте от двух до восьми лет. На протяжении всего испытательного периода родители чуть ли не каждый день слали мне видеоролики, демонстрирующие прогресс их малышей. На первых порах было неясно, происходит ли хоть что-нибудь, а потом мы стали замечать, что дети останавливаются и сосредоточиваются, когда кто-то из родных нажимает на клавишу пианино.
Рис. 4.15.
Syed Rahman and Emily Stevens
Помимо этого, дети и сами стали произносить больше звуков, поскольку у них впервые в жизни замкнулась петля обратной связи: они издавали некий звук и сразу ощущали входной сенсорный сигнал. Вы наверняка не вспомните, но именно таким образом сами в младенчестве учились пользоваться ушами: лепетали, гулили, хлопали в ладошки или били по деревянным прутьям кроватки — и ощущали обратную связь в этих странных штуках по обе стороны головы. Именно так вы учились расшифровывать входящие звуковые сигналы: сопрягали собственные действия с их последствиями. Теперь представьте, что нагрудный пояс надет на вас самих. Вы громко произносите начало панграммы (стандартной проверочной фразы «Шустрая бурая лисица…», содержащей все буквы английского алфавита[25]) и в тот же момент кожей
Кроме того, мы разработали тактильно-звуковой заместитель в виде браслета на запястье (Buzz), у которого всего четыре моторчика. Степень разрешения у него ниже, но для многих людей с учетом их образа жизни он более практичен. Пользователь Филипп рассказал нам о своем опыте ношения браслета Buzz на работе в ситуациях, когда он забывал выключить воздушный компрессор:
«Я по обыкновению оставляю его включенным, пока хожу туда-сюда, и тогда коллеги говорят: “Смотри-ка, ты опять не выключил компрессор”. А теперь я ношу Buzz и чувствую: что-то работает. И сразу проверяю, не включен ли компрессор. И уже сам напоминаю коллегам, что они забыли вырубить его. А они каждый раз искренне удивляются: “Постой, а ты-то откуда знаешь?”»