Прожорливое, хрупкое, непрозрачное и поверхностное: Недостатки глубокого обучения

Нам обещали революцию Искусственного интеллекта, которая все никак не наступит. Однако границы современного ИИ гораздо ближе, чем мы думаем.

Сундар Пичай, исполнительный директор Google как-то сказал, что Искусственный Интеллект «имеет больший потенциал, чем… электричество или огонь». Andrew Ng, основатель Google Brain, который и теперь инвестирует в стартапы, связанные с ИИ, писал» «Если обычный человек может решить какую-либо задачу в уме менее чем за одну секунду, что мешает нам автоматизировать этот процесс с помощью ИИ в ближайшем будущем?»

Их энтузиазм закономерен. В последние годы, после десятилетий разочарований, их настиг успех. Сегодня мы можем пообщаться с личным голосовым помощником, например Алиса, Facebook отметит нас на фото, Google Translate почти так же точен, как человек-переводчик. За последние пять лет в процесс разработки ИИ был серьезно профинансирован, и счет шел в миллиардах долларов, а в Стэнфорде и Массачусетском технологическом институте самым популярным направлением для студентов-программистов является именно этот курс. Новоиспеченные специалисты в этой области пользуются активным спросом в Силиконовой долине, и их зарплаты составляют полмиллиона долларов.

Однако, есть множество вещей, которые люди делают гораздо быстрее умных машин. Естественный язык выходит за рамки глубокого обучения, искусственный интеллект можно сбить с толку новой ситуацией. Ни одна из этих проблем в ближайшее время не будет решена. Это нельзя игнорировать: глубокое изучение, которое на сегодняшний день является доминирующей техникой для искусственного интеллекта, не создаст ИИ, который будет абстрактно объяснять и обобщать мир. Таки образом человеческую деятельность не автоматизировать.

Дабы понять, отчего ИИ хорош в одних вещах, но слаб в других, следует разобраться, как работает глубокое обучение. Это математически-статистический метод, с помощью которого компьютеры учатся классифицировать шаблоны с использованием нейронных сетей. Такие сети имеют входы и выходы, немного похожие на нейроны в наших собственных мозгах. Если у них есть несколько скрытых уровней-слоев с большим количество узлов и паутиной множества соединений, то они называются «глубокими». Глубокое обучение использует алгоритм, называемый backpropagation, или backprop, который ставит в тождественность входные и выходные данные. При распознавании фонем «кошка» ИИ должен говорить слово «кошка», при распознавании образов фотография кота не должна быть помечена как собака. Контроль над обучением происходит в процессе распознавания фонем или фото, и для этого используются миллионы и миллиарды предыдущих, тщательно обозначенных примеров.

Достижения в области глубокого обучения — продукт системы распознавания образов: нейронные сети запоминают классы вещей и более или менее успешно узнают их, когда снова с ними сталкиваются. Но практически все самые интересные проблемы в самосознании не связаны с классификацией. «Люди наивно полагают, что если добавить в 1000 раз больше данных и создать в 100 раз больше слоев, нейронная сеть сможет делать все то же, что и человек», — говорит Франсуа Холле, исследователь Google. «Но это ошибочное мнение».

Гэри Маркус, профессор когнитивной психологии в Нью-Йоркском университете, некоторое время являвшийся директором лаборатории Ибера Убера, недавно опубликовал замечательную трилогию, в которой читателю была предложена критическая оценка глубокого обучения. Маркус полагает, что глубокое обучение не является «универсальным средством, но одним из многих инструментов». И без новых подходов, опасается Маркус, уже скоро ИИ врежется в стену, за которой находятся все проблемы, что не могут быть решены распознаванием образов. Его взгляды в той или иной мере разделяет большинство лидеров в этой области, за исключением Янна ЛеКуна, директора исследования ИИ в Facebook, который коротко отверг аргумент как «все чушь», а также Джеффри Хинтон, почетный профессор в Университете Торонто и дедушка backpropagation, который не видит «никаких доказательств» надвигающегося препятствия.

По мнению скептиков, таких как Маркус, глубокое обучение является прожорливым, хрупким, непрозрачным и поверхностным. Системы прожорливы, потому что они требуют огромных наборов учебных данных. Хрупкий — потому что, когда нейронной сети дается «тест переноса ситуации», сценарий которых отличается от использованных в обучении примеров, он не может контекстуализировать ситуацию и часто ломается. Они непрозрачны, потому что, в отличие от традиционных программ с их формальным, отлаживаемым кодом, параметры нейронных сетей могут быть интерпретированы только с точки зрения их веса в рамках математической модели. Следовательно, это черные ящики, объяснить, что в них происходит – невозможно, а результаты вызывают сомнения в их надежности и непредвзятости. Наконец, они поверхностны, потому что запрограммированы с небольшим врожденным знанием и не обладают здравым смыслом в мире человеческой психологии.

Эти ограничения означают, что автоматизация окажется не так масштабна, как ожидают фанаты ИИ. «Самоходный автомобиль может проехать миллионы миль, но в итоге он столкнется с чем-то новым, о чем не имеет представления», — объясняет Педро Домингос, автор «The Master Algorithm» и профессор информатики в Вашингтонском университете. «Это похоже на робот-контроль: машина может научиться подбирать бутылку, но если она должна забрать чашку, приходится все начинать с нуля». В январе Facebook отказался от M, текстового виртуального помощника, который использовал людей для дополнения и тренировки системы глубокого обучения, но никогда не предлагал полезные предложения или применял язык естественным образом.

Что не так? «Должно быть, в наших головах заключен много лучший алгоритм обучения, чем все то, что мы придумали для машин», — говорит Домингос. Настало время изобрести иной, лучший метод машинного обучения.

Маркус утверждает, что у нас уже есть лучшая модель для интеллекта — это мы сами, ведь люди думают по-разному. Его маленькие дети могли изучать общие правила построения языка и без многих примеров, но они также рождались с врожденными способностями. «Мы рождаемся, зная, что в мире есть каузальные отношения, которые могут состоять из частей, что мир состоит из мест и объектов, которые сохраняются в пространстве и времени», — говорит он. «Ни одна машина никогда не узнавала об этом, используя backprop».

У других исследователей также есть разные идеи. «Мы использовали те же основные парадигмы [для машинного обучения] с 1950-х годов, — говорит Педро Домингос, — и в конце концов нам понадобятся новые идеи». Холле ищет вдохновение в синтезе: программы, которые автоматически создают другие программы. В текущем исследовании Хинтона исследуется идея, которую он называет «капсулами», которые сохраняют обратную связь, алгоритм глубокого обучения, но снимают некоторые из ее ограничений.

«Есть много основных вопросов в ИИ, которые полностью не решены, — говорит Холле, — и даже в значительной степени оставлены без внимания». Мы должны ответить на эти вопросы, потому что существует ряд работ, которыми многие люди не хотят заниматься, такие как очистка туалета и классификация порнографии, или которые умные машины будут делать лучше, например, создание и подбор лекарств для лечения заболеваний. Более того: есть вещи, которые мы не можем сделать вообще, большинство из которых мы еще не способны себе представить.