Neural networks are clean
Нейросети не являются запутанными клубками, которые нужно предварительно распутывать: их собственные механизмы — нейроны и схемы — уже представляют собой читаемые строительные блоки. Ключевой вывод: канонические примеры полисемантичности и суперпозиции, убедившие многих, что сети произвольно упаковывают понятия, были прочитаны неверно. То, что казалось произвольной упаковкой, в основном объясняется рекурсивным обобщением — куда менее тревожным явлением. Значит, сети можно изучать напрямую, а не через обучение второй модели вроде разреженного автоэнкодера.
Главное доказательство связано с InceptionV1. Раньше в его последнем слое почти не было интерпретируемых нейронов, и это списывали на суперпозицию. На деле виноваты архитектурные проблемы: поздние слои переполнялись, а слабые инструменты интерпретации усиливали впечатление бессвязности. После обычных улучшений архитектуры, без изменения размера модели и данных, 99–100% нейронов последнего слоя стали легко интерпретируемыми, а сеть читаема насквозь. Автор обучил версии в диапазоне размеров с разницей в 300 раз — читаемость сохраняется на всех масштабах: при нехватке места нейроны просто покрывают более грубые понятия, например один нейрон отвечает за многие виды машин, а при увеличении он дифференцируется на конкретные автомобили. Проблема была не во втором принципе обучения, а в обычном сбое первого, который легко исправить.