«Поскольку машинное обучение становится повсеместным и используется для приложений с более серьезными последствиями, людям необходимо понять, как они делают прогнозы, поэтому они будут доверять ему, когда он делает больше, чем рекламу рекламы», - говорит Джонатан Су, член технического персонала в группе поддержки информатики и принятия решений лаборатории MIT Lincoln.
В настоящее время исследователи используют либо посттехнические методы, либо интерпретируемую модель, такую как дерево решений, чтобы объяснить, как модель черного ящика достигает своего вывода. С помощью посттехнических методов исследователи наблюдают за входами и выходами алгоритма, а затем пытаются построить приблизительное объяснение того, что произошло внутри черного ящика. Проблема с этим методом заключается в том, что исследователи могут только догадываться о внутренней работе, и объяснения часто могут быть ошибочными. Деревья принятия решений, отображающие выбор и их потенциальные последствия в древовидной конструкции, прекрасно работают для категориальных данных, чьи функции имеют смысл, но эти деревья не интерпретируются в важных областях, таких как компьютерное зрение и другие сложные проблемы с данными.
Нейронная сеть представляет собой вычислительную систему, состоящую из множества взаимосвязанных элементов обработки. Эти сети обычно используются для анализа изображений и распознавания объектов. Например, можно научить алгоритму распознавать, включает ли фотография собаку, сначала показывая фотографии собак. Исследователи говорят, что проблема с этими нейронными сетями заключается в том, что их функции являются нелинейными и рекурсивными, а также сложными и запутанными для человека, и конечным результатом является то, что трудно точно определить, что именно сеть определила как «собаку» в фотографиях и что привело его к такому выводу.
Чтобы решить эту проблему, команда разрабатывает то, что она называет «прототипом нейронных сетей». Они отличаются от традиционных нейронных сетей тем, что они, естественно, кодируют объяснения для каждого из своих прогнозов, создавая прототипы, которые являются особенно репрезентативными частями входного изображения. Эти сети делают свои прогнозы на основе сходства частей входного изображения с каждым прототипом.
Другая область, которую исследует исследовательская группа, - это BRL, которые представляют собой менее сложные односторонние деревья решений, которые подходят для табличных данных и часто столь же точны, как и другие модели. BRL состоят из последовательности условных операторов, которые, естественно, образуют интерпретируемую модель. Например, если высокое кровяное давление, то риск сердечных заболеваний высок. Су и коллеги используют свойства BRL, чтобы пользователи могли указать, какие функции важны для прогнозирования. Они также разрабатывают интерактивные BRL, которые могут быть адаптированы немедленно, когда новые данные поступают, а не откалиброваны с нуля на постоянно растущем наборе данных.
Су объясняет: «Мы надеемся построить новые стратегические возможности для алгоритмов лабораторного обучения, которые люди доверяют, потому что они их понимают».
