Переодическая переполяризация мозга
Последняя переполяризация мозга (читай "пере-понимание"):

1) Модели ничто, данные всё. Все стат. задачи нужно рассматривать в рамках гипотезы: все предположения верны. Модели можно отранжировать (при этой гипотезе) только на множестве данных.


2) Полезна гипотеза: вот эта величина теперь гауссова. Не знаю еще зачем...

3) Не важно как назвать машинное обучение. Можно его даже назвать "машинное обучение" :).
Важно только то, о чем речь. А речь о том, что мы соглашаемся с тем, что мы не знаем какие модели хороши, а какие плохи. И даже не знаем на каком достаточном объеме данных они такие, как мы о них думаем :). Мы начинаем смотреть на все модели через две вещи: 1) скока параметров, 2) какие выходы у модели. Теперь можно предлагать любую модель, так запараметризованную. Какую выбрать? Любую, с отобранными стат. характериками, оцененными по выходам. Надоест перебирать бесконечность моделей? Не страшно, можно комп поднапрячь :)))...

4) Бесконечность моделей нужно "лечить" статистической эквивалентностью моделей. Таким образом, управляя уровнями значимости можно оставлять только конечное число групп статистических моделей.

5) Любые параметры можно вводить, если это улучшает свойства выходов на растущей выборке. В том числе можно вводить и веса. В том числе и запараметризованные веса через ядро. Надо верить, что работает. Плюс в том, что выборка всегда большая.

6) Статистика уходит на второй план, на первый план выходит перебор: перебираем много моделей и сравниваем их через простые стат. функции (статистики).

7) В контексте 3) становится полезным рассматривать не только функции (в том числе функции усреднения) в общем виде, но и объекты усреднения. Ибо, если пофиг на структуру модели, то и пофиг на то, как образуются выходы. Дык пусть они тогда образуются из сложных объектов, а не только из чисел. Где она, полезная алгебра, и насколько все можно довести абстрактно еще не понял.