Почему атрибуты взаимодействия улучшают производительность линейной регрессии

Я работаю над Weka, используя линейную регрессионную модель. Я понял, что, умножив два соответствующих атрибута из моего набора данных и добавив это как дополнительный атрибут, я улучшаю производительность линейной регрессии. Однако я не могу понять, почему! Почему мои умножения двух соответствующих атрибутов имеют лучшие результаты.

1 ответ

Это знак того, что функция, которую вы приближаете, не является линейной в исходных входах, но она находится в их продукте. По сути, вы заново изобрели многомерную полиномиальную регрессию.

Например, предположим, что функция, которую вы приближаете, имеет вид y = a × x² + b × x + c. Линейная модель регрессии, установленная только на x, не даст хороших результатов, но когда вы ее кормите как x², так и x, она может узнать правильные a и b.

То же самое верно в многовариантной настройке: функция может быть не линейной в x 1 и x 2 отдельно, но она может быть в x 1 × x 2, который вы называете "атрибутом взаимодействия". (Я знаю, что это кросс-товарные функции или коннекторы функций, это то, что вычисляет полиномиальное ядро ​​в SVM, и почему SVM являются более сильными учениками, чем линейные модели.)

licensed under cc by-sa 3.0 with attribution.