مروری بر مشکلات متداول رگرسیون و راه حل‌های آنها

مدل در رگرسیون خطی معمولی به صورت y=xβ+ϵ است و برآورد پارامتر β عبارتست از: β=(x’x)^-1x’y. با این حال در هنگام استفاده از این برآوردگر به صورت عملی، ممکن است مشکلات خاصی مانند مشکل انتخاب متغیر، هم خطی، مدل با ابعاد بالا، کاهش بعد، وجود خطای اندازه‌گیری بوجود آید که استفاده از برآوردگر بالا را مشکل می سازد. در اغلب این مشکلات، مساله اصلی عدم معکوس پذیری ماتریس x’x است. برای رفع آن ها راه حل‌های متعددی ارایه شده است. در این مقاله ضمن مروری بر این مشکلات، مجموعه ای از راه حل های معمول و متداول و همچنین چند روش خاص و پیشرفته (که کمتر مورد اقبال همگان است ولی با این حال توانایی بالقوه ای در رفع هوشمند این مشکلات دارند) برای رفع آن ها را بررسی می کنیم.

on common linear regression problems and their solutions

the ordinary linear regression model is $y=xbeta+varepsilon$ and the estimation of parameter $beta$ is: $hatbeta=(x’x)^{-1}x’y$. however, when using this estimator in a practical way, certain problems may arise such as variable selection, collinearity, high dimensionality, dimension reduction, and measurement error, which makes it difficult to use the above estimator. in most of these cases, the main problem is the singularity of the matrix $x’x$. many solutions have been proposed to solve them. in this article, while reviewing these problems, a set of common solutions as well as some special and advanced methods (which are less favored by someone, but still have the potential to solve these problems intelligently) to solve them.