تحليل الانحدار الأحادي البعد

تحليل الانحدار الأحادي البعد,مثال للانحدار الخطي,مثال أخر للانحدار الخطي,مثال للانحدار الخطي ذو البعد الواحد , المثال التفاعلي للانحدار الخطي

11.2 تحليل الانحدار الأحادي البعد

تابع الانحدار الخطي الأحادي البعد

تابع الانحدار الخطي البسيط له الصيغة التالية :

${\widehat {y_{i}}}=b_{0}+b_{1}x_{i}\quad i=1,\ldots ,n$

في هذه المعادلة : $x_{i}$ تمثل القيم المشاهدة للمتغير العشوائي $X$ (الثابت)

و $b_{0}$ و $b_{1}$ عناصر الانحدار المجهولة.

نحصل على القيم المشاهدة الفعلية $y_{i}\,(i=1,\ldots ,n)$ بواسطة جمع البواقي ${\widehat {u_{i}}}$ و ${\widehat {y_{i}}}$ (نستطيع رؤية ذلك في الشكل البياني).

$y_{i}={\widehat {y_{i}}}+{\widehat {u_{i}}}=b_{0}+b_{1}x_{i}+{\widehat {u_{i}}}\qquad i=1,\ldots ,n$

عناصر الانحدار

عناصر تابع الانحدار الخطي البسيط له المعاني التالية :

• $b_{0}$ المعامل الثابت

يصف تقاطع خط الانحدار المطابق ومحور $Y$. وله نفس القيمة كالمتغير $Y$. عند هذه النقطة.

• معامل ميل الانحدار $b_{1}$ ويصف ميل خط الانحدار المطابق وهو يخبرنا كم عدد الوحدات للمتغير العشوائي $Y$

ستتغير اذا ازدادت قيمة المتغير $X$ بواسطة وحدة واحدة.

تقدير عناصر الانحدار

لتقدير عناصر الانحدار يجب تحقق شرطين هاميين :

الشرط الأول

انحرافات قيم الانحدار المقدرة ${\widehat {y_{i}}}$ عن القيم المشاهدة $y_{i}$ ستكون بالمتوسط مساوية للصفر ذلك يعني:

$\sum _{i=1}^{n}(y_{i}-{\widehat {y_{i}}})=\sum _{i=1}^{n}{\widehat {u_{i}}}=0$

${\bar {\hat {u}}}={\frac {1}{n}}\sum _{i=1}^{n}{\widehat {u_{i}}}=0$

هذا الشرط كافي لخطوط انحدار غير متناهية وهي تلك التي تمر من خلال نقطة متوسطات العينة ${\bar {x}}\;,{\bar {y}}$ نلاحظ العبارات فوق تتضمن لكل مشاهدة i

حللنا القيم المشاهدة لجزئين:

تابع الانحدار المقدر بمعنى: تقدير المتوسط الشرطي.

والبواقي المقدرة .

الشرط الثاني

نبحث لأجل تابع الانحدار أن تباين البواقي المقدرة المطابقة:

${s^{2}}_{\hat {u}}={\frac {1}{n-2}}\sum _{i=1}^{n}{({\widehat {u_{i}}}-{\bar {\hat {u}}})}^{2}$

صغير بالمقارنة مع كل خطوط الانحدار الممكنة الأخرى.

الشرط الأول:

${\bar {\hat {u}}}=0$

يتضمن:

${s^{2}}_{\hat {u}}={\frac {1}{n-2}}\sum _{i=1}^{n}{({\widehat {u_{i}}}-0)}^{2}={\frac {1}{n-2}}\sum _{i=1}^{n}{\widehat {u_{i}}}^{2}={\frac {1}{n-2}}\sum _{i=1}^{n}{(y_{i}-{\widehat {y_{i}}})}^{2}$

يصور الشرط الثاني في الشكل البياني التالي:

المربعات المحسوبة في الشكل المطابقة للبواقي المربعة ويجب تصغير المساحة الاجمالية للمربعات حينئذ تدعى الطريقة المستخدمة لهذا التصغير بطريقة المربعات الصغرى.

تصغر طريقة المربعات الصغرى مجموع الانحرافات المربعة لقيم الانحدار عن القيم المشاهدة ( بواقي مجموع المربعات)

$\sum _{i=1}^{n}{(y_{i}-{\widehat {y_{i}}})}^{2}\rightarrow min.\quad \mid {\widehat {y_{i}}}=b_{0}+b_{1}x_{i}$

التابع المصغر له المتغيرين المجهولين $b_{0}$ و $b_{1}$

$S(b_{0},b_{1})=\sum _{i=1}^{n}{(y_{i}-b_{0}-b_{1}x_{i})}^{2}\rightarrow min$

لايجاد التصغير الاشتقاقات الجزئية الأولى ونضعها مساوية للصفر:

${\frac {\partial S(b_{0},b_{1})}{\partial b_{0}}}=-2\sum _{i=1}^{n}(y_{i}-b_{0}-b_{1}x_{i}){\dot {=}}0$

${\frac {\partial S(b_{0},b_{1})}{\partial b_{1}}}=-2\sum _{i=1}^{n}(y_{i}-b_{0}-b_{1}x_{i})x_{i}{\dot {=}}0$

للتأكد اذا الحل له قيمة صغرى نطبق الاشتقاقات الجزئية الثانية:

${\frac {{\partial }^{2}S(b_{0},b_{1})}{\partial {b_{0}}^{2}}}=2n>0$

${\frac {{\partial }^{2}S(b_{0},b_{1})}{\partial {b_{1}}^{2}}}=2\sum _{i=1}^{n}{x_{i}}^{2}>0$

لأن كلا الاشتقاقات الثانية موجبة تقود الاشتقاقات الأولى المساوية للصفر لما يدعى المعادلات الطبيعية ومنها يمكن حساب عناصر الانحدار المقدرة $b_{0}$ و $b_{1}$

بحل هذه المعادلات:

$n{\widehat {b_{0}}}+{\widehat {b_{1}}}\sum _{i=1}^{n}x_{i}=\sum _{i=1}{n}y_{i}$

${\widehat {b_{0}}}\sum _{i=1}^{n}x_{i}+{\widehat {b_{1}}}\sum _{i=1}^{n}{x_{i}}^{2}=\sum _{i=1}^{n}x_{i}y_{i}$

يمكن حل المعادلات الطبيعية بواسطة المتوسطات الخطية قاعدة كرامر:

${\widehat {b_{0}}}={\frac {\begin{vmatrix}\sum y_{i}&\sum x_{i}\\\sum x_{i}y_{i}&\sum {x_{i}}^{2}\end{vmatrix}}{\begin{vmatrix}n&\sum x_{i}\\\sum x_{i}&\sum {x_{i}}^{2}\end{vmatrix}}}={\frac {\sum y_{i}\sum {x_{i}}^{2}-\sum x_{i}\sum x_{i}y_{i}}{n\sum {x_{i}}^{2}-\sum x_{i}\sum x_{i}}}$

${\widehat {b_{1}}}={\frac {\begin{vmatrix}n&\sum y_{i}\\\sum x_{i}&\sum x_{i}y_{i}\end{vmatrix}}{\begin{vmatrix}n&\sum x_{i}\\\sum x_{i}&\sum {x_{i}}^{2}\end{vmatrix}}}={\frac {n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{n\sum {x_{i}}^{2}-\sum x_{i}\sum x_{i}}}$

بتقسيم المعادلات الأصلية بواسطة n نحصل على الصيغة البسيطة المناسبة لحساب عناصر الانحدار:

$={\bar {y}}$	${\widehat {b_{0}}}+{\widehat {b_{1}}}{\bar {x}}$
$={\overline {xy}}$	${\widehat {b_{0}}}{\bar {x}}+{\widehat {b_{1}}}{\bar {x^{2}}}$

لأجل المعاملات الثابتة المقدرة $b_{0}$ نحصل:

$b_{0}={\bar {y}}-{\widehat {b_{1}}}{\bar {x}}$

لأجل معامل الميل الخطي المقدر نحصل:

$b_{1}$

$={\overline {xy}}$	$({\bar {y}}-{\widehat {b_{1}}}{\bar {x}}){\bar {x}}+{\widehat {b_{1}}}{\bar {x^{2}}}$
$={\bar {xy}}-{\overline {x}}{\bar {y}}$	${\widehat {b_{1}}}({\bar {x^{2}}}-{\bar {x}}^{2})$
$=S_{XY}$	${{\widehat {b_{1}}}S_{X}}^{2}$
$={\frac {S_{XY}}{{S_{X}}^{2}}}$	${\widehat {b_{1}}}$

الخواص:

• تباين العينة $X$ أكبر من الصفر: ${S_{X}}^{2}>0$

• من المعادلات الطبيعية البسيطة نرى أن

$({\bar {x}},{\bar {y}})\rightarrow$ für $x_{i}={\bar {x}}$ wird ${\widehat {y_{i}}}={\bar {y}}$

${\widehat {y_{i}}}={\widehat {b_{0}}}+{\widehat {b_{1}}}x_{i}={\bar {y}}+{\widehat {b_{1}}}(x_{i}-{\bar {x}})={\bar {y}}$

• بتركيب النتائج من الارتباط وتحليل الانحدار من الممكن الحصول على معامل ميل الانحدار المقدر $b_{1}$ كالتالي:

${\widehat {b_{1}}}={\frac {S_{xy}}{{S_{x}}^{2}}},\quad r_{xy}={\frac {S_{xy}}{S_{x}S_{y}}}$

$\Rightarrow {\widehat {b_{1}}}=r_{xy}{\frac {S_{y}}{S_{x}}}$

الانحدار $(y|x)$ الى $x$ على $y$ لا يطابق الانحدار $(x|y)$ الى $y$ على $x$!

${\widehat {b_{0}}}={\bar {y}}-{\widehat {b_{1}}}{\bar {x}}$	${\widehat {b_{0}}}^{*}={\bar {x}}-{\widehat {b_{1}}}^{*}{\bar {y}}$
${\widehat {b_{1}}}={\frac {S_{XY}}{{S_{X}}^{2}}}$	${\widehat {b_{1}}}^{*}={\frac {S_{XY}}{{S_{Y}}^{2}}}$

مثال:

X مخرجات الانتاج

Y وقت العمل

n دورات الانتاج في الشركة

$i$	$x_{i}$	$y_{i}$	$x_{i}y_{i}$	$x_{i}^{2}$	$y_{i}^{2}$	${\widehat {y_{i}}}$	${\hat {u_{i}}}$
1	30	73	2,190	900	5,329	70	3
2	20	50	1,000	400	2,500	50	0
3	60	128	7,680	3,600	16,384	130	-2
4	80	170	1,360	6,400	28,900	170	0
5	40	87	3,480	1,600	7,569	90	-3
6	50	108	5,400	2,500	11,664	110	-2
7	60	135	8,100	3,600	18,225	130	5
8	30	69	2,070	900	4,761	70	-1
9	70	148	10,360	4,900	21,904	150	-2
10	60	132	72,920	3,600	17,424	130	2
$\sum$	500	1,100	61,800	28,400	134,660	1,100	0

حساب المتغيرات: متوسط العينة, تباين العينة, والانحراف المعياري للعينة:

${\bar {x}}$	$=50$		$s_{x}^{2}$	$=3400/10=340$		$s_{x}$	$=18,44$
${\bar {y}}$	$=110$		$s_{x}^{2}$	$=13660/10=13366$		$s_{y}$	$=36,96$

التباين المشترك البسيط ومعامل الارتباط البسيط يساوي:

$s_{xy}=6800/10=680\quad {\mbox{bzw.}}\quad r_{xy}=680/(18,44\cdot 36,96)=0,9977$

من هذه القيم نحسب معاملات الانحدار المقدرة $b_{0}$ و $b_{1}$:

${\widehat {b_{1}}}=680/340=2$

${\widehat {b_{0}}}=110-2\cdot (50)=10$

كنتيجة نحصل على خط الانحدار المقدر التالي:

${\widehat {y_{i}}}=10+2x_{i}$

خاصة خط الانحدار:

عندما يتم تقدير خط الانحدار من المفيد معرفة كيف خط الانحدار يقرب البيانات المشاهدة ذلك يعني: ما هي جودة تقديم البيانات بواسطة خط الانحدار كيف نحسن تمثيل البيانات بواسطة خط الانحدار.

يدعى القياس الذي يصف نوعية التقديم بمعامل التحديد ويحسب بناء على تحليل التباين للمتغير المرتبط $Y$.

الأصغر هو مجموع البواقي المقدرة المربعة الأفضل هو نوعية خط الانحدار حيث المربعات الأقل تصغر تباين البواقي المقدرة كما تعظم R مربع بواسطة:

$\sum {(y_{i}-{\widehat {y_{i}}})}^{2}=\sum {\hat {{u_{i}}^{2}}}\rightarrow min.$

تباين العينة $Y$ هو:

${s_{y}}^{2}={\frac {\sum _{i=1}^{n}{(y_{i}-{\bar {y}})}^{2}}{n}}$

انحراف القيم المشاهدة $y_{i}$ عن الوسط الحسابي ${\bar {y}}$ سيحلل لجزئين :

انحراف القيم المشاهدة $y_{i}$ عن قيم الانحدار المقدرة وانحراف قيم الانحدار المقدرة عن متوسط العينة:

$y_{i}-{\bar {y}}=[(y_{i}-{{\widehat {y_{i}}})}+({\widehat {y_{i}}}-{\bar {y}})],\quad i=1,\cdots ,n$

يصور هذا التحليل بالشكل البياني التالي:

بشكل متناظر سيحلل مجموع الانحرافات المربعة الى:

$\sum _{i=1}^{n}{(y_{i}-{\bar {y}})}^{2}=\sum _{i=1}^{n}[{(y_{i}-{\widehat {y_{i}}})}+({\widehat {y_{i}}}-{\bar {y}})]^{2}$

$\sum _{i=1}^{n}{(y_{i}-{\bar {y}})}^{2}=\sum _{i=1}^{n}{(y_{i}-{\widehat {y_{i}}})}^{2}+\sum _{i=1}^{n}{({\widehat {y_{i}}}-{\bar {y}})}^{2}$

نكون قادرين لاشتقاق المعادلة الثانية فوق

يحفز القارئ لبرهان هذا الاستعمال المربعات الأقل أولا أو الشرط فوق مع التعريف

نقسم طرفي المعادلة الثانية على n ينتج لدينا :

${\frac {\sum _{i}^{n}{(y_{i}-{\bar {y}})}^{2}}{n}}={\frac {\sum _{i=1}^{n}{(y_{i}-{\widehat {y_{i}}})}^{2}}{n}}+{\frac {\sum _{i=1}^{n}{({\widehat {y_{i}}}-{\bar {y}})}^{2}}{n}}$

${\frac {\sum _{i}^{n}{(y_{i}-{\bar {y}})}^{2}}{n}}={\frac {\sum _{i=1}^{n}{\hat {u_{i}}}^{2}}{n}}{\frac {\sum _{i=1}^{n}{({\widehat {y_{i}}}-{\bar {y}})}^{2}}{n}}$

${S_{y}}^{2}={S_{\hat {u}}}^{2}+{S_{\hat {y}}}^{2}$

تباين العينة الاجمالي $Y$ يساوي الى مجموع تباين العينة للبواقي المقدرة ( الجزء غير المفسر لتباين $Y$ )وجزء تباين $Y$ الذي يفسر بواسطة تابع الانحدار. ( تابع العينة لتابع الانحدار).

• الجزء الأكبر من تباين العينة

يفسر بواسطة النموذج أفضل مطابقة لخط الانحدار.

• من جهة أخرى كبر تباين البواقي

كنسبة مئوية لتباين العينة بشكل بديل كبر التأثيرات الخارجية غير المفسرة بواسطة تابع الانحدار يطابق أسؤا تابع انحدار.

معامل التحديد:

يعرف معامل التحديد كنسبة تباين $Y$ المفسر بواسطة تابع الانحدار والتباين الاجمالي $Y$ ذلك يعني تعرض نسبة تباين العينة $y$ المفسرة بواسطة تابع الانحدار المقدر.

$R_{yx}^{2}={\frac {\sum _{i=1}^{n}{({\widehat {y_{i}}}-{\bar {y}})}^{2}}{\sum _{i=1}^{n}{(y_{i}-{\bar {y}})}^{2}}}={\frac {{S_{\hat {y}}}^{2}}{{S_{y}}^{2}}}$

كطريقة بديلة لحساب معامل التحديد:

$R_{yx}^{2}={\frac {{[\sum _{i=1}^{n}(y_{i}-{\bar {y}})(x_{i}-{\bar {x}})]}^{2}}{\sum _{i=1}^{n}{(y_{i}-{\bar {y}})}^{2}\sum _{i=1}^{n}{(x_{i}-{\bar {x}})}^{2}}}={\frac {{S_{xy}}^{2}}{{S_{y}}^{2}{S_{x}}^{2}}}$

$R_{xy}^{2}={\frac {{(n\sum _{i=1}^{n}x_{i}y_{i}-\sum _{i=1}^{n}x_{i}\sum _{i=1}^{n}y_{i})}^{2}}{[n\sum _{i=1}^{n}{x_{i}}^{2}-{(\sum _{i=1}^{n}x_{i})}^{2}][n\sum _{i=1}^{n}{y_{i}}^{2}-{(\sum _{i=1}^{n}y_{i})}^{2}]}}$

الخواص:

• يقع معامل التحديد دائما في المجال التالي: $0\leq R_{yx}^{2}\leq 1$

ارتفاع قيمة معامل التحديد ذلك يعني أفضل تابع انحدار يشرح القيم المشاهدة.

اذا كل القيم المشاهدة تتوضع على خط الانحدار معامل التحديد يساوي للواحد سيشرح التباين الاجمالي $Y$ بواسطة المتغير $X$.

$Y$ ترتبط بشكل تام وخطي مع $X$

اذا معامل التحديد مساوي للصفر التباين الاجمالي $Y$ متطابق مع التباين غير المفسر (تباين البواقي) المتغير العشوائي $X$ لا تأثير له على $Y$

• $R_{xy}^{2}=R_{yx}^{2}$

بشكل متناظر : مطابقة انحدار $y$ على $x$ متماثلة مع مطابقة انحدار $x$ على $y$.

• لأجل تابع الانحدار الخطي يطابق معامل التحديد لمربع معامل الارتباط

$R_{yx}^{2}=r_{yx}^{2}$.

مثال:

لأجل الاستقلال الموصوف سابقا بين وقت العمل ومخرجات الانتاج. معامل الارتباط البسيط ومعامل التحديد هو:

${r_{yx}}^{2}=0,9977$

${R_{yx}}^{2}=0,9954$

تابع الانحدار غير الخطي ذو البعد الواحد :

مثال:

$n=8$ المدن المقارنة

$X$ عدد وسائط النقل العامة الموزعة لمواطني المدينة عند بداية تحليل الفترة الزمنية.

$Y$ الزيادة في أعداد المواطنين المستعملين لوسائط النقل العامة خلال تحليل الفترة الزمنية.

المدينة $i$	الزيادة $Y$ (in 1000)	وسائط النقل العامة $X$ (in 1000)
1	0,60	80
2	6,70	220
3	5,30	140
4	4,00	120
5	6,55	180
6	2,15	100
7	6,60	200
8	5,75	160

الانحدار الخطي :

${\widehat {y_{i}}}={\widehat {b_{0}}}+{\widehat {b_{1}}}x_{i}=-1,82+0,0435x_{i}$

${R_{yx}}^{2}=0,875$

نرى من الأشكال البيانية أن البواقي المقدرة لا تتوزع بشكل عشوائي حول الصفر لكن حصلنا على نماذج غير خطية نوعا ما حينئذ من المفيد استعمال نموذج الانحدار غير الخطي بدلا من النموذج الخطي.

الانحدار التربيعي

${\widehat {y_{i}}}={\widehat {b_{0}}}+{\widehat {b_{1}}}x_{i}+{{\widehat {b_{2}}}x_{i}}^{2}=-10,03+0,1642x_{i}-0,0004{x_{i}}^{2}$

${R_{yx}}^{2}=0,995$