TopicTitle

You'll hear many different voices in the upcoming videos. Get to know your instructors for the course!

Manoj Singh, M.Sc. (Statistics), Principal Analytical Training Consultant, Pune, Maharashtra, INDIA Enthusiastic about data science, enjoys learning new technologies and innovative solutions. Personal mission statement is, as the saying goes, "If at first you don't succeed, try a few more times so that your failure is statistically significant." A foodie who loves tasting new and exotic foods. Simply loves going to beaches barefoot, saying, "It rejuvenates my mental stamina and brings me peace."	(See Text Version for Image)
(See Text Version for Image)	Sharad Saxena, Ph.D., Principal Analytical Training Consultant, Pune, Maharashtra, INDIA Firmly believes "In God we trust. All others must bring data." (Shout out to W. Edwards Deming.) Loves building statistical and machine learning models. A nature lover who takes great pleasure in gardening and exploring places like mountains, lakes, and jungles. Relishes working in his family orchard up in the hills in northern India and picking apricots, peaches, plums, berries, apples....
Tarek Elnaccash, Ph.D., Analytical Training Consultant, Hyde Park, New York, USA Enjoys exploring, learning new things, and bringing friends together. Started a local board game club and a hiking/trail running club to share these experiences with friends. Also enjoys exercising with kettlebells and drinking IPAs. Has two young kids at home that keep him very busy and very entertained!	(See Text Version for Image)
(See Text Version for Image)	Cat Truxillo, Ph.D., Director of Advanced Analytics Education, Raleigh, North Carolina, USA B.B. King said, "A day that I don't learn something new is a wasted day." For Cat, that says it all! Especially loves the novel intersection of different fields of interest, to combine two things that might not always go together, such as music and cognition; knitting and math; gardening and robotics. Always loves to travel, and when the weather is nice, hikes and listens to the sounds of the forests in North Carolina.
Andy Ravenna, MS, Principal Technical Training Consultant, Arlington, Virginia, USA Believes in working hard and playing hard. When not teaching customers how to explore their data and build predictive models, loves nothing better than a fabulous scuba or snorkel in tropical waters. You also might find him making photographs, running a half or full marathon, or catching the latest Broadway hit in NYC. He and his husband are avid cruisers and love exploring distant lands overseas.	(See Text Version for Image)
(See Text Version for Image)	Dee Mckoy, Ph.D. candidate at North Carolina Agriculture and Technical State University, Principal Analytical Training Intern, Raleigh, North Carolina, USA Loves to try new things and is passionate about his work at SAS and his research at North Carolina A&T State University. Loves building deep learning models and machine learning models. Enjoys the outdoors, and skating is one of his biggest hobbies. A firm believer in spending time with family and friends.
Christa Cody, Ph.D., Sr Data Scientist, Raleigh, North Carolina, USA "I like big data and I cannot lie." (Shout out to Sir Mix-a-Lot?) Christa's a big fan of analyzing big data, data-driven decision making, and machine learning models. Loves finding something new to be a novice in and considers herself a jack of all trades. If asked to condense her many hobbies to her top favorites, she'd say backpacking, gardening, rock climbing, cooking, renovating her house, video games/board games, and exploring the world through travel.	(See Text Version for Image)

TopicTitle

To practice what you learn, we recommended that you perform demos in order because some build on each other. You practice using the lab environment for this course.

SAS Viya in a Virtual Lab

Accessing SAS Viya from the Virtual Lab

Launch the Virtual Lab.
From the Windows taskbar, launch Google Chrome.
From the Chrome bookmarks bar, click SAS Drive.
Click in the login dialog box. The user ID and password should be prefilled. If not, sign in as student using the password Metadata0. (Be sure to use an uppercase M in the password and the number 0 as the last character.) If prompted, select Yes for assumable groups.

Assigning Libraries and Loading Course Data

In SAS Drive, click Applications menu > Develop Code and Flows in the upper left corner to launch SAS Studio.
Select a pre-created flow.
1. In the left navigation pane, click Explorer icon.
2. Expand Files > Home > workshop > VST > AssignLibrary.flw and double click Assign Library flow.
3. Run the flow by clicking the Run toolbar button. A successful execution of flow assigns libraries and loads required data into memory.
4. Click the Libraries icon (second from bottom) in the left navigation pane. Look for VST library and expand it to ensure that PVA_DONORS table along with other data tables are loaded in memory and are accessible via the VST library.

Important: If you restarted your SAS session, or it has timed-out due to inactivity, you must re-create the course libraries. To do this, run the AssignLibrary flow as discussed in step 2 above.

TopicTitle

The following table provides metadata about the variables in the PVA_Donors data set, which is used in this course.

PVA_Donors Data Metadata Table
Variable Name	Model Role	Measurement Level	Description
DemAge	Input	Interval	Age
DemCluster	Input	Nominal	Demographic Cluster
DemGender	Input	Nominal	Gender
DemHomeOwner	Input	Binary	Home Owner
DemMedHomeValue	Input	Interval	Median Home Value Region
DemMedIncome	Input	Interval	Median Income Region
DemPctVeterans	Input	Interval	Percent Veterans Region
GiftAvg36	Input	Interval	Gift Amount Average 36 Months
GiftAvgAll	Input	Interval	Gift Amount Average All Months
GiftAvgCard36	Input	Interval	Gift Amount Average Card 36 Months
GiftAvgLast	Input	Interval	Gift Amount Last
GiftCnt36	Input	Interval	Gift Count 36 Months
GiftCntAll	Input	Interval	Gift Count All Months
GiftCntCard36	Input	Interval	Gift Count Card 36 Months
GiftCntCardAll	Input	Interval	Gift Count Card All Months
GiftTimeFirst	Input	Interval	Time Since First Gift
GiftTimeLast	Input	Interval	Time Since Last Gift
ID	ID	Nominal	Control Number
PromCnt12	Input	Interval	Promotion Count 12 Months
PromCnt36	Input	Interval	Promotion Count 36 Months
PromCntAll	Input	Interval	Promotion Count All Months
PromCntCard12	Input	Interval	Promotion Count Card 12 Months
PromCntCard36	Input	Interval	Promotion Count Card 36 Months
PromCntCardAll	Input	Interval	Promotion Count Card All Months
StatusCat96NK	Input	Nominal	Status Category 96NK
StatusCatStarAll	Input	Binary	Status Category Star All Months
Response	Target	Binary	Target Gift Flag
Donation_Amt	Target	Interval	Target Gift Amount

• The source of this data is the Association for Computing Machinery's (ACM) 1998 KDD-Cup competition. The data set and other details of the competition are publicly available at the UCI KDD Archive at http://kdd.ics.uci.edu/.

• For the purpose of this course, the interval target variable is transformed to have a near normal distribution yet with the same range of donation amounts as it has in the original data.

في هذا الدرس الأول، سنجهزك لبقية هذا المقرر.

سنقضي بعض الوقت في الحديث عن البيانات. في عصر البيانات الضخمة هذا، سنبدأ بمناقشة الأنواع المختلفة للبيانات وكيفية تحليلها.

سنناقش أيضًا أنواع المتغيرات المختلفة ومقاييس قياسها.

كما سنجري بعض المناقشات حول الإحصاء التقليدي، وتعلم الآلة، والذكاء الاصطناعي.

كيف تختلف هذه المجالات عن بعضها البعض وكيف ترتبط ببعضها البعض؟

نرغب أيضًا في تغطية الكثير من المصطلحات الخاصة بالإحصاء التقليدي وتعلم الآلة وأوجه التشابه بينهما.

وأخيرًا، سنقدم لك SAS Viya، وهو المحرك الذي يعمل خلف كواليس برنامجنا.

وSAS Studio، وهو مكان رائع للبدء في استخدام SAS.

سيصبح التفكير الإحصائي يوماً ما ضرورياً للمواطنة الفعّالة بقدر ضرورة القدرة على القراءة والكتابة. هذا هو الاقتباس من الخطاب الرئاسي لعام 1951 لعالم الإحصاء الرياضي صموئيل إس. ويلكس أمام الجمعية الأمريكية للإحصاء.

كان ويلكس يعيد صياغة كلام هربرت جي. ويلز من كتابه "صناعة البشرية"، الذي نُشر عام 1903.

فما هي أهمية الإحصاء في عالم تعلم الآلة والبيانات الضخمة؟ قبل تناول هذا السؤال، من المفيد فهم البيانات والاقتصاد الرقمي.

البيانات هي أساس كل ما تقوم به.

أولاً، دعونا نلقي نظرة على طرق الحصول على البيانات، وأنواع البيانات المختلفة، وكيف يتم تحليل كل نوع منها.

تاريخياً، تم توليد أو جمع معظم البيانات لأغراض البحث العلمي.

لذلك، فإن قيمتها علمية.

يُطلق على هذا النوع من البيانات عادةً اسم البيانات التجريبية. البيانات التجريبية يتم التحكم فيها بشكل نشط، لذا فهي نظيفة وصغيرة وثابتة. من أمثلة البيانات التجريبية تجربة سريرية لدواء وتأثير الأسمدة على إنتاجية الزراعة.

يتم تحليل مثل هذه البيانات باستخدام الإحصاء.

الإحصاء هو علم جمع وتحليل وتفسير وعرض البيانات التجريبية، وأخذ عدم اليقين المرتبط بها في الاعتبار.

كان الإحصاء التقليدي يعتمد بشكل كبير على عينات صغيرة وافتراضات صارمة حول البيانات وتوزيعها.

كانت مجموعات البيانات الكبيرة والمعقدة نادرة، وتلك القليلة التي كانت موجودة نادراً ما تم تحليلها.

مع مرور الوقت، تراكمت لدى الشركات كميات ضخمة من البيانات التشغيلية. لم يتم توليد هذه البيانات التشغيلية بغرض تحليل البيانات. يتم وصفها بشكل مناسب بأنها بيانات انتهازية. وهذا يختلف عن البيانات التجريبية حيث يتم التحكم في العوامل وتغييرها للإجابة على أسئلة محددة. يتم جمع هذا النوع من البيانات في قاعدة بيانات، وهي مجموعة منظمة من المعلومات أو البيانات المهيكلة، عادةً ما يتم تخزينها إلكترونياً في جهاز كمبيوتر.

البيانات الانتهازية يتم ملاحظتها بشكل سلبي، وهي مليئة بالضجيج، ضخمة، وديناميكية. مثال على ذلك البيانات القادمة من عمليات البنوك.

يتم تحليل مثل هذه البيانات باستخدام التنقيب عن البيانات. التنقيب عن البيانات هو عملية فرز مجموعات بيانات ضخمة لتحديد الأنماط والعلاقات والتنبؤ بالاتجاهات المستقبلية التي يمكن أن تساعد في حل مشاكل الأعمال من خلال تحليل البيانات.

يُستخدم مصطلح اكتشاف المعرفة في قواعد البيانات، ويُختصر بـ KDD، غالباً كمرادف للتنقيب عن البيانات. KDD هو مجال بحثي متعدد التخصصات يستخدم الإحصاء، على شكل تحليل بيانات استكشافي ونماذج تنبؤية، للكشف عن الأنماط والاتجاهات في مجموعات البيانات الضخمة جداً.

الآن، تظهر أشكال جديدة من البيانات. لقد ابتعدنا عن أنظمة جمع البيانات المرهقة، التي تتطلب أياماً أو أسابيع أو شهوراً، وانتقلنا إلى البيانات المتدفقة. البيانات المتدفقة هي بيانات يتم توليدها باستمرار من مصادر مختلفة، مثل وسائل التواصل الاجتماعي، وأجهزة الاستشعار، والكاميرات.

تصل هذه البيانات بسرعة استثنائية، وبأشكال متنوعة، وبكميات هائلة. قد يكون لدى الجميع إمكانية الوصول إليها، لكن قد لا يمتلكون المهارات لفهمها.

هذا الكم الهائل من البيانات، سواء كانت مهيكلة أو غير مهيكلة، يغمر الشركات بشكل يومي.

تشير البيانات الضخمة إلى البيانات التي تكون كبيرة جداً أو سريعة أو معقدة بحيث يصعب أو يستحيل معالجتها باستخدام الطرق التقليدية.

لتحليل هذا النوع من البيانات، يجب علينا استخدام وتطوير أنظمة حاسوبية يمكنها التعلم والتكيف دون اتباع تعليمات صريحة، وذلك باستخدام الخوارزميات والنماذج الإحصائية لتحليل البيانات واستنتاج الأنماط منها.

يستخدم تعلم الآلة العديد من مفاهيم وأساليب الإحصاء والتنقيب عن البيانات لأتمتة بناء النماذج التي يمكنها التعلم بشكل تكراري من البيانات، وتحديد الأنماط، والتنبؤ بالنتائج المستقبلية مع تدخل بشري ضئيل.

TopicTitle

The defining properties or dimensions of big data:

What Is Big Data?
Volume	amount of data
Velocity	speed of data
Variety	types of data
Variability	variety/changes in data flows
Veracity	quality of data

The act of accessing and storing large amounts of information for analytics has been around a long time. But the concept of big data gained momentum in the early 2000s. The mainstream definition of big data includes the three Vs (big data [Laney 2001]):

Volume: Volume refers to the amount of data from terabytes to petabytes and up. This volume presents the most immediate challenge to conventional IT structures. It calls for scalable storage, and a distributed approach to process such voluminous data.
Velocity: Velocity refers to the increasing rate at which data flows into an organization and the speed at which such high-velocity data is processed. RFID tags, sensors, and smart meters are driving the need to deal with these torrents of data in near-real time.
Variety: Variety refers to the number of types of data. Rarely does data present itself in a form perfectly ordered and ready for processing. Data come in all types of formats – from structured, numeric data in traditional databases, to unstructured text documents, emails, videos, audios, stock ticker data, and financial transactions.

At SAS, we consider two additional dimensions when it comes to big data:

Variability: In addition to the increasing velocities and varieties of data, data flows are unpredictable – changing often and varying greatly. It's challenging, but businesses need to know when something is trending in social media, and how to manage daily, seasonal, and event-triggered peak data loads.
Veracity: Veracity refers to the quality of data. Because data come from so many different sources, it's difficult to link, match, cleanse, and transform data across systems. Businesses need to connect and correlate relationships, hierarchies, and multiple data linkages. Otherwise, their data can quickly spiral out of control.

The term "big data" refers to data that is so large, fast, or complex that it's difficult or impossible to process using traditional methods. For example, the growth of data created each minute on the internet is as follows. According to the source,

Internet live stats (view link in the text version)

, in a single minute, there are:

Examples of Big Data
Number	Type
64,140	Instagram stories posted
336,480	Skype calls made
5,365,260	YouTube videos watched
5,500,560	Google searches conducted
181,331,340	Emails sent

Question

Which of the following are examples of big data? (Select all that apply.)

Correct.
Note that a and d are examples of experimental data.

Incorrect.
The correct answer is b and c. Note that a and d are examples of experimental data.

أتاحت التطورات في معالجة الحاسوب وتخزين البيانات إمكانية استيعاب وتحليل المزيد من البيانات أكثر من أي وقت مضى. وفي الوقت نفسه تقريبًا، بدأنا في إنتاج المزيد والمزيد من البيانات من خلال ربط المزيد من الأجهزة والآلات بالإنترنت وبث كميات كبيرة من البيانات من هذه الأجهزة.

كل هذه التطورات قربت الذكاء الاصطناعي من هدفه الأصلي المتمثل في إنشاء آلات ذكية، وهو ما بدأنا نراه أكثر فأكثر في حياتنا اليومية.

من التوصيات على مواقع التسوق المفضلة لدينا إلى العلامات التلقائية للصور على وسائل التواصل الاجتماعي، فإن العديد من وسائل الراحة الشائعة على الإنترنت مدعومة بالذكاء الاصطناعي.

معظم أمثلة الذكاء الاصطناعي التي تسمع عنها اليوم، من الحواسيب التي تلعب الشطرنج إلى السيارات ذاتية القيادة، تعتمد بشكل كبير على التعلم الآلي والتعلم العميق.

الذكاء الاصطناعي هو العلم الواسع الذي يحاكي القدرات البشرية، والتعلم الآلي هو فرع محدد من الذكاء الاصطناعي يدرب الآلة على كيفية التعلم. يقوم التعلم الآلي بأتمتة بناء النماذج التحليلية. يستخدم طرقًا من الشبكات العصبية والإحصاء وبحوث العمليات والفيزياء لاكتشاف رؤى خفية في البيانات دون أن تتم برمجته صراحةً حول مكان البحث أو ما الذي يستنتجه.

أثار العمل المبكر على الشبكات العصبية خلال الخمسينيات وحتى السبعينيات الحماس تجاه الآلات المفكرة. الشبكة العصبية هي نوع من التعلم الآلي مستوحى من عمل الدماغ البشري. إنها نظام حاسوبي مكون من وحدات مترابطة، مثل الخلايا العصبية، يعالج المعلومات من خلال الاستجابة للمدخلات الخارجية ونقل المعلومات بين كل وحدة وأخرى.

تتطلب هذه العملية تمريرات متعددة على البيانات للعثور على الروابط واستخلاص المعنى من البيانات غير المعرفة.

أصبح التعلم الآلي شائعًا في الفترة من الثمانينيات وحتى عام 2010.

التعلم الآلي والتعلم العميق هما فرعان من الذكاء الاصطناعي، والتعلم العميق هو مجال محدد من التعلم الآلي. بينما كان التعلم الآلي يتعامل غالبًا مع بيانات جدولية ضخمة، فإن التعلم العميق يتعامل عمومًا مع بيانات الصور والصوت والنص التي تؤدي إلى جداول أكبر بكثير.

الاختراقات الحديثة في التعلم العميق تدفع طفرة الذكاء الاصطناعي. يستخدم التعلم العميق شبكات عصبية ضخمة مع العديد من طبقات وحدات المعالجة لتعلم أنماط معقدة في كميات هائلة من البيانات. هل يعني هذا أن كل شبكة عصبية متعددة الطبقات هي متعلم عميق؟ لا. على الرغم من أن مصطلح التعلم العميق يشير إلى الطبقات المخفية العديدة المستخدمة في الشبكة العصبية، إلا أنهم يستفيدون من التقدم في قوة الحوسبة مثل وحدات معالجة الرسومات (GPUs) وتقنيات التدريب المحسنة مثل دوال التفعيل الأفضل أداءً، والأوزان المُهيأة عشوائيًا، وتقنيات التنظيم المتقدمة وخوارزميات التحسين الفعالة.

رؤية الحاسوب هي مجال من الذكاء الاصطناعي يدرب الحواسيب على تفسير وفهم العالم المرئي.

باستخدام الصور الرقمية من الكاميرات والفيديوهات ونماذج التعلم العميق، يمكن للآلات تحديد وتصنيف الأشياء بدقة ثم التفاعل مع ما تراه. عندما تستطيع الآلات معالجة الصور وتحليلها وفهمها، يمكنها التقاط الصور أو الفيديوهات في الوقت الفعلي وتفسير محيطها. من التعرف على الوجوه إلى معالجة الأحداث الحية في مباراة كرة قدم، تنافس رؤية الحاسوب القدرات البصرية البشرية وتتجاوزها في العديد من المجالات.

معالجة اللغة الطبيعية، أو NLP، هي فرع من الذكاء الاصطناعي يساعد الحواسيب على فهم وتفسير ومعالجة وتوليد اللغة البشرية، بما في ذلك الكلام.

تساعد معالجة اللغة الطبيعية الحواسيب على التواصل مع البشر بلغتهم الخاصة، مما يجعل من الممكن للحواسيب قراءة النصوص، وسماع الكلام، وتفسيره، وقياس المشاعر، وتحديد الأجزاء المهمة.

المرحلة التالية من معالجة اللغة الطبيعية هي التفاعل الطبيعي مع اللغة، والذي يسمح للبشر بالتواصل مع الحواسيب باستخدام لغة طبيعية يومية لأداء المهام.

إنترنت الأشياء، أو IoT، يشير إلى عدد هائل من الأشياء المتصلة بالإنترنت بحيث يمكنها مشاركة البيانات مع أشياء أخرى، وتطبيقات إنترنت الأشياء، والأجهزة المتصلة، والآلات الصناعية، وأكثر من ذلك.

تستخدم الأجهزة المتصلة بالإنترنت مستشعرات مدمجة لجمع البيانات وفي بعض الحالات التصرف بناءً عليها.

يمكن للأجهزة والآلات المتصلة بإنترنت الأشياء تحسين طريقة عملنا وحياتنا.

تشمل أمثلة إنترنت الأشياء في العالم الحقيقي من منزل ذكي يضبط التدفئة والإضاءة تلقائيًا، إلى مصنع ذكي يراقب الآلات الصناعية للبحث عن المشاكل ثم يعدل نفسه تلقائيًا لتجنب الأعطال.

يولد إنترنت الأشياء كميات هائلة من البيانات من الأجهزة المتصلة، ومعظمها غير محلل. أتمتة النماذج باستخدام الذكاء الاصطناعي ستسمح لنا باستخدام المزيد منها.

يعتمد التعلم الآلي على فكرة أن الآلات يجب أن تكون قادرة على التعلم والتكيف من خلال الخبرة، ويشير الذكاء الاصطناعي إلى فكرة أوسع حيث يمكن للآلات تنفيذ المهام بذكاء.

يطبق الذكاء الاصطناعي التعلم الآلي والتعلم العميق وتقنيات أخرى لحل المشكلات الفعلية.

بالإضافة إلى ذلك، هناك العديد من التقنيات التي تمكن وتدعم الذكاء الاصطناعي. وحدات معالجة الرسومات، أو GPUs، هي مفتاح الذكاء الاصطناعي لأنها توفر قوة الحوسبة الثقيلة المطلوبة للمعالجة التكرارية.

يتطلب تدريب الشبكات العصبية بيانات ضخمة بالإضافة إلى قوة الحوسبة. يتم تطوير خوارزميات متقدمة ودمجها بطرق جديدة لتحليل المزيد من البيانات بشكل أسرع وعلى مستويات متعددة. هذه المعالجة الذكية هي المفتاح لتحديد وتوقع الأحداث النادرة، وفهم الأنظمة المعقدة، وتحسين السيناريوهات الفريدة.

واجهات برمجة التطبيقات، أو APIs، هي حزم برمجية محمولة تجعل من الممكن إضافة وظائف الذكاء الاصطناعي إلى المنتجات وحزم البرمجيات الحالية.

يمكنها إضافة قدرات التعرف على الصور إلى أنظمة الأمن المنزلي وقدرات الأسئلة والأجوبة التي تصف البيانات، وتولد التسميات والعناوين، أو تبرز الأنماط والرؤى المثيرة للاهتمام في البيانات.

باختصار، هدف الذكاء الاصطناعي هو توفير برامج يمكنها الاستنتاج بناءً على المدخلات وشرح المخرجات. سيقدم الذكاء الاصطناعي تفاعلات شبيهة بالبشر مع البرمجيات ويوفر دعم اتخاذ القرار للمهام المحددة. لكنه ليس بديلاً للبشر، ولن يكون كذلك في أي وقت قريب.

Question

Which of the following is an example of computer vision?

Correct.
Note that b is an example of Internet of Things (IoT) and c and d are examples of natural language processing (NLP).

Incorrect.
The correct answer is a. Note that b is an example of Internet of Things (IoT) and c and d are examples of natural language processing (NLP).

للقيام بتعلم الآلة على البيانات الضخمة، هل تحتاج إلى معرفة الإحصاء؟ في هذه المرحلة، قد لا تكون متأكدًا. للإجابة على هذا السؤال، دعونا نستكشف تنفيذ تدفق تعلم آلي تلقائي.

في هذا العرض التوضيحي، ستقوم بالوصول إلى واجهة SAS Studio وفحصها. بعد ذلك، تقوم بتحميل بيانات الدورة التدريبية في الذاكرة باستخدام تدفق تم إنشاؤه مسبقًا في SAS Studio.

عند تشغيل هذا التدفق، تقوم بإنشاء جلسة CAS، ثم تربط جلستك بموقع ملفات البيانات الموجودة مسبقًا لتحميلها إلى الذاكرة.

أي معالجة بيانات في SAS Viya تتطلب تحميل البيانات في الذاكرة أولاً. أخيرًا، تقوم بإنشاء تدفق مع خطوة الهندسة المميزة التلقائية لتوليد ميزات من بيانات المتبرعين لـ PVA يمكن استخدامها كمدخلات لنموذج تنبؤي. من سطح المكتب الخاص بك، قم بتشغيل متصفح الويب. اختر SAS Landing من شريط العلامات المرجعية.

يجب أن يكون اسم المستخدم وكلمة المرور معبأين تلقائيًا. إذا لم يتم تعبئتهما، أدخل STUDENT و METADATA0 بحرف M كبير.

انقر على "تسجيل الدخول".

إذا طُلب منك الانضمام إلى مجموعات قابلة للتولي، انقر على "نعم". من هنا، انقر على قائمة التطبيقات في الزاوية العلوية اليسرى من شاشتك. ضمن دورة حياة التحليلات، اختر "تطوير الأكواد والتدفقات" لإطلاق SAS Studio.

تتكون النافذة الرئيسية لـ SAS Studio من جزء تنقل على اليسار ومنطقة عمل على اليمين. يوفر جزء التنقل وصولاً سهلاً إلى المقاطع البرمجية والخطوات والمكتبات الخاصة بك، بالإضافة إلى مكونات أخرى. تُستخدم منطقة العمل لعرض بياناتك، والكود، والسجلات، والنتائج، والتدفقات. من هنا، يمكنك الوصول إلى مكتبات SAS الافتراضية. سترى مكتبات مثل Work و SAS Help و SAS User، بالإضافة إلى غيرها. بعد ذلك، تقوم بتشغيل تدفق تم إنشاؤه مسبقًا في SAS Studio لتعيين المكتبات وتحميل بيانات الدورة التدريبية. يتكون التدفق من كائن واحد أو أكثر. يُمثل كل كائن بعقدة في تدفق العمليات. يُظهر التدفق العلاقة بين كائنين أو أكثر، مثل برنامج SAS أو مهمة أو استعلام وما إلى ذلك. يمكنك الوصول إلى التدفقات المُنشأة مسبقًا كما يلي. في جزء التنقل الأيسر، انقر على أيقونة المستكشف. قم بتوسيع الملفات، ثم Home، ثم Workshop، ثم مجلد VST. ابحث عن الملف المسمى AssignLibrary.flow وانقر عليه نقرًا مزدوجًا. يحتوي هذا التدفق على عقدة برنامج SAS واحدة. تقوم عقدة برنامج SAS بتنفيذ برنامج SAS في الخلفية لإنشاء جلسة CAS وتعيين المكتبات وتحميل البيانات في الذاكرة. شغل التدفق بالنقر على زر التشغيل.

تشير علامة الصح الخضراء على عقدة Assign Library إلى أن التدفق قد تم تشغيله بنجاح.

انقر على أيقونة المكتبات، الثانية من الأسفل، لترى أن مكتبة VST قد تم إنشاؤها. وهي تحتوي على ثلاث مجموعات بيانات: PVA Donors و PVA Donors Final و Score PVA. تم الآن تحميل هذه المجموعات الثلاثة من البيانات في ذاكرة شبكة Viya. سنركز على تحليل مجموعة بيانات PVA Donors في الدروس القادمة. للبدء، دعونا ننتقل مباشرة إلى التعلم الآلي التلقائي في SAS Viya. في منطقة العمل، انقر على علامة الجمع بجوار علامة تبويب AssignLibrary.flow لإنشاء علامة تبويب جديدة. من القائمة المنسدلة، اختر Flow.

بدلاً من ذلك، يمكنك اختيار Flow من قائمة جديد في أعلى يسار SAS Studio.

انقر على أيقونة الخطوات على الجانب الأيسر من جزء التنقل. ضمن علامة تبويب خطوات SAS، قم بتوسيع إدخال البيانات وإخراجها.

من هنا، انقر نقرًا مزدوجًا على خطوة الجدول.

في منطقة العمل، انقر على خطوة الجدول. في النصف السفلي من منطقة العمل، ضمن خصائص الجدول، انقر على خزانة الملفات تحت حقل المكتبة. من هنا، انقر على مكتبة VST، واختر PVA Donors، ثم انقر موافق. الآن مرر لأسفل عبر خطوات SAS وقم بتوسيع مجموعة التعلم الآلي.

انقر نقرًا مزدوجًا على "الهندسة المميزة التلقائية".

بعد ذلك، سنقوم بربط عقدة PVA Donors بعقدة الهندسة المميزة التلقائية.

للقيام بذلك، حرك مؤشر الفأرة نحو الحافة اليمنى لعقدة PVA Donors حتى يتحول المؤشر إلى أيقونة يد. انقر واسحب سهمًا من عقدة PVA Donors إلى المربع على الجانب الأيسر من عقدة الهندسة المميزة التلقائية. يسمى هذا المربع بمنفذ الإدخال. الآن تم ربط الهندسة المميزة التلقائية ببيانات PVA Donors. انقر على زر "ترتيب العقد" لتنظيم العقد بصريًا داخل التدفق.

بعد ذلك، انقر على عقدة الهندسة المميزة التلقائية.

في النصف السفلي من منطقة العمل، ضمن علامة التبويب البيانات، ابحث عن الميزة الهدف.

تأكد من تحديد "استخدام هدف اسمي".

استخدم علامة الجمع لتحديد الهدف الاسمي.

مرر نحو أسفل القائمة واختر Response ثم انقر موافق. تحت المدخلات، تأكد من تحديد زر "استخدام جميع الأعمدة باستثناء الهدف".

الآن انقر على علامة تبويب الخيارات. احتفظ بالإعدادات الافتراضية ضمن فحص المتغيرات، والهندسة المميزة، وترتيب الميزات. احفظ التدفق في مجلد VST باسم automatedfeatureengineering.flow.

ثم انقر على زر التشغيل لتنفيذ التدفق.

عند اكتمال التشغيل، انقر على علامة تبويب "الكود المقدم والنتائج" ثم انقر على النتائج. أغلق جزء التنقل بالنقر على أيقونة قائمة الخطوات. يمكنك تكبير نافذة النتائج بالنقر على النقاط الثلاث على الجانب الأيمن من منطقة العمل.

ثم اختر "فتح في علامة تبويب المتصفح"، ثم "النتيجة".

تم إنشاء الميزات الهندسية تلقائيًا باستخدام تقنيات تحويل واستخراج الميزات المناسبة.

كانت الفكرة هي التعلم التلقائي لمجموعة من الميزات من بيانات خام قد تكون مليئة بالضوضاء والتي يمكن أن تكون مفيدة في مهام التعلم الآلي دون الحاجة إلى ميزات هندسية مصنوعة يدويًا.

في منتصف التقرير تقريبًا، يمكننا رؤية عمود بعنوان InputVar1 يعرض اسم المتغير الأصلي المدخل.

ثم نرى أن العمود التالي يسمى Label، وهذا هو العمود الذي يحتوي على وصف الميزات التي تم إنشاؤها حديثًا. على سبيل المثال، بالنسبة للمتغير Demographic Median Home Value، المسمى DemMedHomeValue،

تشير التسمية إلى أن هناك معدل فقدان منخفض للقيم، وأنه تم استخدام تعويض الوسيط لإنشاء ميزة جديدة. تشير بعض التسميات الأخرى إلى وجود انحراف عالٍ مع تحويل Box-Cox، وانحراف عالٍ مع تقسيم شجرة القرار إلى 5 فئات، ومعدل فقدان منخفض، وتعويض الوسيط، وعدة تحويلات أخرى للمدخلات الأصلية. في المستقبل، قد ترغب في استخدام هذه الميزات المُنشأة في بناء النماذج. ومع ذلك، كان الهدف من هذا العرض هو استكشاف إمكانيات التعلم الآلي التلقائي في SAS 5.

في العرض السابق، على الرغم من أن قدرة التعلم الآلي في الأداة يمكن أن تحقق هدفك في إنشاء ميزات جديدة تلقائيًا، إلا أنك لا تزال بحاجة إلى معرفة المفاهيم الإحصائية الأساسية لفهم المخرجات وشرحها بشكل أفضل.

لقد صادفت بعض المصطلحات الإحصائية المميزة هنا، مثل مؤشر القيم المفقودة، المنوال، التحويل، نسبة التكرار، التقسيم إلى فئات، الانحراف، معدل القيم المفقودة، الترميز بطريقة WOE، الكثافة العالية للفئات، تعويض الوسيط، وغيرها. سيتم مناقشة كل هذه وأكثر في هذا السياق.

نعم، للقيام بالتعلم الآلي على البيانات الضخمة، تحتاج إلى معرفة الإحصاء. تستخدم أدوات التعلم الآلي خوارزميات قائمة على البيانات وطرق إحصائية لتحضير وتحليل مجموعات البيانات ثم استخلاص الاستنتاجات من الأنماط المحددة أو إجراء التنبؤات بناءً عليها.

الإحصاء يظل ذا صلة كبيرة بغض النظر عن حجم البيانات.

دور الإحصاء يبقى كما كان دائمًا، بل أصبح أكثر أهمية.

ربما المهمة الأساسية في الإحصاء التقليدي هي الاستدلال الاستقرائي من البيانات إلى النماذج والاستنتاجات العلمية.

هذه المهمة الأساسية لا تزال ذات أهمية كبيرة مع ظهور مجموعات البيانات الضخمة.

قابلية التكرار، الاستقرار، التغاير، السببية، وعدم اليقين هي المبادئ الخمسة الأساسية للإحصاء وجميعها تنطبق بنفس القوة مع البيانات الضخمة.

قابلية التكرار هي الحصول على نتائج متسقة عبر الدراسات التي تهدف للإجابة على نفس السؤال العلمي، وكل منها حصلت على بياناتها الخاصة.

مرتبط بقابلية التكرار هو مفهوم الاستقرار. الاستقرار هو مدى ثبات نتائج دراستك أو تجربتك باستمرار. بمعنى آخر، قوة دعم نتائجك عند تعرضها لتغيرات طفيفة في البيانات المدخلة.

إنه مفهوم مفيد لمعرفة ما إذا كان تحليل بديل ومناسب سيولد معرفة مشابهة.

وبشكل أكثر تحديدًا، هو مقياس مدى سيطرتك على الأخطاء العشوائية في دراستك.

التغاير هو مفهوم أساسي يظهر في سياقات متعددة ويتغير تعريفه وفقًا لذلك.

يمكن أن يشير التغاير إلى الاختلافات داخل العينات الفردية، وبين العينات، وبين نتائج التجارب في التحليل التلوي.

بالنسبة لتعريف السببية البسيط، يصف الإحصاء العلاقة بين حدثين أو متغيرين.

تكون السببية موجودة عندما تزيد أو تنقص قيمة متغير أو حدث نتيجة مباشرة لوجود أو غياب متغير أو حدث آخر.

مبدأ عدم اليقين يعني أنه بشكل عام لا يمكن التنبؤ بقيمة كمية ما بدقة مطلقة حتى لو تم تحديد جميع الظروف الأولية.

مثاليًا، في سيناريو البيانات الضخمة الثاني، تكون الاستنتاجات والنتائج قابلة للتكرار ويمكن تعميمها.

إذا تخيلت إجراء التحليل مرة أخرى، الآن على مجموعة بيانات جديدة، هل ستكون النتيجة مشابهة، أي أن النموذج مستقر؟

كيف ستكتشف ما معنى التشابه في النتائج وكيف تقيم الدقة لقياس عدم اليقين؟

فهم التغاير في مجموعات البيانات واسعة النطاق أكثر أهمية، وفهم السببية وعلاقتها بالتنبؤ المتين لا يزال مثيرًا للاهتمام.

TopicTitle

Bühlmann and Geer (2018) examined at the role of statistics in data science. They focused on issues and challenges beyond computational constraints, namely replicability and its extended concept of stability; heterogeneity in large-scale datasets; causality and its connection to robust prediction; and not beating the uncertainty principle.

Replicability

Replicability means that the findings in a study can be successfully replicated in another study under the same conditions, not exactly but up to statistical error. The statistical error might be quite large, and failure of successful replication might be sometimes not so surprising: a priori, it is difficult to evaluate unless you have an understanding about the statistical uncertainties! A major challenge with big data is to come up with reasonable models, methods, and algorithms that enable you to quantify the statistical error. And you would hope that some findings from big data would indeed enable a fair amount of success for replication in other studies or data sets. Here, replicability should not be confused with reproducibility. Reproducibility, when defined in a narrow technical sense, means that the same data input leads to the same output and numerical results.

Stability

Related to replicability is the notion of stability (Yu, 2013). For example, you can consider the notion of replicability within sub-samples of a large data set. If a finding from half of the data can be successfully replicated in the other half, then the finding seems to be more ''promising'' and ''relevant.'' A methodology for assessing such ''relevance'' is to use repeated splitting of a data set into two halves, and it connects the notion of ''stable findings'' to a Type I error rate in terms of the expected number of false positives. Stability generally turns out to be beneficial for predictive performance as well.

Stability is a useful concept to address whether an alternative, "appropriate" analysis would generate similar knowledge. At the modeling stage, stability refers to acceptable consistency of a data result relative to "reasonable" perturbations of the data or model. For example, jackknife, bootstrap, and cross validation may be considered reasonable or appropriate perturbations if the data are deemed approximately independent and identically distributed based on prior knowledge and an understanding of the data collection process. In addition to modeling stage perturbations, human judgment calls prior to modeling also impact data results. The validity of such decisions relies on implicit stability assumptions that allow data scientists to view their data as an accurate representation of the natural phenomena they originally measured.

Heterogeneity

Stability and replicability usually require some form of homogeneity and independence. In the simplest terms, the first and second data set (or the first and second half of a single data set) are independent and of the same nature. Big data are often believed to be of heterogeneous nature, violating such a homogeneity assumption. In other words, large-scale data, terminology that we use in the sequel for data that have both large sample size and dimensionality, is typically not generated as i.i.d. or stationary samples from a single population distribution. And we have good reasons to expect that the data is heterogeneous, arising from different ''scenarios,'' ''regimes,'' or ''sub-populations.'' Quantifying the statistical error and the amount of replicability that we can expect under such circumstances are important for drawing generalizing and scientific conclusions from large-scale data.

An established way to assign uncertainties and the amount of replicability is to divide this large-scale heterogeneous data into smaller homogeneous sub-data sets, and these sub-data sets are the different studies from which one pursues an aggregation of significance statements. This is a straightforward concept and computationally attractive because computing for every environment can be trivially distributed.

Causality

Heterogeneity in large-scale data seems to be an unpleasant obstacle. However, it can be advantageously exploited for causal inference and robustness against worst case scenarios. There is an interesting invariance assumption, related to stability, that says there exists a subset of covariates such that the conditional distribution of response given inputs is invariant across all environments. Consider the difference between a prediction that is made with a causal model and that with a non-causal model.

Suppose you intervene on the input variables or change the whole environment. The predictions from a causal model will, in general, work as well under interventions as for observational data. In contrast, predictions from a non-causal model can potentially be very wrong if you actively intervene on input variables. We can exploit this invariance of a prediction under a causal model for causal inference. Given different experimental settings, we collect all models that do show invariance in their predictive accuracy across settings and interventions. The causal model will be a member of this set of models with high probability. This approach yields valid confidence intervals for the causal relationships in quite general scenarios.

Uncertainty

Uncertainty can be mathematically well understood with little practical consequence because this uncertainty is not something you can directly see from data. One needs another algorithm to access uncertainty, and this algorithm has its own uncertainty. Statistics might quantify how far we can go (for example, a classical statistical uncertainty measure is the p-value). An important task is to validate machine learning or statistical algorithms (for example, their predictive performance or their ability to find important or even causal variables). Validation of prediction is certainly easier than assessing the performance to find important or causal variables.

However, already the task of prediction is not trivial at all. Standard cross validation is inappropriate for heterogeneous data, and assessing the prediction performance for new unseen scenarios is highly complex. The modern adaptive algorithms are often such that the better they are (generate outcomes close to the target), the harder it is to estimate their uncertainty. For the ''best'' algorithm, it can be simply impossible to know its accuracy. To quote Marc Hoffmann and Oleg Lepski: ''You know adaptive estimators converge very fast if the function is very smooth (or has a prescribed complexity) but you can tell nothing about the estimated function itself.'' (Hoffmann and Lepski, 2002). The statistical theory serves as a guard against cheating with data. You cannot beat the uncertainty principle.

وفقًا لليو بريمان، هناك ثقافتان في استخدام النمذجة الإحصائية لاستخلاص الاستنتاجات من البيانات.

إحداهما تفترض أن البيانات تم توليدها بواسطة نموذج بيانات احتمالي محدد.

أما الأخرى فتستخدم النماذج الخوارزمية وتتعامل مع آلية توليد البيانات على أنها غير معروفة.

بعبارة أخرى، هناك حاجة للانتقال من النمذجة الإحصائية التقليدية إلى عالم تعلم الآلة.

تبدأ الإحصاء بالبيانات. فكر في البيانات على أنها تُنتج بواسطة صندوق أسود تدخل فيه متجه من المتغيرات المدخلة، x، من جانب واحد. ومن الجانب الآخر، تخرج متغيرات الاستجابة، y.

داخل الصندوق الأسود، تعمل الطبيعة على ربط المتغيرات المدخلة بمتغيرات الاستجابة.

هناك هدفان لتحليل البيانات.

الشرح والتنبؤ.

الشرح، أو التحليل التفسيري، هو استخراج بعض المعلومات حول كيفية ربط الطبيعة لمتغيرات الاستجابة بمتغيرات المدخلات.

التنبؤ، أو النمذجة التنبؤية، يشير إلى التنبؤ بالاستجابات لمتغيرات مدخلة مستقبلية.

سوف تتعلم عن كلا هدفي تحليل البيانات هذين في الدرس القادم.

هناك نهجان مختلفان لتحقيق هذه الأهداف، هما ثقافة نمذجة البيانات وثقافة نمذجة الخوارزميات.

يبدأ التحليل في ثقافة نمذجة البيانات بافتراض نموذج بيانات احتمالي لما يوجد داخل الصندوق الأسود. على سبيل المثال، نموذج الانحدار الخطي أو اللوجستي.

يتم تقدير قيم المعلمات من البيانات، ثم يُستخدم النموذج للحصول على المعلومات أو التنبؤ. وهكذا، يُملأ الصندوق الأسود كما هو موضح في الأعلى.

هنا، يتم تقييم النموذج كاختبار نعم-لا، أو اختبار جودة الملاءمة، وفحص البواقي.

أما التحليل في ثقافة نمذجة الخوارزميات فيعتبر أن ما بداخل الصندوق معقد وغير معروف.

نهجهم هو إيجاد إطار عمل أو دالة رياضية تعمل على x للتنبؤ بالاستجابات y.

يبدو صندوقهم الأسود كما هو موضح في الأسفل.

في هذه الثقافة، يتم تقييم النموذج بدقة التنبؤ.

معظم نماذج التنقيب عن البيانات وتعلم الآلة تندرج ضمن هذه الثقافة. على سبيل المثال، أشجار القرار والشبكات العصبية.

الاختلاف مع الإحصاء الكلاسيكي هو أن هذه النماذج أقل اعتماداً على النماذج وأكثر اعتماداً على الخوارزميات وقوة البيانات. وبالتالي، هناك عدة أهداف يمكن أن تسعى لتحقيقها. على سبيل المثال، لننظر إلى سيناريو حملة تسويقية.

إذا كان هدفك هو معرفة ما إذا كان شخص ما سيستجيب لحملة تسويقية، فإنك تشغل خوارزمية على بياناته وتخرج لك الإجابة.

النقطة الأساسية هي أن تكون الإجابة صحيحة في الغالب. قد لا تهتم كثيراً بكيفية عمل الخوارزمية. بل قد لا تهتم حتى بعلم نفس السلوك ولماذا لا يستجيب شخص ذو خصائص معينة.

هذه سمة مميزة لخوارزميات تعلم الآلة.

Question

Which of the two modeling cultures do you think is used more often in the machine learning world?

Correct.
In the algorithmic modeling culture, the model is evaluated by predictive accuracy. You might not be so interested in how the algorithm works. Most of the data mining and machine learning models fall in this culture.

Incorrect.
The correct answer is b. In the algorithmic modeling culture, the model is evaluated by predictive accuracy. You might not be so interested in how the algorithm works. Most of the data mining and machine learning models fall in this culture.

على مر الزمن، اتبعت SAS العديد من الأساليب للتنقيب عن البيانات ومعالجتها.

النهج التقليدي هو SEMA، والذي يرمز إلى أخذ عينة، الاستكشاف، التعديل، النمذجة، والتقييم.

أولاً، تقوم بأخذ عينة من البيانات من خلال إنشاء جدول أو أكثر من جداول البيانات.

يجب أن تكون العينات كبيرة بما يكفي لتحتوي على المعلومات المهمة، ولكن صغيرة بما يكفي لمعالجتها. بعد ذلك، تستكشف البيانات بالبحث عن العلاقات المتوقعة، الاتجاهات غير المتوقعة، والشذوذات من أجل اكتساب الفهم والمعرفة.

ثم تقوم بتعديل البيانات من خلال إنشاء، اختيار، وتحويل المتغيرات للتركيز على عملية اختيار النموذج.

بعد ذلك، تقوم بنمذجة البيانات باستخدام الأدوات التحليلية للبحث عن مجموعة من المتغيرات التي تتنبأ بشكل موثوق بالنتيجة المرغوبة.

وأخيراً، تقوم بتقييم النماذج التنبؤية المتنافسة. مع ظهور البيانات الضخمة، يمكن تعديل هذا الإطار قليلاً ليشمل العديد من الأطر.

على سبيل المثال، MI.

استكشاف، تعديل، نمذجة، وتقييم. في EMA، يتم إجراء التحليل الكامل على جميع البيانات. لذا فإن أخذ العينات غير مطلوب.

تعديل آخر، EMSMA يضيف قطعة التقسيم. استكشاف، تعديل، تقسيم، نمذجة، وتقييم.

لماذا تضيف التقسيم؟

البيانات الضخمة لديها تنوع أكبر بمعنى أنها تمثل مجموعتين أو أكثر من السكان.

قد توجد علاقات مختلفة بين المدخلات والهدف في مجموعات سكانية مختلفة. لهذا الغرض، قد ترغب أولاً في تقسيم البيانات ثم تشغيل نموذج تنبؤي منفصل في كل قسم.

ومع ذلك، فإن هذا التعديل ليس مقبولاً عالمياً ولا دقيقاً. أخذ العينات في SEMA اختياري، ولكنه يُستخدم بشكل عام في حالة البيانات الضخمة.

يمكن لـ SAS Viya التعامل مع البيانات الضخمة، ولكن ليس من الصحيح تماماً القول بأننا لم نعد بحاجة إلى أخذ عينات. لماذا نأخذ عينات؟ البيانات الحقيقية غالباً ما تكون غير نظيفة وصاخبة بسبب التناقضات، وعدم الاكتمال، ومشاكل التكرار والدمج. يبدأ إعداد البيانات للتحليل باستكشاف البيانات. قد يكون استكشاف البيانات مستهلكاً للوقت إذا تم معالجته باستخدام جميع البيانات. لذا فإن أخذ العينات أمر لا مفر منه. بعد اكتساب معرفة عميقة بالمتغيرات باستخدام الطرق الرسومية والعددية، ربما يمكنك فتح البوابات. دع البيانات الكاملة تتدفق وطور نموذجك النهائي المدرب بعمق. في عالم البيانات الضخمة، يعتبر أخذ العينات في الواقع ممارسة مثلى عندما يتعلق الأمر بالتعلم السريع واكتساب الرؤى. وهذا يؤدي إلى أساليب النمذجة حيث يكون أخذ العينات اختيارياً.

SEMA، أخذ عينة، استكشاف، تعديل، نمذجة، تقييم، وSEMSMA، أخذ عينة، استكشاف، تعديل، تقسيم، نمذجة، تقييم.

الإحصاء هو أحد أعمدة تعلم الآلة. لا يمكنك تطوير فهم عميق وتطبيق فعّال لتعلم الآلة بدون الإحصاء.

دعونا نناقش بعض الخطوات النموذجية التي تُستخدم فيها الأساليب الإحصائية في عملية تعلم الآلة التطبيقية.

صياغة المشكلة تتطلب استخدام تحليل البيانات الاستكشافي والتنقيب عن البيانات. فهم البيانات يتطلب استخدام الإحصاءات الوصفية وتصوير البيانات. تنظيف البيانات يتطلب استخدام كشف القيم الشاذة، والتعويض، والتصوير البياني.

اختيار البيانات يتطلب استخدام طرق أخذ العينات واختيار الميزات. تجهيز البيانات يتطلب استخدام تحويلات البيانات، والتقييس، والترميز، وغير ذلك الكثير.

تقييم النموذج يتطلب تصميم التجارب وطرق إعادة أخذ العينات حتى يكون لديك البيانات الصحيحة للإجابة بفعالية على أسئلتك التحليلية. اختيار النموذج يتطلب استخدام اختبارات الفرضيات الإحصائية وإحصاءات التقدير. عرض النموذج يتطلب استخدام إحصاءات التقدير مثل فترات الثقة. التنبؤ بالنموذج يتطلب استخدام إحصاءات التقدير مثل فترات التنبؤ. يناقش جيسون براونلي هذه المواضيع بالتفصيل في كتابه "الأساليب الإحصائية لتعلم الآلة".

عندما يتعلق الأمر باستخدام البيانات، هناك معسكران رئيسيان: الإحصاء التقليدي وتعلم الآلة.

الفرق الرئيسي بينهما هو الغرض منهما. النماذج الإحصائية مصممة للاستدلال حول العلاقات بين المتغيرات.

نماذج تعلم الآلة مصممة لتحقيق أدق التنبؤات الممكنة.

أنت تعلم بالفعل أن هذين النهجين يكملان بعضهما البعض عندما يتعلق الأمر بتحليل البيانات. الإحصاء والتعلم الإحصائي هما منظور رياضي لنمذجة البيانات مع التركيز على نماذج البيانات وجودة المطابقة. تعلم الآلة والنمذجة التنبؤية هما منظور علوم الحاسوب لنمذجة البيانات مع التركيز على الأساليب الخوارزمية ومهارات النماذج. مثل هذا الإحصاء التقليدي مدفوع بشكل أساسي بإثبات أن عاملاً ما يسبب عاملاً آخر، على سبيل المثال، التجارب السريرية.

الفهم يأتي أولاً، والتنبؤ يأتي أخيراً.

في تعلم الآلة والتنقيب عن البيانات، غالباً ما يكون الترتيب معكوساً. التنبؤ هو الأهم.

تم تطوير التقنيات الإحصائية التقليدية في الغالب في زمن لم تكن فيه القدرة الحاسوبية متاحة.

ونتيجة لذلك، يعتمد الإحصاء التقليدي بشكل كبير على عينات صغيرة وافتراضات قوية حول البيانات وتوزيعاتها. وعلى النقيض من ذلك، فإن تقنيات تعلم الآلة ونهجها تعتمد تاريخياً بشكل كبير على القدرة الحاسوبية.

TopicTitle

	Traditional Statistics	Machine Learning
Philosophies	Classical (frequentist) and Bayesian philosophies compete.	No settled philosophy or widely accepted theoretical framework
Goal	Summarize and infer data	Learn from data
Motivation order	Causality > Understanding > Prediction	Prediction > Understanding > Causality
Problem solving	Problems that are less complex	Problems that are more complex
Computing power	Limited use of computing resources	Heavy use of computing resources
Data culture	Promotes data reduction as much as possible before modeling	Promotes a culture of abundance: "the more data, the better"
Data distributions	Tight assumptions	No rigid pre-assumptions
Variables	Often requires independent and a smaller number of predictors.	Redundancy in variables is tolerable and handles large number of predictors.
Modeling culture	Data modeling culture; generally white-box modeling	Algorithmic modeling culture; mostly black-box modeling
Approach	Conservative – avoid heuristics in search of an "optimal" solution	Liberal – do not avoid using heuristics in search of a "good" solution
Modeler's role	Emphasis on use of human judgement assisted by plots and diagnostics	Emphasis on automatic methods with little or no human intervention
Generalization	Pursued using statistical tests on the training data set	Pursued empirically through training, validation and test data sets

قد يكون للمصطلحات التحليلية معانٍ مختلفة في سياقات مختلفة. تحديدًا، الإحصاء مقابل تعلم الآلة، ML.

هناك العديد من الكلمات لنفس الشيء، وقد يكون للكلمة الواحدة معانٍ مختلفة لمستخدمين مختلفين. على سبيل المثال، قد يقول الإحصائي: ما كل هذه المصطلحات الجديدة والمربكة؟ وبالمثل، قد يشعر عالم البيانات: ما كل هذه المصطلحات القديمة والبالية والمربكة؟

تأكد دائمًا من توضيح جمهورك بأنهم يستخدمون نفس التعريف الذي تستخدمه أنت، وأن الجميع يفهم المصطلحات المستخدمة.

فكر في مجموعة بيانات بسيطة تحتوي على معلومات عن العمر، الجنس، ساعات العمل في الأسبوع، والدخل.

مجموعة البيانات هي جدول من البيانات تتعلم منه الآلة.

دعونا نتعرف على المصطلحات التحليلية الأساسية ونرى بعض أمثلة المرادفات.

تُعرض المصطلحات الإحصائية في مربعات صفراء، ومصطلحات تعلم الآلة المكافئة تُعرض في مربع أزرق فاتح.

العناصر هي الكيانات التي يتم جمع أو استخراج البيانات عنها.

في مصطلحات تعلم الآلة، تُسمى الحالات أو الكائنات.

جون، سميث، وإيما هم حالات هنا.

مجموعة القياسات التي تم جمعها أو استخراجها لعنصر معين تُسمى ملاحظة، أو سجل، أو نقطة بيانات.

وبسبب تنسيق الجداول التحليلية، يُطلق عليها أحيانًا صف.

في مصطلحات تعلم الآلة، تُعرف باسم عينة أو مثال. الصف المظلل هنا هو عينة.

المتغير هو خاصية محل اهتمام للعنصر.

وبسبب تنسيق الجداول التحليلية، يُطلق عليها أحيانًا أعمدة.

إجمالي عدد القيم في مجموعة البيانات يساوي عدد العناصر مضروبًا في عدد المتغيرات.

وبالمثل، السمة أو الحقل هو جانب من جوانب العينة.

على سبيل المثال، العمر، الجنس، ساعات العمل في الأسبوع، والدخل هي متغيرات.

غالبًا ما تُسمى السمات بالميزات في تعلم الآلة.

المتغير التابع يُسمى بهذا الاسم لأنه في التجربة تُدرس قيمه بافتراض أنها تعتمد على قيم متغيرات أخرى. على سبيل المثال، مقدار ما تكسبه يعتمد على عمرك وساعات عملك في الأسبوع.

في المصطلحات الإحصائية التقليدية، يُعرف بالناتج أو الاستجابة.

يُسمى أحيانًا المتغير الذي يجب التنبؤ بقيمته.

في مصطلحات تعلم الآلة، يُسمى ببساطة الهدف أو الناتج.

في حالة الهدف الفئوي، يمكن أن يُسمى تسمية. نادرًا ما يُسمى بقيمة التدريب في علم البيانات.

أما المتغيرات المستقلة، فلا يُنظر إليها على أنها تعتمد على أي متغير آخر في نطاق التجربة المعنية.

المتغيرات المستقلة هي متغيرات قائمة بذاتها، ولديك سيطرة كاملة على اختيار المتغيرات المستقلة التي تختارها.

خلال التجربة، عادةً ما تختار المتغيرات المستقلة التي تعتقد أنها ستؤثر على المتغير التابع.

على سبيل المثال، قد يؤثر العمر وساعات العمل في الأسبوع على الدخل، لكن الجنس لا يؤثر.

في المصطلحات الإحصائية التقليدية، تُعرف بمتغيرات الشرح أو المتنبئات أو المنحدرات أو المتغيرات المشتركة.

في مصطلحات تعلم الآلة، تُسمى ببساطة...

في هذا المثال، متغير الجنس يختلف نوعًا ما عن متغيرات العمر، ساعات العمل في الأسبوع، والدخل.

الجنس ليس له قيم كسريّة. بل يلاحظ فقط ثلاث قيم: ذكر، أنثى، وآخرون. تُسمى هذه الفئات أو المجموعات في المصطلحات الإحصائية، أو الأصناف أو المستويات في عالم تعلم الآلة.

سيتم مناقشة الفرق بين المتغيرات المستمرة والمتغيرات الفئوية بعد ذلك.

Question

Which of the following pairs of terms define the highlighted part in the data table? (Select all that apply.)

Company	Stock Exchange	Annual Sales ($M)	Earning per Share ($)
MedTech	AMEX	84.20	0.33
EnergyWest	NYSE	372.85	1.89
DataDig	BSE	74.65	2.10
...	...	...	...

Correct.
The highlighted row - a set of measurements collected or extracted for EnergyWest company - is an observation or a record. In machine learning terminology, it is known as an instance or an example. Note that the terms in a are equivalent for the outcome variable or the dependent variable. The terms in c are equivalent for the independent variable also known as explanatory variable.

Incorrect.
The correct answer is b and d. The highlighted row - a set of measurements collected or extracted for EnergyWest company - is an observation or a record. In machine learning terminology, it is known as an instance or an example. Note that the terms in a are equivalent for the outcome variable or the dependent variable. The terms in c are equivalent for the independent variable also known as explanatory variable.

Question

Which of the following pairs of terms define the highlighted part in the data table? (Select all that apply.)

Company	Stock Exchange	Annual Sales ($M)	Earning per Share ($)
MedTech	AMEX	84.20	0.33
EnergyWest	NYSE	372.85	1.89
DataDig	BSE	74.65	2.10
...	...	...	...

Correct.
The highlighted column is a variable or a characteristic of interest. Similarly, an attribute is an aspect of an instance. Attributes are often called features in machine learning. Note that the terms in b and c are equivalent. They are used to represent the variable values that have observed values rather than fractional values. Examples are the Stock Exchange values of AMEX, NYSE, BSE, and so on. They are called categories or groups in statistical terminology or classes or levels in the machine learning world.

Incorrect.
The correct answer is a and d. The highlighted column is a variable or a characteristic of interest. Similarly, an attribute is an aspect of an instance. Attributes are often called features in machine learning. Note that the terms in b and c are equivalent. They are used to represent the variable values that have observed values rather than fractional values. Examples are the Stock Exchange values of AMEX, NYSE, BSE, and so on. They are called categories or groups in statistical terminology or classes or levels in the machine learning world.

تأتي البيانات بأنواع مختلفة. على سبيل المثال، فكر في بيع المنازل السكنية الفردية.

سيهتم المشتري بسعر البيع الدقيق بالدولار.

لذا فإن متغير سعر البيع سيكون له العديد من القيم المختلفة بالدولار. من ناحية أخرى، قد يهتم الوسيط العقاري بالنظر إلى المتغير بطريقة مختلفة.

يتلقى الوسطاء العقاريون نسبة مئوية قياسية من العمولة على مبيعات المنازل إذا كان سعر البيع يزيد عن مبلغ معين بالدولار.

وبالتالي، يتحول نفس المتغير إلى ثنائي، حيث يلاحظ فقط قيمتين: مؤهل للحصول على مكافأة أو غير مؤهل، وذلك اعتماداً على سعر البيع بالدولار. هناك مجموعة متنوعة من الأساليب الإحصائية لتحليل البيانات.

لاختيار الطريقة المناسبة، يجب عليك تحديد نوع ومستوى القياس لمتغيراتك. التمييز الأساسي هو بين البيانات المستمرة والبيانات الفئوية، والذي له تأثير كبير على أنواع الإحصاءات التي يمكن استخدامها.

المتغيرات الفئوية هي متغيرات تمثل التجميع.

المتغيرات الفئوية تعرف أيضاً بالمتغيرات المنفصلة أو النوعية.

يمكن تخزين المتغيرات الفئوية كقيم رقمية أو غير رقمية في برنامج SAS.

يمكن تصنيف المتغيرات الفئوية أيضاً إلى ثنائية أو اسمية أو ترتيبية.

المتغيرات المستمرة يمكن أن تأخذ عدداً لا نهائياً من القيم الممكنة بين رقمين، والمسافات النسبية بين القيم لها معنى.

مثال على المتغير المستمر هو العمر. لا يوجد تقييد على عدد القيم بين 22 و23. يمكنك أن يكون لديك عمر 22.45 أو 22.98 سنة. يمكن أن يكون المتغير مستمراً حتى لو كان نظام القياس لديك بفاصل محدود. على سبيل المثال، عادةً ما نبلغ عن العمر كـ 22 سنة، 23 سنة، وهكذا.

بعض المتغيرات الرقمية ليست مستمرة. وتشمل هذه المتغيرات مثل العدّ، التي يمكن أن تأخذ فقط قيم محددة، مثل الأعداد الصحيحة.

في العديد من التطبيقات الإحصائية، يمكن تطبيق طرق البيانات المستمرة على هذه المتغيرات أيضاً، بشرط وجود العديد من القيم المنفصلة. المتغيرات المستمرة يمكن أن تكون إما بمستوى نسبة أو بمستوى فاصل.

افترض أن لديك مشروباً معيناً، مثل كوب من الصودا. باستخدام هذا كمثال مادي، يمكننا وصف ما هو الثنائي، الاسمي، الترتيبي، الفاصل، ومقاييس النسبة. المتغيرات الثنائية هي متغيرات تأخذ قيمتين فقط. على سبيل المثال، هل لديك مشروب أم لا؟ العديد من المتغيرات والأسئلة بطبيعتها ثنائية، ولكن غالباً ما يكون من المفيد بناء متغيرات ثنائية من أنواع أخرى من البيانات. البيانات على مقياس اسمي تمثل مجموعة من الفئات التي تختلف في بعض الخصائص التي لا يجب أن يكون لها مقدار قابل للقياس.

الملاحظات على مقياس اسمي تصنف في واحدة من عدة فئات غير متداخلة، وتسمى أيضاً مستويات المتغير.

المتغيرات الاسمية لها قيم بدون ترتيب منطقي. في هذا المثال، نوع المشروب هو متغير اسمي، حتى لو تم تعيين قيم رقمية للفئات. المتغيرات الترتيبية لها قيم بترتيب منطقي. ومع ذلك، المسافة النسبية بين تلك القيم غير واضحة. في هذا المثال، حجم المشروب هو متغير ترتيبي.

تعيين المستويات للفئات، صغير، متوسط، كبير، ينقل معلومات عن الحجم النسبي للمشروبات، ولكن ليس معلومات دقيقة عن الفرق الكمي.

على سبيل المثال، هذا المقياس لا يشير إلى أن الحجم الصغير هو نصف حجم الحجم المتوسط، ولا أن الفرق بين الحجم الصغير والمتوسط هو نفسه الفرق بين الحجم المتوسط والكبير.

مقاييس الفاصل ليس لها نقطة صفر حقيقية.

على سبيل المثال، درجة حرارة المشروب.

درجة مئوية لا تعني غياب الحرارة. تسمى مقاييس الفاصل بهذا الاسم لأنه عندما يختلف قياسان بعامل إضافي D، يقال إن الأكبر أعلى بـ D وحدات عن الأصغر. على سبيل المثال، إذا كانت درجة حرارة مشروبك 40 درجة فهرنهايت، ودرجة حرارة مشروب آخر 30 درجة، فإن مشروبك أكثر دفئاً بـ 10 درجات. ولكن سيكون من غير الدقيق القول إن مشروبك أكثر سخونة بنسبة 25%. أما بالنسبة للبيانات على مقياس النسبة.

الفرق بين الحجم بالملليلتر ودرجة الحرارة بالفهرنهايت هو أن مقياس الفهرنهايت له صفر اعتباطي عند حوالي درجات مئوية سالبة، تماماً كما أن مقياس السلسيوس له صفر اعتباطي عند 32 درجة فهرنهايت. مقاييس النسبة لها نقطة صفر حقيقية. على سبيل المثال، حجم البرميل.

صفر ملليلتر يعني غياب المشروب.

تختلف متغيرات النسبة عن متغيرات الفاصل في وجود نقطة صفر حقيقية.

هذه النقطة الصفرية تسمح بحساب النسب. تسمى مقاييس النسبة بهذا الاسم لأنه عندما يختلف قياسان بعامل مضاعف r، يقال إن إحدى القيم أكبر أو أصغر بـ r مرات من الأخرى.

على سبيل المثال، إذا كان حجم المشروب 100 ملليلتر ثم أضفت إليه 50 ملليلتر إضافية، يمكنك القول إن الحجم زاد بنسبة 50%. عامل النسبة هو R، وهو 1.5.

وبالمثل، الزيادة من 100 ملليلتر إلى 200 ملليلتر تمثل مضاعفة الحجم.

في برنامج SAS، لا يتم التمييز بين متغيرات النسبة ومتغيرات الفاصل، لأن الأساليب التحليلية المستخدمة لهما هي نفسها.

Question

Which of the following represents a nominal measurement scale?

Correct.
Rank of winners = ordinal. Performance rating on a 0-10 scale = interval. Time to finish in seconds = ratio.

Incorrect.
The correct answer is a. Rank of winners = ordinal. Performance rating on a 0-10 scale = interval. Time to finish in seconds = ratio.

قد تكون على دراية بالعبارة الشهيرة: "جميع النماذج خاطئة، لكن بعضها مفيد"، والتي تُنسب إلى جورج بوكس. حسنًا، في عصر البيانات الوفيرة للغاية، لسنا مضطرين للاكتفاء بنماذج خاطئة. دعونا نبدأ مناقشتنا حول النمذجة بنظرة عامة على المصطلحات الشائعة في هذا المجال.

تبدأ النمذجة بمجموعة من بيانات التحليل، تُسمى بيانات التدريب.

تُعرف الملاحظات في مجموعة بيانات التدريب بحالات التدريب أو ببساطة الحالات.

تُسمى المتغيرات بالمدخلات والأهداف. ويمكن أن تختلف مقاييس القياس للمدخلات والهدف.

يمكن أن تكون المدخلات والهدف متغيرات رقمية، مثل العمر، وساعات العمل الأسبوعية، والدخل. ويمكن أن تكون متغيرات اسمية، مثل الجنس. الغرض من بيانات التحليل هو إنشاء نموذج. النموذج هو تمثيل موجز للعلاقة بين المدخلات ومتغير الهدف.

على سبيل المثال، قد ترغب في إنشاء نموذج لشرح التباين في الدخل باستخدام العمر والجنس وساعات العمل الأسبوعية. أو قد ترغب في التنبؤ بالدخل باستخدام هذه الميزات.

وبذلك، يُعد النموذج تجسيدًا رسميًا لنظرية ما، وعادةً ما يُحدد كعلاقة رياضية لتقريب الواقع. يحتفظ النموذج بتمثيل لعلاقة المدخلات بالمخرجات في العديد من الأطر.

قد يكون معادلة رياضية تتضمن تقديرات للمعاملات في نموذج الانحدار التقليدي، أو معادلة رياضية أكثر تعقيدًا تتضمن أوزانًا وانحيازات في نموذج الشبكة العصبية.

قد يحتوي على قواعد تنبؤية معينة تمثل علاقات المدخلات بالمخرجات كما في نموذج شجرة القرار. دعونا نفهم المزيد من مصطلحات النمذجة باستخدام مثال بسيط لنموذج انحدار. غالبًا ما يُستخدم الانحدار الخطي للأهداف ذات مقياس القياس الفتري مثل الدخل، كما هو موضح هنا بمدخلين: العمر وساعات العمل الأسبوعية.

يتم تكوين تقدير تنبؤي لمتغير الهدف من خلال توليفة خطية للمدخلات.

يتم وزن كل مدخل بشكل مختلف لتحديد قوة الاتجاه بين كل مدخل والهدف. كما يتم تضمين وزن انحياز يحدد مركز نطاق القيمة المتوقعة للهدف.

تُسمى هذه معاملات النموذج، وهي غير معروفة. ستتعلم عن نماذج الانحدار بالتفصيل في أحد الدروس القادمة.

المهمة الأساسية في نموذج الانحدار هي الحصول على تقديرات للمعاملات.

عادةً ما يمثل الإحصائيون تقديرات المعاملات باستخدام رمز القبعة.

يتم اختيار التقديرات المثلى من خلال تحسين معيار تقدير يُمثل رياضيًا.

في المصطلحات الإحصائية التقليدية، تُسمى هذه العملية بالتقدير. وفي عالم تعلم الآلة الحديث، تُسمى التعلم. الخلاصة هي أن المعاملات تُقدّر أو تُتعلم لتحسين دالة رياضية.

تُسمى الدالة التي ترغب في تحسينها دالة الهدف أو معيار التقدير. بعد تقدير المعاملات، يمكن توليد القيم المتوقعة على بيانات التحليل، مثل الدخل المتوقع.

الفرق بين القيم المرصودة والمتوقعة للبيانات يُسمى البواقي في النماذج الإحصائية أو نماذج تعلم الآلة.

وهي مقياس تشخيصي يُستخدم عند تقييم جودة النموذج. وتُعرف أيضًا بالأخطاء.

في جوهرها، معيار التقدير أو مقياس التعلم بسيط للغاية. إنه طريقة لتقييم مدى جودة نموذجك في تمثيل مجموعة البيانات الخاصة بك. على سبيل المثال، في نموذج الانحدار الخطي، يتم اختيار تقديرات المعاملات لتقليل الخطأ التربيعي بين القيم المتوقعة والمرصودة للهدف.

تُسمى هذه الطريقة تقدير المربعات الصغرى.

يمكن اعتبار التقديرات التنبؤية تقريبًا خطيًا للقيمة المتوقعة المتوسطة للهدف المشروط بقيمة المدخل المرصودة.

توفيق نموذج للبيانات يعني اختيار نموذج إحصائي يتنبأ بقيم قريبة قدر الإمكان من القيم المرصودة في مجتمعك.

في عالم تعلم الآلة، يُعرف تحديد أفضل نموذج ملائم أيضًا بتدريب النموذج.

على سبيل المثال، يمكن إنشاء عدة نماذج انحدار مع مجموعات متعددة من المتغيرات المدخلة.

الغرض من تدريب النموذج هو بناء أفضل تمثيل رياضي للعلاقة بين المدخلات والهدف.

أثناء إجراء مثل هذا التحليل الإحصائي، من المهم جدًا التأكد من جودة ملاءمة النموذج المستخدم.

للقيام بذلك، هناك إحصاءات ملاءمة مختلفة يمكنك استخدامها، مثل R-square، معامل التحديد.

تُسمى الإحصاءات عمومًا مقاييس التقييم في مصطلحات تعلم الآلة.

عندما يتم تحديد أفضل نموذج ملائم، يمكن توليد التنبؤات. تُسمى مخرجات النموذج التنبؤي بالتنبؤات. التنبؤات تمثل أفضل تخمين لك للهدف بناءً على مجموعة من القياسات المدخلة.

تعتمد التنبؤات على العلاقات التي تعلمها النموذج التنبؤي من بيانات التدريب.

تُسمى التنبؤات عمومًا الدرجات في مصطلحات تعلم الآلة.

Question

Which of the following defines the analytical term model?

Correct.
A model is a concise representation of the relationship between the inputs and the target variables. Option a is the definition of estimation/learning. Option b is the definition of estimation criterion. Option d is irrelevant in analytical vocabulary.

Incorrect.
The correct answer is c. A model is a concise representation of the relationship between the inputs and the target variables. Option a is the definition of estimation/learning. Option b is the definition of estimation criterion. Option d is irrelevant in analytical vocabulary.

SAS Viya هو أحدث تطوير لـ SAS، وهو منصة تحليل وإدارة بيانات جاهزة للسحابة. يتيح الوصول إلى معالجة البيانات عبر الويب بشكل قابل للتوسع لتلبية احتياجاتك.

يقدم SAS Viya عدة منتجات تسهل تنفيذ المهام بشكل متوازٍ. معظم الحواسيب يمكنها تنفيذ العمليات بشكل متوازي بفضل بنيتها متعددة النوى. تنفيذ أكثر من عملية في الوقت نفسه يمكن أن يسرّع معظم المهام وله العديد من الاستخدامات العملية في مجال علم البيانات.

البيانات الضخمة تتطلب تقنيات متقدمة لإدارة البيانات والتحليلات المتطورة. يمكنك تنظيم رحلتك التحليلية بالكامل من البيانات إلى النتائج الملموسة عبر منصة تحليلات قوية.

جوهر SAS هو دورة حياة التحليلات. المراحل الثلاث لدورة حياة التحليلات هي البيانات، الاكتشاف، والنشر.

البيانات هي أساس كل ما تفعله. الاكتشاف هو عملية إيجاد شيء لم تكن تعرفه من قبل. أما النشر فهو المرحلة التي تحقق فيها القيمة من التحليلات.

يتضمن SAS Viya عدة خوادم لتنفيذ كود SAS. الخادمان الرئيسيان هما SAS Compute Server وSAS Cloud Analytic Services أو CAS. يمكنك اعتبار SAS Compute Server معادلاً لـ SAS 9 Workspace Server.

يمكنك إرسال برامج SAS 9 المألوفة لديك كما هي إلى SAS Viya، وبشكل افتراضي ستعمل على خادم الحوسبة. ليست هناك حاجة لتعلم صياغة جديدة لاستخدام خادم الحوسبة.

خدمات التحليلات السحابية من SAS (CAS) هي الخادم عالي الأداء الذي ينفذ المعالجة المتوازية على البيانات الموجودة في الذاكرة. من المرجح أنك ستستخدم CAS لتحليل البيانات الضخمة والتحليلات المعقدة. غالبًا ما تتطلب البرامج تعديلات طفيفة جدًا في الكود لتعمل على CAS.

TopicTitle

At the heart of SAS Viya, is SAS Cloud Analytic Services, or CAS. CAS is a high-performance server that provides the run-time environment for data management and analytics.

Many of the tools that SAS offers to facilitate parallel task execution rely on the asynchronous action execution framework provided by CAS. Others rely on distributing calculations to individual worker nodes. Within CAS, there are tools that handle parallel execution automatically for you, as most CAS actions employ some form of parallel processing. There are also tools that enable you to write your own parallel task execution frameworks.

CAS Sessions

When you sign in to SAS Studio in SAS Viya, SAS creates a single session with the workspace server. You use the workspace server as you did in SAS 9 or in other prior SAS releases. To use CAS, you explicitly start a session with the CAS server.

When you create a session, the server first authenticates your identity. If your identity is successfully authenticated, the server starts the session controller process. That process sends a message to each machine in the cluster to start a session process for your client.

You use the CAS statement to create a session. Add the CAS statement to your program either by entering the statement or by using the SAS Studio code snippet New CAS Session.

(See Text Version for Image)

CAS is designed to run in a single-machine symmetric multiprocessing (SMP) or multi-machine massively parallel processing (MPP) configuration, supporting multiple platform and infrastructure configurations.

In the single-machine configuration, all processing is completed on one node. The multi-machine configuration, however, consists of one controller and one or more worker nodes, and it provides optimal processing capabilities.

When performing analytics, CAS efficiently spreads big data processing across all nodes in the cluster, which results in very fast operations.

In addition, CAS has a communications layer that supports fault tolerance, meaning it can continue processing requests even after losing connectivity to some nodes. It does this by distributing work to other nodes. This communications layer also enables you to dynamically delete and add nodes to the system while the server is running.

SAS Viya Architecture

(See Text Version for Image)

Here are some of the basic areas where SAS 9 and SAS Viya differ:

Front Ends

In the SAS 9 environment, there are different front-end technologies. This includes front ends based on Java such as SAS Management Console and SAS Data Integration Studio. Other front ends such as SAS Enterprise Guide and SAS Add-In for Microsoft Office are in C (.Net) based desktop applications. In addition, there are also browser-based web applications in the SAS 9 environment. The front ends for SAS Viya have been developed from scratch as pure browser-based applications based on HTML5. There are no "fat client" desktop applications.

Processing

The processing of data in a SAS 9 environment is typically single threaded and sequential in a SAS process after reading the data from the file system or from a DBMS. Some of the SAS procedures are multi-threaded and thus achieve a significant reduction in run time. In addition to the processing of the data by the processor (or processors), the processing speed is influenced by the reading/writing of data to/from file systems.

SAS Viya is based on the in-memory engine of SAS Cloud Analytic Services and has been developed and optimized from processing to distributed processing of processes in a cluster of computers. SAS Viya action sets and actions are multi-threaded and, in combination, with the distributed processing in the in-memory engine, allow a significant reduction in processing time when processing large amounts of data.

Accessing Data and Data Sources

In a SAS 9 environment, the (pre)processing of data can be executed based on SQL in a DBMS. However, the actual execution of SAS 9 DATA and PROC steps requires the data in the SAS process. With SAS Viya, processing can be moved directly to data storage using SAS In-Database technology (SAS Data Connect Accelerator and also SAS Embedded Process). Transporting data from storage to SAS Viya processing is not always necessary. In addition to this, SAS Data Connectors exist in the SAS Viya environment to access other data sources.

Architecture: Single Machine

(See Text Version for Image)

In a single-machine architecture, the Cloud Analytic Services controller services requests and acts as the controller. The controller node performs data analysis on the rows of data that are in memory. A SAS Data Connector is used to configure connections to data sources such as existing SAS data, Teradata databases, and Hive data in Hadoop.

The single machine uses the available CPUs and threads of the system to speed up data analysis. All the in-memory analytic features of a distributed server are available to the single-machine server. Single-machine servers cannot load data into memory in parallel. CAS Server Monitor is available only in a programming-only deployment.

Architecture: Distributed Environment

(See Text Version for Image)

The distributed server consists of one controller, an optional backup controller, and one or more workers.
When a CAS server is running in massively parallel processing (MPP) mode, in addition to a controller, the CAS server also assigns multiple machines as CAS workers. The controller parcels out work to each worker node. The worker nodes perform coordinated parallel processing of the distributed data and generate results that are sent back to the controller. Each of the CAS nodes has a SAS Data Connector that provides connectivity to data sources. In addition, the SAS Data Connect Accelerator allows for embedded processes to run in data sources like Hadoop.

CAS has a communications layer that supports fault tolerance, so when CAS is running in an MPP configuration, it can continue processing requests even after losing connectivity to some nodes. This communication layer also enables you to remove or add nodes while the server is running. Also, if the CAS controller machine goes down, you can configure an optional backup controller in an MPP environment.

For both architectures, the server is multi-threaded for high-performance analytics.

SAS Cloud Analytic Services (CAS)

(See Text Version for Image)

One of the supporting services of SAS Viya is SAS Cloud Analytic Services, or CAS. CAS is an in-memory, distributed, analytics engine. It uses scalable, high-performance, multi-threaded algorithms to rapidly perform analytical processing on in-memory data of any size.

SAS Viya is open. The word "open" signifies the fact that the power of SAS to build and deploy analytics can be accessed via many programming languages—not just SAS, but also Python, R, Lua, Java, or RESTful APIs. This integration enables analytical teams with varied backgrounds and experiences to come together and solve complex problems in new ways. Integrating SAS and open-source technologies is often advantageous in two main scenarios: programmatically accessing the SAS Platform using open-source software and bringing open-source models into the SAS Platform for side-by-side comparison.

(See Text Version for Image)

SAS Viya contains microservices. A microservice is a small service that runs in its own process and communicates with a lightweight mechanism (HTTP). Microservices are a series of containers that define all the different analytic life cycle functions (sometimes described as actions) that fit together in a modular way. The in-memory engine is independent from the microservices and allows for independent scalability.

On the left side of the SAS Viya architecture graphic above, you see a series of source-based data engines.

SAS Viya has a middle tier implemented on a microservices architecture, deployed and orchestrated through the industry standard cloud Platform as a Service, Cloud Foundry. Through Cloud Foundry, SAS Viya can be deployed, managed, monitored, scaled, and updated. Cloud Foundry enables SAS Viya to support multiple-cloud infrastructure, enabling customers to deploy SAS in a hybrid cloud environment that spans multiple clouds, including the combination of on-premises cloud infrastructure and public cloud infrastructure.

You can choose to use other platforms such as Docker and the open container initiative. You can operate on a private infrastructure such as openstack and vmware or an open infrastructure such as Amazon Web Services and Azure.

Existing SAS solutions and new ones are being built in SAS Viya. In addition, you can use REST APIs to include SAS Viya actions into your existing applications.

يتكون DAS Viya من العديد من التطبيقات المختلفة التي تتيح لك الاستفادة من خدمة CAS القوية.

نقطة الدخول إلى SAS Viya هي SAS Landing، وهي واجهة تعاونية للوصول إلى المحتوى وتنظيمه ومشاركته. هذا التطبيق هو البوابة إلى جميع التطبيقات الأخرى في Viya. تركيزنا في هذا المقرر سيكون على SAS Studio. يعد SAS Studio واجهة تطوير قائمة على الويب توفر طرقًا متعددة للعمل مع كود SAS. الطريقة التقليدية هي استخدام محرر البرامج لكتابة كود SAS وتطوير برامج SAS. وهناك طريقة أخرى وهي استخدام خطوات جاهزة تعتمد على النقر والإشارة، والتي تولد كود SAS لمهام مثل الوصول إلى البيانات أو تحليلها أو تحويلها أو تصورها. يتم ربط هذه الخطوات في مخطط انسيابي ديناميكي، مما يتيح لك تصور عملية تحويل البيانات الخاصة بك.

فيما يلي مثال على سير العمل. يمكن إنشاء سير عمل جديد باستخدام علامة الجمع الموجودة على يمين علامة التبويب المفتوحة أو من خلال قائمة "جديد" في أعلى يسار SAS Studio. سير العمل هو تسلسل من العمليات على البيانات. يتم تمثيل البيانات والعمليات في SAS Studio من خلال خطوات يمكن إضافتها إلى سير العمل عن طريق توسيع قائمة الخطوات في جزء التنقل على اليسار والنقر المزدوج على الخطوات الفردية. ستظهر الخطوات كعُقد في منطقة قماش سير العمل في وسط علامة تبويب "Open Flow". سير العمل الحالي يحتوي على عقدتين: عقدة جدول تحمل اسم PVA donors متصلة بعقدة بيانات قائمة. يمكن ضبط الخيارات لكل عقدة في منطقة تفاصيل العقدة من خلال واجهة النقر والإشارة. يمكن تصغير التفاصيل وتكبيرها باستخدام الأزرار الموجودة في أعلى يمين جزء التفاصيل.

سيتم عرض مزيد من المعلومات حول بناء وتنفيذ تدفقات SAS Studio في عروض المقرر التوضيحية.

يتم تنظيم خطوات سير العمل في فئات بناءً على المهمة المطلوبة من المستخدم. تتوفر خطوات محددة للعمل مع بيانات الإدخال أو الإخراج، وتطوير الكود، وتحويل البيانات، ودمج البيانات، وتوليد الإحصاءات، وإدارة النماذج، وإثراء البيانات، والعمل مع الاقتصاد القياسي، وتحسين جودة البيانات، وتصور البيانات، وإدارة تعلم الآلة، وإجراء التحسين والتحليل الشبكي، وتحضير البيانات، وفحص البيانات، وتنفيذ مراقبة العمليات الإحصائية، أو إكمال تحليلات النصوص. بالإضافة إلى ذلك، يوفر SAS Studio واجهة منفصلة للمستخدمين لتصميم خطوات مخصصة بالكامل بناءً على احتياجات أعمالهم. سيتم استخدام الخطوات ضمن الفئات المميزة بنجمة لبناء تدفقات العمل طوال هذا المقرر.

Question

SAS Viya is a cloud-ready analytics and data management platform that facilitates parallel task execution.

Correct.
SAS Viya is the latest enhancement of SAS, which is a cloud-ready analytics and data management platform. SAS Viya offers several products that facilitate parallel task execution.

Incorrect.
The correct answer is a. SAS Viya is the latest enhancement of SAS, which is a cloud-ready analytics and data management platform. SAS Viya offers several products that facilitate parallel task execution.

TopicTitle

What have you learned?

There are different types of data: experimental, opportunistic, and big data.
Each type of data is analyzed differently, using statistics, data mining, and machine learning.
Machine learning and deep learning are subfields of artificial intelligence, and deep learning is a specific field of machine learning.
Big data produced smart applications, such as computer vision, natural language processing, and internet of things.
Machine learning uses many statistics and data mining concepts and methods.
In the use of statistical modeling to reach conclusions from data, there are two cultures: the data modeling culture and the algorithmic modeling culture.
Sampling might or might not be needed for modeling big data (SEMMA > EMMA, EMSMA, sEMMA, sEMSMA).
There are equivalent machine learning terms for most of the statistical terminology, and they all point to the same statistical concept.
Variables come in two different types: categorical and continuous.
You must determine the type and level of measurement for your variables: binary, nominal, ordinal, interval, and ratio.
Big data demands sophisticated data management and advanced analytics techniques -- SAS Viya.
SAS Studio is an interactive development environment to jump start your data and analytics efforts.

افترض أنك مهتم بمعرفة مدى احتمال تعثر مقدم الطلب في سداد قرض بنكي. كيف يمكنك الإجابة على هذا السؤال من بياناتك؟ غالبًا ما يكون من المستحيل جمع بيانات عن جميع أفراد المجتمع، مثل كل شخص يتعثر في سداد قرض.

في هذا الدرس، ستتعلم كيفية استخلاص الاستنتاجات من عينات بياناتك عن تلك المجتمعات. نبدأ بمناقشة موجزة لعملية التحليل الإحصائي، بالإضافة إلى فرعي الإحصاء: الإحصاء الوصفي والإحصاء الاستنتاجي. في العرض التوضيحي، نبدأ باستكشاف بياناتنا والتعرف على أدوات SAS التي يمكن أن تساعدنا في الإجابة على أسئلتنا. ثم ننتقل إلى مراجعة مفاهيم الإحصاء الأساسية، مثل طرق أخذ العينات، واستخدام مقاييس الشكل مثل الالتواء والتفلطح، جنبًا إلى جنب مع مقاييس النزعة المركزية والتشتت، وتوزيع العينة للمتوسط، واختبار الفرضيات وقيم p، ومستويات الثقة. بعد مراجعة هذه المفاهيم، نطبق اختبار t لعينة واحدة على بيانات المتبرعين PVA underscore لتأكيد أو رفض الفرضية المتصورة.

تذكر الفرق بين الأساليب التقليدية للنمذجة وأساليب النمذجة للبيانات الضخمة التي ناقشناها في الدرس السابق.

على الرغم من أن SAS Viya يمكنه التعامل مع البيانات الضخمة، إلا أنه ليس من الصحيح تمامًا القول بأنه لا حاجة لأخذ عينات عند القيام بتعلم الآلة على البيانات الضخمة. تبدأ عملية إعداد بياناتك للتحليل باستكشافها. وقد يكون استكشاف البيانات مستهلكًا للوقت إذا تم معالجته باستخدام كامل البيانات.

لذا، فإن أخذ العينات أمر لا مفر منه.

المجتمع الإحصائي هو مجموعة من جميع العناصر التي يُراد الحصول على معلومات عنها.

أمثلة على المجتمعات الإحصائية هي جميع الأشخاص المصابين بمرض معين، جميع السائقين الذين لديهم مستوى معين من التأمين، أو جميع العملاء الحاليين والمحتملين في بنك ما.

لذا عندما يكون حجم المجتمع كبيرًا جدًا بحيث لا يمكن تضمين جميع الملاحظات الممكنة في الاختبار الإحصائي، يتم استخدام العينات بدلاً من ذلك. العينة هي جزء من المجتمع. يجب أن تكون العينة ممثلة للمجتمع، أي أن خصائص العينة تشبه خصائص المجتمع.

ألف عميل بنك يجيبون على استبيان هو مثال على عينة.

القياس الوصفي للمجتمع يسمى معلمة. المعلمات هي في الأساس خصائص المجتمع. ونظرًا لأن المجتمعات غالبًا لا يمكن قياسها بالكامل، فإن قيم المعلمات غالبًا ما تكون غير معروفة.

عادةً ما يتم تمثيل المعلمات بحروف يونانية. من أمثلة المعلمات متوسط المجتمع والانحراف المعياري للمجتمع.

القياس الوصفي للعينة يسمى إحصائية. عادةً ما يتم تمثيل الإحصائيات بحروف لاتينية.

من أمثلة الإحصائيات متوسط العينة والانحراف المعياري للعينة.

الإحصائيات هي كميات يتم حسابها من القيم الموجودة في العينة.

التحليل الإحصائي هو عملية جمع البيانات وتحليلها من أجل استخلاص استنتاجات ذات مغزى من البيانات الخام.

عادةً ما تبدأ بتحديد المجتمع محل الاهتمام، وغالبًا ما ترغب في تقدير قيمة معلمة معينة أو إجراء اختبارات حول هذه المعلمة. على سبيل المثال، ميو وسيغما.

ومع ذلك، فإن حساب المعلمات عادةً ما يكون إما مستحيلاً أو غير عملي بسبب الوقت والمال اللازمين لحصر المجتمع بالكامل.

في مثل هذه الحالات، تأخذ عينة عشوائية من المجتمع، وتحسب إحصاءات العينة لوصف العينة، مثل إكس بار و إس، وتستخدم معلومات العينة لاستنتاج معلومات عن المجتمع من خلال تقدير قيمة المعلمة.

الأساس في الإحصاء الاستدلالي إذًا هو القدرة على اتخاذ قرارات بشأن المعلمات دون تعداد المجتمع بأكمله.

وهذا يقودنا إلى وصف فرعي الإحصاء، الإحصاء الوصفي والإحصاء الاستدلالي.

إذا كنت تستخدم بيانات تم جمعها عن مجموعة لوصف أو استخلاص استنتاجات حول نفس المجموعة، فإن الإحصاءات هنا تسمى إحصاءات وصفية.

تُستخدم الإحصاءات الوصفية لتنظيم وتلخيص والتركيز على الخصائص الرئيسية لبياناتك. كما أن تلخيص بياناتك بهذه الطريقة يجعلها أكثر قابلية للاستخدام. هنا، إكس بار و إس هما إحصاءات وصفية.

إذا جمعت بيانات من عينة واستخدمت الإحصاءات الناتجة للوصول إلى استنتاجات حول المجتمع الذي أُخذت منه العينة، فإن الإحصاءات هنا تكون استدلالية. الإحصاءات الاستدلالية تقوم بعمل تعميمات أو استنتاجات من بياناتك إلى مجموعة بيانات أكبر بناءً على نظرية الاحتمالات. هنا، إكس بار يقدّر ميو و إس يقدّر سيغما.

Question

Sample is regarded as a subset of which of the following?

Correct.
A sample is a smaller part of the whole, that is, a subset of the population. A sample can be any fraction of the population.

Incorrect.
The correct answer is d. A sample is a smaller part of the whole, that is, a subset of the population. A sample can be any fraction of the population.

تسمى العملية المستخدمة لاستخلاص عينة من مجتمع ما بالمعاينة.

يتم تصنيف المعاينة بشكل عام إلى معاينة احتمالية ومعاينة غير احتمالية.

في المعاينة الاحتمالية، يكون لكل فرد في المجتمع فرصة ثابتة ومعروفة ليكون ضمن العينة، وهذا لا ينطبق على المعاينة غير الاحتمالية.

في هذا المقرر، نركز على أربع تقنيات أساسية للمعاينة.

المعاينة العشوائية البسيطة، المعاينة المنهجية، المعاينة الطبقية، والمعاينة العنقودية.

تعد هذه التقنيات في المعاينة مفيدة في عالم تعلم الآلة.

افترض أن لديك مجموعة مكونة من 18 عنصراً من نوعين. اللونان الرمادي والبرقوقي. تريد أن تسحب عينة من ستة عناصر.

أبسط أنواع المعاينة الاحتمالية هو المعاينة العشوائية البسيطة.

المعاينة العشوائية البسيطة هي تقنية يكون فيها لكل عنصر من عناصر المجتمع احتمال متساوٍ في أن يتم اختياره.

جميع العناصر يتم اختيارها بشكل مستقل عن بعضها البعض.

يتم اختيار ستة عناصر عشوائياً دون النظر إلى لون العنصر.

المعاينة المنهجية تتضمن اختيار العناصر من إطار معاينة مرتب.

تقرر حجم العينة n ثم تقسم إطار n من الأفراد إلى مجموعات من k أفراد حيث k تساوي n مقسومة على n. يتم اختيار نقطة بداية عشوائياً ثم يتم اختيار كل عنصر kth من المجتمع.

على سبيل المثال، هنا تم ترتيب 18 عنصراً في إطار معاينة مرتب من 6 مجموعات. كل واحدة منها بحجم 3. تم اختيار العنصر الثاني عشوائياً من الإطار الأول ثم تم اختيار كل ثالث عنصر من إطار المعاينة المرتب.

المعاينة الطبقية هي نوع من المعاينة العشوائية حيث يتم تقسيم المجتمع إلى طبقات غير متداخلة، ثم يتم اختيار عناصر عشوائياً من كل طبقة لتكوين العينة.

هنا، تم تقسيم النقاط إلى طبقتين، عناصر رمادية وعناصر برقوقية. تم اختيار ثلاثة عناصر عشوائياً من كل طبقة.

على عكس المعاينة الطبقية، تقسم المعاينة العنقودية المجتمع إلى عدة عنقودات بحيث يكون كل عنقود ممثلاً للمجتمع. ثم يتم اختيار بعض العنقودات عشوائياً لتكوين العينة.

هنا، تم تقسيم المجتمع إلى ستة عنقودات، كل منها يحتوي على عناصر رمادية وبرقوقية.

ثم تم اختيار عنقودين عشوائياً، مما أعطى عينة من ستة عناصر.

في المعاينة العنقودية، تتم المعاينة على مجتمع العنقودات. لذلك، يعتبر العنقود وحدة المعاينة.

في المعاينة الطبقية، يتم أخذ عينات من العناصر داخل كل طبقة.

المعاينة الطبقية تتسم بالتجانس داخل الطبقات ولكن بالتباين بين الطبقات، في حين أن المعاينة العنقودية تتسم بالتباين داخل العنقودات ولكن بالتجانس بين العنقودات.

TopicTitle

Probability Sampling

In probability sampling, each element in the population is given a known probability of selection. A random mechanism is used to select a specific number of objects for the sample. For example, 12 objects are randomly selected out of 36, so that every object gets an equal and fair chance of selection. Probability sampling can help ensure that the sample is representative of the population.

(See Text Version for Image)

Nonprobability Sampling

Sampling techniques used to select objects from the population by any mechanism that does not involve a random selection process is called nonprobability sampling. In nonprobability sampling, not every object of the population has a chance of being included in the sample. For example, 12 objects are selected in a square pattern because you like the square shape. Because chance is not used to select these objects for the samples, these techniques are uncommon in data mining and machine learning world and therefore not discussed in this course.

(See Text Version for Image)

Question

In FM radio markets, age of listener is an important determinant of the type of programming used by a station. If a random sample is extracted from each of the three subpopulations of listeners (below 25 years, 25-40 years, and above 40 years), what type of sampling is this?

Correct.
In stratified sampling, the population is divided into nonoverlapping subpopulations called strata. The researcher then extracts a random sample from each of the subpopulations.

Incorrect.
The correct answer is b. In stratified sampling, the population is divided into nonoverlapping subpopulations called strata. The researcher then extracts a random sample from each of the subpopulations.

نوع واحد من المعاينة الطبقية، يُسمى المعاينة القائمة على الحدث أو المعاينة المنفصلة، يُعد بالغ الأهمية في نماذج التنبؤ بالتعلم الآلي.

تخيل هدفًا ثنائيًا بفئتين تم تصنيفهما منطقيًا كأحداث، وهي النقاط البنفسجية، وغير أحداث، وهي النقاط الرمادية.

نحن مهتمون ببناء نموذج تنبؤي يركز على التنبؤ بالحدث.

ومع ذلك، الأحداث نادرة وبالتالي البيانات غير متوازنة بشكل كبير.

معظم مشكلات التعلم الآلي تتضمن أحداثًا نادرة مثل التنبؤ بالاحتيال أو تعثر القروض.

تسرب العملاء، والاستجابة للحملات التسويقية.

على سبيل المثال، معدل الحدث الفعلي هو 5%. هذا يعني أنه إذا كان هناك 100 ملاحظة في المجتمع، فقط 5 منها أحداث و95 غير أحداث.

يتم إنشاء العينات القائمة على الحدث، والمعروفة أيضًا بعينات الهدف، من خلال اعتبار الأحداث بشكل منفصل عن غير الأحداث.

هناك طبقتان، ويمكن استخدام المعاينة الطبقية القائمة على الهدف.

الممارسة الطبيعية هي بناء النماذج من عينة بنفس نسبة الأحداث الموجودة في المجتمع.

على سبيل المثال، لسحب عينة من 10 ملاحظات، يتم اختيار ملاحظة واحدة عشوائيًا من الأحداث، وتسع ملاحظات عشوائيًا من غير الأحداث.

في هذه العينة، تتفوق غير الأحداث بشكل كبير على الأحداث.

على الرغم من أن هذا النوع من العينات سيكون غير متحيز، إذا قمنا بتدريب نموذج تصنيف ثنائي دون معالجة هذه المشكلة، سيكون النموذج متحيزًا تمامًا نحو غير الحدث.

على سبيل المثال، نموذج تافه يتنبأ بأن كل حالة هي غير حدث سيكون دقيقًا بنسبة 95%.

لكن التنبؤ الدائم بغير الأحداث لا يفيد لأن اهتمامنا الأساسي هو بناء نموذج يتنبأ بالأحداث وليس غير الأحداث. الممارسة الشائعة في النمذجة التنبؤية هي بناء النماذج من عينة بنسبة أحداث مختلفة عن النسبة الحقيقية في المجتمع.

يتم ذلك عادة عندما تكون نسبة الأحداث إلى غير الأحداث صغيرة.

تستمد المعاينة المنفصلة اسمها من التقنية المستخدمة في توليد بيانات النمذجة.

أي أن العينات تُسحب بشكل منفصل بناءً على نتيجة الهدف.

هناك طريقتان لأخذ عينات قائمة على الحدث.

التقليل (undersampling) والتضخيم (oversampling)، ولكل منهما مزاياه وعيوبه.

التقليل هو حذف عينات من الفئة الأكبر.

في حالة الحدث النادر، عادةً ما يتم اختيار جميع الأحداث.

ثم، يتم مطابقة كل حدث بواحد أو أكثر من غير الأحداث. على سبيل المثال، لسحب عينة من عشر ملاحظات، يتم اختيار جميع الأحداث الخمسة. ويتم اختيار عدد مساوٍ من غير الأحداث بشكل عشوائي من غير الأحداث.

في هذه العينة، الأحداث وغير الأحداث متوازنة.

من ناحية أخرى، التضخيم هو تكرار ملاحظات الفئة الأقل للحصول على مجموعة بيانات متوازنة.

يمكنك اختيار أمثلة عشوائية من الفئة الأقل مع الإرجاع وإضافة بيانات التدريب بنسخ متعددة من هذه الملاحظة.

لذا، من الممكن اختيار ملاحظة واحدة عدة مرات.

هنا، يتم سحب عينة من 190 ملاحظة عن طريق اختيار جميع غير الأحداث وإضافة 19 نسخة من الأحداث لجعلها عينة متوازنة.

التضخيم يكرر أو ينشئ أمثلة تركيبية جديدة في الفئة الأقل.

بينما التقليل يحذف أو يدمج أمثلة في الفئة الأكبر. كلا النوعين من إعادة المعاينة يمكن أن يكون فعالًا عند استخدامه بشكل منفصل.

لاحظ أن بعض المصادر تصف التقليل بأنه تضخيم لأن الحدث محل الاهتمام يكون ممثلاً بشكل زائد في العينة.

يتم استخدام التقليل بشكل عام أكثر من التضخيم في عالم تعلم الآلة للبيانات الضخمة.

وفرة البيانات التي تم جمعها بالفعل غالبًا ما تُواجه في سيناريو البيانات الضخمة. وأسباب استخدام التقليل تكون في الغالب عملية ومرتبطة بتكاليف الموارد.

تحديدًا، بينما تحتاج إلى حجم عينة مناسب لاستخلاص استنتاجات إحصائية صحيحة، يجب تنظيف البيانات قبل استخدامها.

عادةً ما يتطلب التنظيف جهدًا ووقتًا كبيرين وبالتالي يكون مكلفًا.

لذا فإن العينات الأصغر الناتجة عن التقليل ستكون أكثر فائدة.

وعلى العكس، يُستخدم التضخيم عادةً عندما لم يتم جمع البيانات التفصيلية بعد من خلال الاستبيان أو المقابلة أو غير ذلك.

وبسبب التكلفة الهائلة لجمع مثل هذه المعلومات، يُستخدم التقليل بشكل أقل بكثير.

على الرغم من مزاياه، فإن المعاينة القائمة على الحدث، سواء كانت تضخيمًا أو تقليلاً، متحيزة من الأساس وبالتالي تُدخل بعض التعقيدات في التحليل.

أولاً، معظم إحصاءات ملاءمة النماذج، خاصة تلك المتعلقة بقرارات التنبؤ مثل معدل الخطأ في التصنيف. وبعض مخططات التقييم، مثل الرفع التراكمي، مرتبطة ارتباطًا وثيقًا بنسب النتائج في عينة التدريب.

إذا لم تتطابق نسب النتائج في عينات التدريب والتحقق مع نسب النتائج في مجتمع التقييم، يمكن أن يتم تقدير أداء النموذج بشكل خاطئ للغاية.

ثانيًا، إذا لم تتطابق نسب النتائج في عينة التدريب ومجتمع التقييم، فإن تقديرات التنبؤ بالنموذج ستكون متحيزة. ولحسن الحظ، يمكن لـ SAS Viya تعديل التقييمات وتقديرات التنبؤ لتتناسب مع مجتمع التقييم إذا قمت بتحديد احتمالات مسبقة لنسب نتائج المجتمع.

TopicTitle

The result of undersampling is a sample with fewer examples in the majority class as vast quantities of data are discarded. This can be problematic because the loss of such data can make the classifier harder to learn, resulting in a loss in classification performance. Undersampling is effective in situations in which the minority class has enough examples despite the severe imbalance.

The advantage of undersampling is that, on average, you can obtain a model of similar predictive power with a smaller overall case count. This is in concordance with the idea that the amount of information in a data set with a categorical outcome is determined not by the total number of cases in the data set itself, but instead by the number of cases in the rarest outcome category. For binary target data sets, this is usually the event (Harrell 2006). Undersampling significantly reduces analysis time. This advantage might seem of minimal importance in the age of extremely fast computers. For example, a model might fit 10 times faster with a reduced data set, but a 10-second model fit versus a 1-second model fit is probably not relevant. However, the model-fitting process occurs only after the completion of a long, tedious, and error-prone data preparation process. Smaller sample sizes for data preparation are usually welcome.

For machine learning algorithms affected by skewed distribution, such as neural networks and SVMs, oversampling is a highly effective technique. However, it might increase the likelihood of overfitting the minority class because it makes exact copies of the minority class examples, in turn resulting in an increase of generalization error. Another thing you must be aware of is the increased computational cost.

(See Text Version for Image)

Question

Both oversampling and undersampling involve introducing bias by having more cases from one class than from another, to compensate for an imbalance representation in the data.

Correct.
Undersampling and oversampling are techniques used to combat the issue of unbalanced classes in a data set. Undersampling induces bias by deleting samples from the majority class, and oversampling induces bias by duplicating samples from the minority class.

Incorrect.
The correct answer is a. Undersampling and oversampling are techniques used to combat the issue of unbalanced classes in a data set. Undersampling induces bias by deleting samples from the majority class, and oversampling induces bias by duplicating samples from the minority class.

تسعى منظمة وطنية للمحاربين القدامى إلى تحسين استهدافها لطلبات التبرع.

من خلال توجيه الطلبات فقط إلى المتبرعين الأكثر احتمالاً، يمكن للمنظمة أن تنفق أموالاً أقل على جهود الاستقطاب وتخصص المزيد من الأموال للأعمال الخيرية.

تحتوي المنظمة على قاعدة بيانات بريدية تضم 3.5 مليون فرد.

يتم تصنيف هؤلاء الأفراد بناءً على سلوكهم في الاستجابة لجهود الاستقطاب السابقة.

في الحملة الأصلية، كان معدل الاستجابة حوالي 5%. تم استخراج جدول المتبرعين PVA من حملة العام السابق وهو عينة تحتوي على 9,686 ملاحظة.

تم أخذ العينات باستخدام أسلوب العينات المعتمدة على الأحداث بحيث يوجد عدد متساوٍ من المستجيبين وغير المستجيبين.

لمزيد من التفاصيل حول هذه البيانات، راجع معجم البيانات في نظرة عامة على الدورة.

تحتوي بيانات متبرعي PVA على متغيرين مستهدفين.

المتغير الثنائي "الاستجابة" هو متغير تصنيفي له مستويان.

نعم ولا.

المتغير المستهدف الفتري donationAMT هو قيمة تمثل مبلغ الدولار الذي يتبرع به الفرد وترتبط بالأشخاص الذين استجابوا للحملة.

بالإضافة إلى القياسات المستهدفة، تتوفر العديد من القياسات التصنيفية والمتصلة الأخرى.

يمكن تقسيم المدخلات إلى أربع مجموعات.

توفر المدخلات الديموغرافية خصائص ديموغرافية عن المتبرعين وأحيائهم.

تلخص مدخلات GIF تاريخ التبرعات السابقة، وتوفر معلومات حول تكرار وحجم وحداثة التبرعات السابقة.

تصف مدخلة الترويج تكرار طلبات الاستقطاب السابقة.

تصنف متغيرات الحالة الأفراد إلى مجموعات بناءً على مقاييس الحداثة والتكرار.

لنأخذ لحظة لنلقي نظرة على أهداف التحليل لهذه الدورة.

في الدرس الثاني، نصف البيانات ونستكشف العلاقات المتوقعة، والاتجاهات غير المتوقعة، والشذوذات من أجل اكتساب الفهم والأفكار.

بعد ذلك نختبر ما إذا كان متوسط مبلغ التبرع هو 100 دولار.

في الدرس الثالث، نحدد ما إذا كان من الممكن أن تساعد المدخلات الديموغرافية، والهدايا، والعروض الترويجية، والحالة في تفسير مبالغ التبرعات من الحملة السابقة.

في الدرس الرابع، نستخدم استجابات المتبرعين المنقطعين من حملة سابقة للتنبؤ باستجابات المتبرعين المنقطعين في المستقبل.

وأخيراً، في الدرس الخامس، نقوم بتشغيل خوارزمية تعلم آلي مع بعض معالجات البيانات المسبقة الموسومة.

في الدرس السابق، قام بتحميل جميع بيانات الدورة إلى الذاكرة.

في هذا العرض التوضيحي، ستستخدم تدفق SAS Studio لعرض أول 10 ملاحظات في مجموعة بيانات متبرعي PVA.

إذا قمت بإعادة تشغيل جلسة SAS الخاصة بك، أو انتهت صلاحيتها بسبب عدم النشاط، يجب عليك إعادة إنشاء مكتبة دورة VST.

للقيام بذلك، فقط قم بتشغيل AssignLibrary

في منطقة العمل، انقر على علامة الزائد بجوار علامات التبويب المفتوحة لإنشاء علامة تبويب جديدة.

من قائمة الخيارات المنسدلة، اختر Flow.

من هنا، انتقل إلى قائمة Steps.

تحت قسم البيانات والإدخال والإخراج، انقر نقرًا مزدوجًا على عقدة الجدول.

انقر على الجدول.

ثم تحت خصائص الجدول، انقر على أيقونة خزانة الملفات.

VST ومتبرعو PVA.

تحت خطوات SAS في قائمة الخطوات، قم بتوسيع Examine Data، ثم انقر نقرًا مزدوجًا على List Data.

قم بتوصيل عقدة PVA Donors بعقدة ListData.

مرة أخرى، حرّك الفأرة إلى الجانب الأيمن من عقدة PVA Donors، ثم انقر واسحب سهمًا إلى منفذ الإدخال لعقدة ListData.

يمكنك النقر على Arrange Nodes لترتيب العقد بصريًا في منطقة العمل الخاصة بك.

انقر على عقدة list data.

ثم انقر على علامة تبويب Options.

قم بالتمرير لأسفل إلى حقل Rows to List، واستخدم السهم المنسدل لاختيار First N Rows.

اترك القيمة الافتراضية المحددة وهي 10 صفوف.

استخدم زر الحفظ لحفظ التدفق في مجلد VST باسم ExplorePVA.

انقر على Run لتشغيل التدفق.

انقر على Submitted Code and Results، ثم على Results.

يمكننا رؤية قائمة بأول 10 ملاحظات من مجموعة بيانات متبرعي PVA.

افتراضيًا، يعرض ناتج خطوة ListData تسميات المتغيرات بدلاً من أسماء المتغيرات.

يمكنك بسهولة تحديد المدخلات المتعلقة بالتبرعات، مثل عدد التبرعات خلال 36 شهرًا ومبلغ التبرع الأخير.

يرجى وصف سجل التبرعات السابق.

بالنظر أكثر إلى اليمين، يمكنك رؤية المدخلات الديموغرافية، مثل المجموعة الديموغرافية والعمر والجنس، والتي توفر خصائص ديموغرافية عن المتبرعين.

العمودان الأخيران يحتويان على متغيرين مستهدفين. علم التبرع المستهدف، وهو متغير الاستجابة، ومبلغ التبرع المستهدف، وهو متغير مبلغ التبرع.

المتغير الثنائي targetGiftFlag يمثل الاستجابة للحملة وله مستويان، نعم ولا.

المتغير المستمر، مبلغ التبرع المستهدف، يمثل مبلغ التبرع من الأفراد الذين استجابوا للحملة.

سنستخدم كلا المتغيرين المستهدفين في هذه الدورة، ولكن واحدًا فقط في كل مرة في دروس مختلفة.

بعد أن تختار عينة عشوائية من البيانات، يمكنك البدء في استكشاف البيانات. على الرغم من أنك ترغب في استخلاص استنتاجات حول مجتمعك الإحصائي، إلا أنك تريد أولاً وصف بياناتك قبل استخدام الإحصاء الاستدلالي.

الإحصاءات الوصفية تساعدك على فهم بياناتك بشكل أفضل من خلال وصف وتلخيص خصائصها الأساسية.

الأهداف عند وصف البيانات هي فحص القيم غير المعتادة، وتفقد مدى وانتشار وشكل بياناتك، وتحديد النزعة المركزية، واستخلاص استنتاجات أولية حول بياناتك.

تحليل التوزيع يشمل عادةً فحص توزيع قيم متغير مستمر، ونطاق القيم الممكنة للبيانات، وما إذا كانت القيم تتجمع في منتصف التوزيع أو في أحد طرفيه، وشكل التوزيع.

تستخدم إحصاءات الملخص ومخططات التوزيع لتحليل التوزيع.

إحصاءات الملخص هي مقاييس إحصائية رقمية لوصف البيانات، ومخططات التوزيع هي عروض رسومية لتوزيع البيانات.

التقنيات الرسومية مثل المدرجات التكرارية، ومخططات الصندوق، ومخططات الاحتمال تمكنك من إجراء بعض الملاحظات العامة حول شكل وانتشار البيانات. ويمكن تحقيق فهم أكثر اكتمالاً للبيانات من خلال تلخيصها باستخدام الإحصاءات.

يقدم هذا القسم مثل هذه المقاييس الإحصائية، بما في ذلك مقاييس النزعة المركزية، ومقاييس الموقع، ومقاييس التشتت، ومقاييس الشكل، وتصوير توزيعك.

الإحصائيات الوصفية التي تحدد مركز بياناتك تُسمى مقاييس النزعة المركزية. أكثر مقاييس النزعة المركزية شيوعًا هو متوسط العينة. تشمل المقاييس الأخرى الوسيط والنمط.

انظر إلى مجموعة بيانات عينة تحتوي على ست ملاحظات.

المتوسط هو نقطة التوازن الحسابية لبياناتك. وهو الأنسب للمتغيرات المقاسة على مقياس الفترات أو النسبة مع توزيع تقريبي متماثل. المتوسط يتأثر بكل قيمة في مجموعة البيانات، بما في ذلك القيم المتطرفة أو الشاذة. مقياس أكثر قوة للنزعة المركزية لا يتأثر بالقيم المتطرفة هو الوسيط.

الوسيط هو نقطة البيانات الموجودة في منتصف تسلسل مرتب.

وهو مناسب إما لدرجات الترتيب، وهي المتغيرات المقاسة على مقياس رتبي، أو للمتغيرات المقاسة على مقياس الفترات أو النسبة مع توزيع منحرف. مقياس آخر للنزعة المركزية لا يتأثر بالقيم المتطرفة هو النمط.

النمط هو نقطة البيانات التي تتكرر بشكل أكبر. وهو الأنسب للمتغيرات المقاسة على مقياس اسمي. قد يكون هناك عدة أنماط في التوزيع، أو قد لا يكون هناك أي نمط في التوزيع.

مقاييس الموقع توفر لك طريقة لمعرفة أين يقع نقطة بيانات معينة أو قيمة ما ضمن التوزيع. يمكن أن تخبرنا هذه المقاييس ما إذا كانت القيمة قريبة من المتوسط أو إذا كانت مرتفعة أو منخفضة بشكل غير معتاد. فمثلاً، الوسيط يقسم البيانات إلى نصفين متساويين، بينما الربيعات تقسم البيانات إلى أربعة أجزاء متساوية، والعشيرات تقسم البيانات إلى عشرة أجزاء متساوية، والمئينات تقسم البيانات إلى مئة جزء متساوٍ.

المئينات تحدد موقعاً في بياناتك يكون أكبر من نسبة معينة من القيم.

من القيم المئينية الشائعة التي يتم الإبلاغ عنها هي المئين الخامس والعشرون، والذي يسمى أيضاً الربيع الأول، والمئين الخمسون، والذي يسمى أيضاً الوسيط، والمئين الخامس والسبعون، والذي يسمى أيضاً الربيع الثالث.

Question

You have the data arranged in ascending order. Which one of the following measures can be affected if the smallest and largest observations are removed?

Correct.
Mean is affected by every value in the data including largest and smallest observations. On the other hand, median also called as 50th percentile is less affected by extreme values. Because it is the value that divides the data into two equal halves when arranged in order of magnitude.

Incorrect.
The correct answer is a. Mean is affected by every value in the data including largest and smallest observations. On the other hand, median also called as 50th percentile is less affected by extreme values. Because it is the value that divides the data into two equal halves when arranged in order of magnitude.

قد لا يكون تحديد مركز البيانات كافياً. مقاييس النزعة المركزية تقدم معلومات فقط عن المركز أو الجزء الأوسط من مجموعة الأرقام. عند النظر إلى هذه الأمثلة الثلاثة للبيانات، جميعها لها نفس المتوسط، وهو 15.5، لكن من الواضح أن لديها تبايناً مختلفاً. استخدام مقاييس التباين جنباً إلى جنب مع مقاييس النزعة المركزية يجعل من الممكن وصفاً رقمياً أكثر اكتمالاً للبيانات. مقاييس التشتت تمكنك من وصف التباين أو الانتشار في البيانات. المدى هو أبسط مقياس للتشتت، ويُعرّف بأنه الفرق بين القيمة القصوى والقيمة الدنيا للبيانات.

إنه مقياس بدائي للتباين، يصف المسافة بين الحدود الخارجية لمجموعة البيانات. من عيوب المدى أنه يُحسب باستخدام القيم التي تقع على أطراف البيانات، وبالتالي يتأثر بالقيم المتطرفة. وتطبيقه كمقياس للتباين محدود. مقياس آخر للتباين هو المدى الربعي. المدى الربعي هو نطاق القيم بين الربع الأول والربع الثالث. في جوهره، هو نطاق 50% الوسطى من البيانات ويتم تحديده بحساب قيمة Q3 ناقص Q1. المدى الربعي مفيد بشكل خاص في الحالات التي تهتم فيها بالقيم القريبة من الوسط أكثر من القيم المتطرفة. هناك ثلاثة مقاييس أخرى للتباين وهي التباين، والانحراف المعياري، والانحراف المطلق المتوسط. يتم الحصول على هذه المقاييس بطرح المتوسط من كل قيمة في البيانات، ولذلك تُعرض معاً. هذه المقاييس للتشتت تقدم أساساً الانحراف عن المتوسط. هندسياً، الانحرافات السلبية تمثل القيم التي تقع أسفل أو إلى يسار المتوسط، والانحرافات الإيجابية تمثل القيم التي تقع فوق أو إلى يمين المتوسط. الانحراف المطلق المتوسط هو متوسط القيم المطلقة للانحرافات حول المتوسط لمجموعة من الأرقام.

ونظراً لأن القيم المطلقة ليست سهلة التلاعب، تم ابتكار آلية بديلة للتغلب على خاصية مجموع الانحرافات من المتوسط التي تساوي صفراً.

تستخدم هذه الطريقة مربع الانحرافات عن المتوسط. والنتيجة هي التباين، وهو مقياس مهم للتباين. التباين هو متوسط الانحرافات المربعة حول المتوسط الحسابي لمجموعة من الأرقام. يُرمز إلى تباين العينة بـ s تربيع. الإحصاءات التي تُقاس بوحدات مربعة يصعب تفسيرها. الانحراف المعياري هو مقياس أكثر شيوعاً للتباين.

الانحراف المعياري هو الجذر التربيعي للتباين. يُرمز إلى الانحراف المعياري للسكان بـ S.

إحدى ميزات الانحراف المعياري التي تميزه عن التباين هي أن الانحراف المعياري يُعبر عنه بنفس وحدات المتوسط والبيانات الأصلية، بينما يُعبر عن التباين بتلك الوحدات مربعة.

في المثال السابق، مجموعات البيانات الثلاث لها نفس المتوسط ولكن مقاييس تباين مختلفة. تظهر قيم المدى والانحراف المعياري الخاصة بها هنا.

تواجه بيانات متعددة المتغيرات في تطبيقات تعلم الآلة حيث لديك عدة ميزات تتفاوت في درجة الحجم والمدى والوحدة.

قضية مهمة هي أن مدى المتغيرات يمكن أن يختلف كثيراً. استخدام المقياس الأصلي قد يعطي وزناً أكبر للمتغيرات ذات المدى الكبير. لذلك، قد يكون من الضروري إعادة ضبط المدى أو التباين ليكون متساوياً. سيتم مناقشة ضبط الميزات في الدرس الخامس.

Question

Standard deviation and variance essentially yield the deviation from which of the following?

Correct.
The variance and the standard deviation essentially yield the deviation from the mean. The variance is the average of the squared deviations about the arithmetic mean for a set of numbers. The standard deviation is the square root of the variance.

Incorrect.
The correct answer is d. The variance and the standard deviation essentially yield the deviation from the mean. The variance is the average of the squared deviations about the arithmetic mean for a set of numbers. The standard deviation is the square root of the variance.

Question

Poor Jose has his head in an oven and his feet in a freezer!
(See Text Version for Image)
You are a statistician examining the temperature dispersion in different parts of Jose's body. Which of the following statements is reasonable?

Correct.
This is a popular joke about the statistical "average" involving the statistician who put his head in an oven and his feet in a freezer, saying, "On average, I feel fine." Measures of central tendency yield information only about the center, or middle part, of a group of numbers and thus simply locating the center of the data might not be sufficient. Using measures of dispersion in conjunction with measures of central tendency makes possible a more complete numerical description of the data.

Incorrect.
The correct answer is c. This is a popular joke about the statistical "average" involving the statistician who put his head in an oven and his feet in a freezer, saying, "On average, I feel fine." Measures of central tendency yield information only about the center, or middle part, of a group of numbers and thus simply locating the center of the data might not be sufficient. Using measures of dispersion in conjunction with measures of central tendency makes possible a more complete numerical description of the data.

هناك طريقة أخرى لفهم بياناتك وهي عرضها باستخدام الرسوم البيانية والمخططات. هناك عدة طرق لتصور توزيع بياناتك.

إحدى أكثر التقنيات فعالية هي رسم المدرج التكراري. المدرج التكراري هو تمثيل بصري للتوزيع التكراري لبياناتك. يتم تمثيل التكرارات بأعمدة رأسية. كل عمود في المدرج التكراري يمثل مجموعة من القيم، يُشار إليها أحيانًا باسم الفئة. ارتفاع الأعمدة يمثل التكرار أو عدد القيم في الفئة.

يمكنك بسهولة تحديد شكل بياناتك باستخدام المدرج التكراري. على سبيل المثال، هنا يأخذ شكل الجرس مع تركز القيم في المنتصف.

يُسمى هذا النوع من التوزيع بالتوزيع الطبيعي. التوزيع الطبيعي هو توزيع نظري شائع في الإحصاء.

اسم آخر للتوزيع الطبيعي هو توزيع جاوس. توزيع جاوس له شكل الجرس، وهو متماثل، ويُعرّف بواسطة معلمتين: ميو، وهو المتوسط، وسيغما، وهو الانحراف المعياري. يحدد المتوسط نقطة منتصف التوزيع أو قمة الجرس، بينما يصف الانحراف المعياري مدى التشتت أو انتشار التوزيع.

المساحة تحت المنحنى بين نقطتين تمثل احتمال الحصول على قيم بين هاتين النقطتين.

ترتبط بعض الاحتمالات المعروفة جيدًا بمتوسط التوزيع وانحرافه المعياري. على سبيل المثال، حوالي 68% من المساحة الكلية تحت التوزيع الطبيعي تقع ضمن زائد أو ناقص انحراف معياري واحد عن المتوسط.

حوالي 95% تقع ضمن زائد أو ناقص انحرافين معياريين عن المتوسط. وحوالي 99.7% تقع ضمن زائد أو ناقص ثلاثة انحرافات معيارية.

غالبًا ما يعتبر الإحصائيون القيم التي تزيد أو تنقص عن المتوسط بأكثر من انحرافين معياريين قيمًا غير معتادة. والآن يمكنك أن ترى السبب؛ إذ أن حوالي 5% فقط من جميع القيم تكون بهذا البعد عن المتوسط. وبحسب السياق، يعامل بعض الإحصائيين فقط القيم التي تزيد أو تنقص عن المتوسط بأكثر من ثلاثة انحرافات معيارية على أنها غير معتادة.

نظرًا لأن التوزيع الطبيعي يتمتع بالعديد من الخصائص الرياضية المفيدة، غالبًا ما تفترض الإجراءات الإحصائية للبيانات المستندة إلى عينات عشوائية وجود توزيع طبيعي.

افتراض التوزيع الطبيعي مفيد في العديد من مهام تعلم الآلة، بما في ذلك تحضير البيانات.

تحدد عدد الانحرافات المعيارية عن المتوسط التي سيتم استخدامها في اشتقاق الحدود الدنيا والقصوى لتصفية واستبدال الملاحظات المتطرفة.

البيانات التي تتبع التوزيع الطبيعي مفيدة في بناء النماذج. فهي تسهل العمليات الرياضية لنماذج مثل الانحدار اللوجستي، وتحليل التمييز الخطي، ونايف بايز، والشبكات العصبية، وما إلى ذلك. مثل هذه الخوارزميات تبسط الدالة إلى شكل معروف وتسمى خوارزميات تعلم آلي معلمية.

من خلال تطبيق تقنيات التحويل، يمكننا تحويل البيانات إلى توزيع طبيعي. البيانات التي تتبع التوزيع الطبيعي ليست مطلوبة مع النماذج غير المعلمية مثل أقرب الجيران، وأشجار القرار، والغابات، والتعزيز التدريجي، وآلات الدعم الناقل، والشبكات العصبية العميقة، وما إلى ذلك.

الخوارزميات التي لا تفترض افتراضات قوية حول شكل دالة الربط تسمى خوارزميات تعلم آلي غير معلمية.

Question

Which of the following are typical characteristics of a normal distribution? (Select all that apply)

Correct.
A normal distribution is unimodal, symmetrical, and bell shaped in which mean, median, and mode are equal. Its empirical rule suggests that approximately 99.7% of values lie within $\pm$ 3 standard deviation from the mean.

Incorrect.
The correct answer is b, c and d. A normal distribution is unimodal, symmetrical, and bell shaped in which mean, median, and mode are equal. Its empirical rule suggests that approximately 99.7% of values lie within $\pm$ 3 standard deviation from the mean.

بالإضافة إلى رسم بياناتك باستخدام المدرج التكراري، هناك طرق أخرى لتصور وتقييم توزيع بياناتك. يمكنك استخدام مخططات الصندوق ومخططات الاحتمالية الطبيعية لمقارنة بياناتك بالتوزيع الطبيعي. يجعل مخطط الصندوق من السهل رؤية مدى انتشار بياناتك وما إذا كان هناك أي قيم شاذة. يمثل الصندوق 50% الوسطى من بياناتك، وهو نطاق الربعين. يشير أسفل الصندوق إلى النسبة المئوية الخامسة والعشرين. يمثل الخط الأوسط النسبة المئوية الخمسين، أو الوسيط. ويشير الخط العلوي إلى النسبة المئوية الخامسة والسبعين. يرمز الماسة إلى المتوسط. وبالتالي، يمكنك الحصول على انطباع تقريبي عن تماثل توزيعك من خلال مقارنة المتوسط بالوسيط، وكذلك من خلال تقييم تماثل الصندوق وخطوط الشارب حول خط الوسيط.

خط الوسيط قريب من مركز الصندوق، وأطوال الشارب متقاربة. يُظهر هذا المخطط توزيع بيانات تقريباً متماثل. تمتد خطوط الشارب من الصندوق، بقدر امتداد البيانات، إلى طول أقصى يبلغ 1.5 ضعف نطاق الربعين فوق النسبة المئوية الخامسة والسبعين، وبالمثل تحت النسبة المئوية الخامسة والعشرين من الجانب الآخر. يُشار إلى ذلك بوحدات الربعين 1.5. أي نقاط بيانات أبعد من 1.5 وحدة ربعين عن الصندوق تُعتبر قيمًا شاذة محتملة وتُعرض في هذا المخطط على شكل دوائر.

مخطط الاحتمالية الطبيعية هو طريقة بصرية لتحديد ما إذا كانت بياناتك تأتي من توزيع طبيعي تقريباً. يمثل المحور الرأسي قيم البيانات الفعلية، ويعرض المحور الأفقي النسب المئوية المتوقعة من توزيع طبيعي معياري. خط المرجع الطبيعي على القطر هو المكان الذي ستقع فيه بياناتك إذا كانت طبيعية تماماً.

النقاط التي تحوم حول خط المرجع هي البيانات الفعلية. هنا يتبع توزيع نقاط البيانات خط المرجع الطبيعي بشكل وثيق. لذا يبدو توزيع البيانات هذا طبيعيًا إلى حد كبير.

TopicTitle

One definition of outliers is data that are more than 1.5 times the interquartile range before Q1 or after Q3. Why "1.5"?

(See Text Version for Image)

Because the quartiles for the standard normal distribution are +/-.67, the IQR = 1.34. Thus, 1.5 times 1.34 = 2.01, and outliers are less than -2.68 or greater than 2.68. Therefore, for normally distributed data, the probability of being an outlier is 2 times .0037 = .0074. This is less than 1%. Thus, the 1.5 IQR method results in an outlier being data that is more extreme than 99% of the data values for a normally distributed variable.

Question

In SAS, how is the median indicated in a box-and-whisker plot?

(See Text Version for Image)

Correct.
The middle line in the box represents the median of the data, whereas the box represents the middle 50% of your data, which is the interquartile range.
(See Text Version for Image)

Incorrect.
The correct answer is c. The middle line in the box represents the median of the data, whereas the box represents the middle 50% of your data, which is the interquartile range.
(See Text Version for Image)

مجرد التأكد من تشتت البيانات قد لا يكون كافياً. مقاييس التشتت تقدم معلومات فقط حول التغير أو انتشار مجموعة من الأرقام. عند النظر إلى توزيعات البيانات الثلاثة، جميعها لديها نفس درجة التغير، لكن من الواضح أن لها أشكالاً مختلفة. ليس كل توزيع هو توزيع طبيعي. من المهم تحديد ما إذا كانت البيانات متناظرة أم غير متناظرة.

عندما تكون البيانات غير متناظرة، يكون ذيل التوزيع في أحد الجانبين أطول من الجانب الآخر. استخدام مقاييس الشكل مثل الانحراف يمكن أن يساعد في فهم ميل بياناتك لأن تكون أكثر انتشاراً في جانب واحد من المتوسط مقارنة بالجانب الآخر. الانحراف هو مقياس لعدم التناظر في التوزيع. الانحراف يحدث عندما يكون التوزيع غير متناظر أو يفتقر إلى التناظر.

توزيع البيانات الذي يكون فيه النصف الأيمن صورة مرآة للنصف الأيسر يُقال عنه إنه متناظر. أحد أمثلة التوزيعات المتناظرة هو التوزيع الطبيعي.

فيما يلي أمثلة على توزيعين منحرفين.

المخطط البياني على اليسار هو مثال على توزيع منحرف لليسار يظهره منحنى أزرق منقط. معظم القيم متجمعة حول ذيل التوزيع الأيمن بينما ذيل التوزيع الأيسر أطول.

المخطط البياني على اليمين هو مثال على توزيع منحرف لليمين، أيضاً يظهره منحنى أزرق منقط. معظم القيم متجمعة حول ذيل التوزيع الأيسر، بينما ذيل التوزيع الأيمن أطول.

المنحنى الأبيض في كل من هذه الرسوم البيانية يمثل شكل التوزيع الطبيعي مع المتوسط والتباين المقدرين من بيانات العينة. يمكنك التفكير في اتجاه الانحراف على أنه الاتجاه الذي تتجه إليه البيانات.

كلما كان إحصاء الانحراف أقرب إلى الصفر، كانت البيانات أكثر طبيعية أو تناظرية. عندما يكون الإحصاء سالباً، تكون البيانات منحرفة لليسار. عندما يكون الإحصاء موجباً، تكون البيانات منحرفة لليمين.

التوزيع المنحرف لليسار يخبرنا أن المتوسط أقل من الوسيط. التوزيع المنحرف لليمين يخبرنا أن المتوسط أكبر من الوسيط. هذه القاعدة العامة تنطبق على العديد من التوزيعات المستمرة المعروفة مثل التوزيع الأسي، التوزيع اللوغاريتمي الطبيعي، وتوزيع كاي-تربيع.

ومع ذلك، هذه العلاقة لا تنطبق بشكل عام على التوزيعات متعددة القمم، أو في التوزيعات التي يكون فيها أحد الأذيال طويلاً بينما الآخر كثيف.

يمكنك أيضاً تقييم شكل التوزيع من خلال مخططات الاحتمال الطبيعي ومخططات الصندوق.

المخطط النموذجي لاحتمال الطبيعي للتوزيع المنحرف لليسار يظهر منحنى شبه قطع مكافئ فوق خط المرجع الطبيعي. في مخطط الصندوق للتوزيع المنحرف لليسار، يكون الشارب السفلي أطول بكثير من الشارب العلوي وخط الوسيط يرتفع إلى أعلى الصندوق.

المخطط النموذجي لاحتمال الطبيعي للتوزيع المنحرف لليمين يظهر منحنى شبه قطع مكافئ تحت خط المرجع الطبيعي.

في مخطط الصندوق للتوزيع المنحرف لليمين، يكون الشارب العلوي أطول بكثير من الشارب السفلي، وخط الوسيط يميل إلى أسفل الصندوق.

Question

Which of the following are true in case of a positively skewed distribution? (Select all that apply).

Correct.
A positively skewed (or right-skewed) distribution is a type of distribution in which most values are clustered around the left tail of the distribution and the right tail of the distribution is longer and the mean is greater than the median thus asymmetric.

Incorrect.
The correct answer is a and c. A positively skewed (or right-skewed) distribution is a type of distribution in which most values are clustered around the left tail of the distribution and the right tail of the distribution is longer and the mean is greater than the median thus asymmetric.

مرة أخرى، مجرد التأكد من أن توزيع البيانات متماثل قد لا يكون كافياً. عند النظر إلى توزيعات البيانات الثلاثة، نجد أن جميعها لديها نفس النزعات المركزية. جميعها لديها نفس درجة التشتت. وجميع التوزيعات الثلاثة متماثلة. لكن من الواضح أن لديها اختلافاً في الحدة أو الارتفاع.

يقال أحياناً إن الالتواء الرباعي (Kurtosis) يقيس حدة قمة التوزيع بدلاً من تسطحه.

يقال إن توزيع البيانات الذي ليس مرتفعاً ونحيفاً، ولا مسطحاً ومنتشراً، هو أكثر قرباً من الشكل الطبيعي.

ومع ذلك، أشار ويستفال 2014 ومؤلفون آخرون إلى أن هذا التفسير غير صحيح. ويستفال يوضح التمييز التالي: الالتواء الرباعي لا يخبرك فعلياً بأي شيء عن شكل القمة. تفسيره الواضح الوحيد يكون من حيث تطرف الأطراف، أي وجود القيم المتطرفة في الالتواء الرباعي للعينة، أو الميل لإنتاج القيم المتطرفة في الالتواء الرباعي لتوزيع احتمالي.

فيما يلي مثالان لتوزيعات ذات التواء رباعي زائد. الرسم البياني على اليسار مثال على توزيع ذو التواء رباعي زائد موجب. الرسم البياني على اليمين مثال على توزيع ذو التواء رباعي زائد سالب. الالتواء الرباعي يقيس ميل بياناتك لأن تتركز نحو المركز أو نحو أطراف التوزيع. كلما اقتربت قيمة الالتواء الرباعي من الصفر، كلما اقتربت أطراف بياناتك من سمك أطراف التوزيع الطبيعي.

المنحنى الوردي في كل من هذه الرسوم البيانية يمثل شكل التوزيع الطبيعي مع المتوسط والتباين المقدرين من بيانات العينة.

كن على علم أن التوزيع الطبيعي في الواقع له قيمة التواء رباعي موجبة تساوي 3. وقد قامت شركة SAS بتوحيد هذه القيمة إلى الصفر حتى يكون عند تقييمك للطبيعية، القيم التي تقارن بها التواء العينة والتواء رباعي العينة هي نفسها.

قيمة الالتواء الرباعي الموجبة تعني أن البيانات لديها أطراف أثقل وأكثر تركيزاً حول المتوسط مقارنة بالتوزيع الطبيعي. أما قيمة الالتواء الرباعي السالبة فتعني أن البيانات لديها أطراف أخف وأقل تركيزاً حول المتوسط مقارنة بالتوزيع الطبيعي.

إذا قمت بالتكبير على المدرج التكراري للالتواء الرباعي الموجب الظاهر على اليسار، سترى أن البيانات تمتد إلى ما بعد انحرافين معياريين عن المتوسط، مع وجود كتلة أكبر في الأطراف، والتي تكون أكثر سمكاً أو أثقل.

وبالمثل، في المدرج التكراري للالتواء الرباعي السالب الظاهر على اليمين، سترى كتلة أقل في الأطراف، والتي تكون أنحف أو أخف. دعونا نرى شكل التوزيع باستخدام مخططات الاحتمال الطبيعي ومربعات الصندوق.

المدرج التكراري يُظهر توزيعاً خفيف الأطراف.

مخطط الاحتمال الطبيعي لمثل هذا التوزيع ذو الالتواء الرباعي الزائد السالب يُظهر منحنى على شكل حرف S على طول خط المرجع الطبيعي. تذكر أن المحور الرأسي هو القيم المرتبة لاستجابتك، لذا فإن متوسط بياناتك هو خط أفقي يمر تقريباً في منتصف المخطط. إذا فحصت نقاط بياناتك مع التركيز بشكل خاص على الأطراف، ستجد أن البيانات في الأطراف تبدو وكأنها مضغوطة من الأعلى والأسفل نحو المتوسط. بمعنى آخر، نقاط البيانات أقرب إلى المتوسط مما ينبغي لو كانت طبيعية، أي أن أطراف التوزيع كأنها

مخطط الصندوق لتوزيع ذو التواء رباعي زائد سالب لديه أطراف قصيرة جداً، في الواقع هو توزيع على شكل حرف U مع انخفاض في الوسط بدلاً من قمة. الشُعيرات (whiskers) تكاد تكون غائبة، ومع ذلك يُنصح بعدم التركيز كثيراً على طول الشُعيرات لأن الطول يتحدد بملاحظة واحدة فقط.

هذا المدرج التكراري يُظهر توزيعاً ثقيل الأطراف. مخطط الاحتمال الطبيعي النموذجي لمثل هذا التوزيع ذو الالتواء الرباعي الزائد الموجب يُظهر منحنى على شكل S معكوس على طول خط المرجع الطبيعي. إذا فحصت نقاط بياناتك مع التركيز بشكل خاص على الأطراف، ستجد أن البيانات في الأطراف تبدو وكأنها ممتدة في الاتجاه الرأسي بعيداً عن المتوسط. بمعنى آخر، نقاط البيانات أبعد عن المتوسط مما ينبغي لو كانت طبيعية، أي أن أطراف التوزيع ثقيلة. مخطط الصندوق لتوزيع ذو التواء رباعي زائد موجب لديه أطراف طويلة. طول الشُعيرات يتجاوز بكثير طول الصندوق.

TopicTitle

A negative kurtosis statistic means that the data has lighter tails than in a normal distribution. Data is less heavily concentrated about the mean. You refer to this type of distribution as platykurtic. This type of distribution is flat and spread out. In this example, the platykurtic distribution is symmetric. A symmetric platykurtic distribution is characterized by being flatter than the normal distribution, that is, less peaked, with heavier flanks and thinner tails. A distribution with two peaks is also referred to as a bimodal distribution. Rectangular, bimodal, and multimodal distributions tend to have low values of kurtosis.

(See Text Version for Image)

A positive kurtosis statistic means that the data has heavier tails and is more concentrated about the mean than a normal distribution. You refer to this type of distribution as leptokurtic. This type of distribution is high and thin. A leptokurtic distribution is often referred to as heavy-tailed and might sometimes also be referred to as an outlier-prone distribution. If the distribution is symmetric, a leptokurtic distribution tends to have a higher peak than the normal, with an excess of values near the mean and in the tails, but with thinner flanks. Distributions that are asymmetric also tend to have nonzero kurtosis. In these cases, understanding kurtosis is considerably more complex than in situations where the distribution is approximately symmetric. Kurtosis can be difficult to assess visually.

(See Text Version for Image)

Question

Examine the normal probability plot and histogram of Time Since Last Gift. Do the plots indicate that the data is approximately normally distributed?

(See Text Version for Image)

Correct.
The points do not follow the diagonal reference line in the normal probability plot, indicating that there is departure from normality. The histogram does not follow the normal curve. The data has high kurtosis and is a little negatively skewed, so the data doesn't seem to be approximately normal.

Incorrect.
The correct answer is b. The points do not follow the diagonal reference line in the normal probability plot, indicating that there is departure from normality. The histogram does not follow the normal curve. The data has high kurtosis and is a little negatively skewed, so the data doesn't seem to be approximately normal.

البيانات الواقعية عادة ما تكون غير نظيفة ومليئة بالضوضاء. استكشاف البيانات يمكن أن يكون من أهم وأكثر الأجزاء استهلاكاً للوقت في مشروع تعلم الآلة النموذجي. يمكن استخدام مخططات التوزيع الشائعة والإحصاءات الملخصة التي رأيتها في هذا القسم لاستكشاف بيانات تعلم الآلة. النقطة الرئيسية هنا هي أن توزيعات البيانات غير الطبيعية في الرسوم البيانية للأعمدة، ومخططات الصندوق، ومخططات الاحتمال الطبيعي تكون واضحة جداً بصرياً. استخدام مقاييس الشكل، مثل الالتواء والتفلطح، جنباً إلى جنب مع مقاييس النزعة المركزية والتشتت، يجعل من الممكن الحصول على وصف عددي شبه كامل للبيانات.

توضح هذه العرض كيفية إجراء الاستكشاف الأولي للبيانات في ثلاثة أجزاء. تذكر أنه إذا قمت بإعادة تشغيل جلسة SAS الخاصة بك أو انتهت صلاحيتها بسبب عدم النشاط، يجب عليك إعادة إنشاء مكتبة دورة VST. للقيام بذلك، شغّل assign library.flow. سنبدأ باستخدام تدفق يحتوي على عقدة الإحصاءات الملخصة. وسنضيف هذا إلى ملف explore PVA الذي أنشأناه مسبقًا. لذا قم بفتح تدفق explore PVA من مجلد VST. ثم انتقل إلى قائمة Steps وقم بتوسيع المجموعة المسماة Statistics. سنقوم بالتمرير لأسفل للعثور على Summary Statistics.

انقر نقرًا مزدوجًا عليها لإضافة هذه العقدة إلى التدفق. بعد ذلك، سنربط عقدة PVA donors بعقدة summary statistics.

يمكنك النقر على زر Arrange Icons بعد ذلك. انقر على عقدة Summary Statistics.

ثم انظر تحت علامة التبويب Data. بجوار Analysis Variables، انقر على علامة الجمع. سنضيف جميع المتغيرات. للقيام بذلك، انقر على أول متغير في القائمة.

ثم مرر لأسفل إلى المتغير الأخير.

بعدها اضغط باستمرار على زر Shift وانقر على الأخير، ثم اختر OK.

لن نضيف أي متغيرات إلى حقل التصنيف. انقر على علامة التبويب options. سترى أنه تحت basic statistics، تم تحديد المتوسط والانحراف المعياري والقيم الدنيا والقصوى وعدد المشاهدات بالفعل. ضع علامة على عدد القيم المفقودة أيضًا. لا تزال تحت علامة التبويب options، قم بتوسيع additional statistics، وسنضيف الوضع (mode)، الالتواء (skewness)، والتفرطح (kurtosis).

تحت percentiles، سنضيف الربع الأدنى، الوسيط، والربع الأعلى. قم بحفظ التدفق.

ثم انقر بزر الماوس الأيمن على Summary Statistics واختر Run Node.

انقر على Submitted Code and Results، ثم Results. أحد أول الأشياء التي أحب النظر إليها هو عدد القيم المفقودة. هذا هو العمود المسمى End Miss. ويمكنني أن أرى أن بعض المتغيرات لديها 1700 قيمة مفقودة، 2400، و4800. هذا الرقم 4843 لمبلغ التبرع، وهو أحد متغيرات الهدف لدينا، يمثل 50% من القيم المفقودة. بعد ذلك، يمكننا النظر إلى عمود Skewness. لدينا قيم تتراوح من التواء إيجابي من 1 إلى حوالي 14. لذا يجدر ملاحظة المتغيرات التي لديها التواء قريب من 10، 5، و14، 6. إذًا لدينا بعض المتغيرات ذات التواء إيجابي. بعض هذه المتغيرات لديها أيضًا قيم تفرطح عالية جدًا، 246، 77، 500، 87.

انظر إلى الصف الخاص بمتغير Demographic Median Income. يمكننا أن نرى أن لديه انحراف معياري كبير، يكاد يكون بحجم قيمة المتوسط. هناك بعض الأمور الأخرى التي تبرز حول هذا المتغير. الوضع هو 0، ويبدو أن القيمة الدنيا هي 0 أيضًا. لا ينبغي أن تكون هناك أي مناطق بدخل وسطي يساوي 0، لذا يبدو أن شخصًا ما كان يسجل البيانات ووضع 0 كقيمة مؤقتة لقيمة مفقودة. لكن وجود دخل 0 يختلف كثيرًا عن دخل غير معروف. لاستخدام متغير الدخل بشكل صحيح في نموذج تنبؤي، ما سنحتاج إلى فعله هو إعادة ترميز هذه القيم كقيم مفقودة، ثم تعويضها بقيمة معقولة جديدة. سنقوم بذلك في درس لاحق في هذه الدورة. الآن انظر إلى متغير StatusCatStarAll.

هذا المتغير لديه قيمة دنيا 0 وقيمة قصوى 1. هذا في الواقع متغير ثنائي. بشكل افتراضي، يتعامل SAS مع كل متغير رقمي كمقياس فاصل، وكل متغير حرفي كاسمي. من الآن فصاعدًا، نريد التأكد من أننا نستخدم هذا المتغير كمتغير تصنيفي، وليس كمتغير مقياس فاصل. بعد ذلك، دعونا ننظر إلى متغير مبلغ التبرع.

Target Gift Amount، وهو الأخير في القائمة. يمكنك أن ترى أن المتوسط حوالي 101 دولار، مع وسيط حوالي 102 دولار، ووضع 92 دولار، لذا هذه القيم ليست مختلفة كثيرًا عن بعضها البعض. والالتواء قريب من الصفر. تعطينا هذه الإحصاءات انطباعًا بأن توزيع متغير مبلغ التبرع متماثل إلى حد ما. ومع ذلك، يُنصح دائمًا بفحص مخططات توزيع المتغيرات لتقييم شكل وانتشار البيانات بشكل رسومي. التوافق مع التوزيع الطبيعي مفيد لبناء النماذج، ومطلوب في الدروس القادمة حول نمذجة الانحدار.

بعد ذلك، سننظر في توزيع المتغيرات المستمرة باستخدام بعض المخططات.

ارجع إلى التدفق، explore PVA، وسنضيف عقدة تحليل التوزيع إلى التدفق.

قم بتوسيع Statistics مرة أخرى، وانقر نقرًا مزدوجًا على Distribution Analysis، واربطها بعقدة PVA Donors.

على عقدة Distribution Analysis وتحت البيانات، ابحث حيث يُقال analysis variables وأضف جميع المتغيرات باستثناء status cat star all.

ثم انقر OK.

الآن افتح علامة التبويب Options. تحقق من أن Histogram محدد تحت Exploring Data. ثم ضع علامة على Add a Normal Curve وAdd Inset Statistics. بالنسبة لإحصاءات الإدراج، سنختار المتوسط، والانحراف المعياري، والالتواء، والتفرطح. بالإضافة إلى عدد المشاهدات، والذي يتم تحديده افتراضيًا، مرر لأسفل قليلاً. وتحت Checking for Normality، ضع علامة على Normal Probability Plot. من هنا، يمكنك حفظ التدفق، ثم انقر بزر الماوس الأيمن على Distribution Analysis واختر Run Node.

انقر على Submitted Code and Results، ثم انظر إلى النتائج.

إذا رغبت، يمكنك فتح هذه النتائج في علامة تبويب متصفح.

هنا يمكننا أن نرى الرسوم البيانية لجميع المتغيرات التحليلية التي خصصناها في خاصية Analysis Variables. من الناحية المثالية، نود أن ننظر إلى جميع هذه المخططات، لكننا سنركز فقط على بعضها هنا. سنبدأ بهذا الرسم البياني الأول، GiftCount36. يمكننا أن نرى أن هذا المتغير لديه التواء إيجابي.

وله قيمة متوسطة تبلغ 3.

2. تعني 3.2 هنا أنه في المتوسط، تبرع المتبرعون قليلاً أكثر من ثلاث مرات في السنوات الثلاث الماضية. سأمرر لأسفل إلى متغير الدخل الوسيط الديموغرافي. يمكننا أن نرى قفزة كبيرة عند الصفر. تمثل هذه القفزة حوالي 25 بالمائة من قيم الدخل. وهذا يتطابق مع ما رأيناه في جدول الإحصاءات الملخصة، مما يشير إلى أن الصفر هو الوضع. بعد ذلك، دعونا ننظر إلى مبلغ التبرع، وهو أحد المتغيرات الهدف التي سنستخدمها في هذه الدورة. يوضح الرسم البياني لمبلغ التبرع مع منحنى التوزيع الطبيعي المرسوم فوقه أن المتغير موزع بشكل طبيعي نسبيًا. يمكننا تقييم طبيعة هذا المتغير بشكل أكبر من خلال التمرير لأسفل والنظر إلى مخطط الاحتمال الطبيعي. تتبع نقاط البيانات على مخطط الاحتمال الطبيعي لمبلغ التبرع خط المرجع للتوزيع الطبيعي بشكل جيد، لذا يبدو أن هذا المتغير موزع طبيعيًا. حسنًا، عد إلى SAS Studio، وسنقوم الآن بإنشاء جداول ومخططات للمتغيرات التصنيفية لدينا.

للقيام بذلك، سنضيف عقدة One-Way Frequencies إلى تدفق Explorer PVA الخاص بنا. افتح قائمة Steps...

وتحت Statistics، انقر نقرًا مزدوجًا على One-Way Frequencies.

قم بتوصيلها بعقدة PVA donors.

ثم انقر على Arrange Nodes. يمكنك إخفاء لوحة Steps إذا كانت مفتوحة، ثم انقر على One-Way Frequencies. سنضيف بعض المتغيرات تحت حقل Analysis Variables من خلال النقر على علامة الجمع.

المتغيرات التي سنضيفها هي الاثنين اللذين يبدأ اسمهما بـ status cat. ثم سنضيف dem cluster، dem gender، وdem home owner وresponse.

لا نحتاج إلى أي تغييرات أخرى على هذه العقدة، لذا احفظ التدفق، ثم انقر على One-Way Frequencies، انقر بزر الماوس الأيمن، واختر Run Node.

ثم انقر على Submitted Code and Results.

المتغير الأول، statuscat96nk، لديه عدة مستويات، وتتراوح هذه من تكرار 0.35% إلى 60%. في بعض الحالات، عندما تكون هناك مستويات ذات أحجام عينات صغيرة جدًا، قد يختار المحلل دمجها مع مستويات أخرى ذات حجم عينة صغير.

يمكننا أيضًا رؤية مخططات التوزيعات التراكمية لهذه المتغيرات. وهذه التوزيعات التراكمية تكون غالبًا مثيرة للاهتمام فقط عندما يكون لدينا متغير ترتيبي. بالنسبة للمتغيرات الاسمية، غالبًا لا تكون مثيرة للاهتمام. سأمرر لأسفل إلى متغير demographic cluster. يمكننا أن نرى أن هناك العديد من المستويات لهذا المتغير.

demographic cluster لديه حوالي 54 مستوى مختلف. وقد يكون من الصعب استخدام متغير يحتوي على هذا العدد الكبير من المستويات عندما يكون حجم عينتنا حوالي 10,000.

ربما يكون هذا المتغير أكثر فائدة إذا كنا نستخدم مجموعة بيانات PVA الكاملة، لكننا نعمل مع عينة فرعية لهذه الدورة.

بعد ذلك، سأمرر لأسفل إلى المتغير المسمى response.

يمكننا أن نرى من كل من الجدول والرسم البياني أن متغير الهدف لدينا response يظهر 50% متبرعين و50% غير متبرعين. تذكر هذا عندما نقوم بتحليل متغير الهدف المقياس الفاصل لدينا المسمى donation amount. هذا المتغير كان لديه 50% قيم مفقودة، وهذا يتوافق مع الأشخاص الذين لم يتبرعوا خلال هذه الحملة.

الإحصاءات الاستدلالية تساعد في اقتراح تفسيرات لموقف أو ظاهرة معينة. فهي تمكنك من استخلاص استنتاجات بناءً على الاستقراء. ومن هذه الناحية، فهي تختلف جوهرياً عن الإحصاءات الوصفية، التي تكتفي بتلخيص البيانات التي تم قياسها فعلياً.

يمكن تصنيف الإحصاءات الاستدلالية بشكل عام إلى تقدير المعلمات، واختبار الفرضيات، وتحليل الانحدار.

هناك نوعان من تقديرات المعلمات، تقديرات نقطية وتقديرات فاصلة، وتعرف أيضاً بفترات الثقة.

تستخدم اختبار الفرضيات لاختبار افتراض حول معلمة سكانية.

الانحدار هو مصطلح واسع. ومع ذلك، يركز هذا المقرر على الانحدار الخطي والانحدار اللوجستي.

سنناقشها في الدروس القادمة.

في تعلم الآلة، يُستخدم أحياناً مصطلح الاستدلال بدلاً من ذلك ليعني إجراء تنبؤ من خلال تقييم نموذج تم تدريبه مسبقاً.

وفي هذا السياق، يُشار إلى استنتاج خصائص النموذج بعملية التدريب أو التعلم، وليس الاستدلال.

أما استخدام النموذج في التنبؤ فيُشار إليه بالاستدلال بدلاً من التنبؤ.

المقدر النقطي هو إحصاء عيني يُستخدم لتقدير معلمة المجتمع.

أنت بالفعل على دراية بعدة تقديرات نقطية.

على سبيل المثال، تعلم أنه يمكنك استخدام x-bar، وهو متوسط العينة، لتقدير μ، متوسط المجتمع.

وبالمثل، يمكنك استخدام S، الانحراف المعياري للعينة، لتقدير σ، الانحراف المعياري للمجتمع.

إحصاءات العينة هي وظيفة مباشرة لجمع العينة.

هذا يعني أنه إذا تم جمع عينة مختلفة، فإن إحصاءات العينة ستتغير. ومع ذلك، نقوم بجمع عينة واحدة فقط بسبب الوقت والموارد.

المقدر يأخذ قيمًا مختلفة من عينة إلى أخرى، لذلك من المهم معرفة تباين المقدر. على سبيل المثال، العينات المختلفة تعطي تقديرات مختلفة للمتوسط لنفس المجتمع.

تباين متوسط العينة يشير إلى مدى تغير قيمة متوسط العينة من عينة إلى أخرى.

المفتاح هو فهم وتقدير هذا التغير، ولكن كيف؟ الإحصاء الذي يقيس تغير المقدر هو الخطأ المعياري. تحسب الخطأ المعياري للمتوسط باستخدام الصيغة الموضحة هنا، حيث S هو الانحراف المعياري للعينة وN هو حجم العينة. الخطأ المعياري لتقديرنا هو الانحراف المعياري لبيانات العينة مقسومًا على الجذر التربيعي لعدد النقاط التي تم أخذ عينات منها.

الخطأ المعياري يختلف عن الانحراف المعياري للعينة لأن الانحراف المعياري للعينة يتعامل مع تغير بياناتك، بينما الخطأ المعياري يتعامل مع تغير إحصاء العينة الخاص بك.

Question

If you draw different samples of the same size from a population, the sample statistic value would not change.

Correct.
Sample statistics are a direct function of the sample collected. That means if a different sample was collected, the sample statistics would change. An example is the standard error of the mean, which measures the variability of your sample mean.

Incorrect.
The correct answer is b (False). Sample statistics are a direct function of the sample collected. That means if a different sample was collected, the sample statistics would change. An example is the standard error of the mean, which measures the variability of your sample mean.

ناقشنا أن متوسطات العينات تختلف كما تختلف العينات نفسها.

فماذا عن النظر إلى توزيع جميع متوسطات العينات الممكنة من المجتمع؟ توزيع العينات هو مفهوم شائع آخر يُناقش في مجال الاستدلال الإحصائي. يُوصف توزيع العينات بأنه توزيع متوسطات العينات.

غالباً ما تكون تقلبات الإحصاءات الناتجة عن العينات تقريباً طبيعية. ربما أشهر نظرية إحصائية، وهي نظرية الحد المركزي، تشير إلى أن متوسط العينة لأي توزيع سكاني يقترب من التوزيع الطبيعي إذا كان حجم العينة كبيراً بما فيه الكفاية. على سبيل المثال، تخيل أن توزيع المجتمع لدينا على شكل جرس، بمتوسط المجتمع، ميو يساوي 50، وانحراف معياري، سيغما يساوي 5. لنفترض أننا أخذنا عينة عددها n يساوي 30 ملاحظة، وكان متوسط العينة 48.3. ثم أخذنا عينة أخرى من 30 ملاحظة، وكان متوسط العينة 52.1. دعونا نرى ماذا يحدث إذا كررنا هذه العملية مرات عديدة.

إذا كررنا هذه العملية مرات عديدة، فإن توزيع متوسط العينة سيتبع توزيعاً طبيعياً على شكل جرس بمتوسط المجتمع ميو يساوي 50 وخطأ معياري يساوي سيغما مقسوم على الجذر التربيعي لـ n يساوي 30.

Question

SAT Score is the variable of interest with 5000 observations. You have drawn 1000 samples of size 10. Which of the following is the sampling distribution?

Correct.
Option a shows the distribution of random variable SAT Score of all 5000 observations.
Option b represents the distribution of random variable Means of SAT Score of the 1000 sample means, all with the same sample size of 10. The variability of the distribution of sample means ( $σ / \sqrt{n}$ ) is smaller than the variability of the distribution of the 5000 observations (σ). For example, it seems relatively likely to find one student with an SAT score of 1550 (out of a maximum of 1600), but not likely that a mean of a sample of 10 students would be 1550.

Incorrect.
The correct answer is b. Option a shows the distribution of random variable SAT Score of all 5000 observations.
Option b represents the distribution of random variable Means of SAT Score of the 1000 sample means, all with the same sample size of 10. The variability of the distribution of sample means ( $σ / \sqrt{n}$ ) is smaller than the variability of the distribution of the 5000 observations (σ). For example, it seems relatively likely to find one student with an SAT score of 1550 (out of a maximum of 1600), but not likely that a mean of a sample of 10 students would be 1550.

فترات الثقة للمتوسط هي تقديرات فاصلة لمتوسط المجتمع الإحصائي.

تأخذ في الاعتبار تباين إحصاء العينة، وفي هذه الحالة، متوسط العينة. يمكنك اختيار درجة الثقة المرغوبة، أو مستوى الثقة. مستوى الثقة النموذجي هو 95%، مما يعني أن 95% من تلك الفترات النظرية اللامتناهية ستحتوي على متوسط المجتمع الحقيقي، و5% لن تحتوي عليه.

تظهر فترة الثقة نطاقًا من القيم المحتملة للمتوسط المجهول للمجتمع الإحصائي من خلال تحديد حد أعلى وحد أدنى.

إليك طريقة جيدة للتفكير في فترات الثقة. إذا قمت بسحب عدد لا نهائي من العينات واحتسبت فترة الثقة بنفس الطريقة في كل مرة، فإن فترة الثقة الخاصة بك ستمثل النسبة المئوية من تلك الفترات التي ستحتوي على متوسط المجتمع الحقيقي. بالطبع، لا أحد يسحب عددًا لا نهائيًا من العينات. من النادر أن تسحب أكثر من واحدة. أمر مهم يجب تذكره هو أن فترة الثقة المحسوبة لعينة معينة قد تحتوي أو لا تحتوي على قيمة متوسط المجتمع الحقيقي.

لبناء فترة ثقة للمتوسط، يجب عليك أولاً اختيار مستوى الدلالة حتى يتم استخدام القيمة المناسبة لـ t في الصيغة. مستويات الثقة الأعلى ترتبط بقيم t أكبر، مما يؤدي إلى فترات أوسع. تحسب الصيغة كلا من الحد الأعلى والحد الأدنى، بحيث يكونان متساويين في البعد عن تقدير متوسط العينة في المنتصف. لماذا لا ترفع مستوى الثقة إلى 99.9% حتى تحتوي أي فترة ثقة تحسبها على القيمة الحقيقية لمتوسط المجتمع؟

كلما زدت مستوى الثقة، زاد عرض الفترة، مما يجعلها أقل إفادة. في الحد الأقصى، فترة الثقة بنسبة 100% للمتوسط لأي عينة تمتد من سالب اللانهاية إلى موجب اللانهاية، وهذا لن يخبرك بأي شيء مفيد عن مكان وجود متوسط المجتمع الحقيقي.

TopicTitle

Confidence intervals are useful for communicating the variation around a point estimate.

(See Text Version for Image)

If you want to calculate a confidence interval, you need four values: (1) the point estimate you are constructing the confidence interval for, (2) the critical values for the test statistic, (3) the standard deviation of the sample, and (4) the sample size. As an example, here's the formula for calculating the confidence interval for the mean:

$\begin{array}{l} \bar{x} \pm t \cdot s_{\bar{x}} \\ s_{\bar{x}} = \frac{s}{\sqrt{n}} \end{array}$

$\bar{x}$ is the sample mean.

$t$ is the $t$ quantile value that is determined by the confidence level and the sample size.

$s_{\bar{x}}$ is the standard error of the mean.

The t-value that you will use is dependent on the confidence level that you choose. Confidence, in statistics, is another way to describe probability. Your desired confidence level is usually one minus the alpha (α) value you would generally use in your statistical hypothesis test. The value after the $\pm$ symbol is known as the margin of error.

Question

A researcher calculates 95% confidence interval for population mean as ($100, $130). What could be the most plausible value of the sample mean?

Correct.
Recall the formula for calculating the confidence interval for the mean. It requires you to add and subtract (t times $S_{\bar{x}}$ ) from the sample mean $\bar{x}$ to obtain lower and upper bound of confidence interval.

Incorrect.
The correct answer is b. Recall the formula for calculating the confidence interval for the mean. It requires you to add and subtract (t times $S_{\bar{x}}$ ) from the sample mean $\bar{x}$ to obtain lower and upper bound of confidence interval.

في اختبار الفرضية.

تصيغ الأسئلة كاختبارات للفرضيات حول معلمات المجتمع الإحصائي.

عادةً ما تكون فرضيتك الصفرية هي فرضية المساواة، في حين أن الفرضية البديلة هي فرضية عدم المساواة.

عادةً ما تكون الفرضية البديلة هي ما تشتبه فيه أو ما تحاول إثباته.

عادةً ما يتم صياغة الاستنتاجات المستخلصة من اختبار الفرضية بالإشارة إلى قيمة الاحتمالية (p-value) أو احتمال الحصول على إحصائية اختبار متطرفة مثل أو أكثر تطرفاً من تلك التي لوحظت في بياناتك، بافتراض صحة الفرضية الصفرية.

في اختبار الفرضية، تفحص البيانات لترى ما إذا كان بإمكانك جمع أدلة كافية لرفض الفرضية الصفرية.

قيمة الاحتمالية (p-value) هي مؤشر على الأدلة التي تم جمعها. عندما تكون قيمة الاحتمالية منخفضة، فإنها تثير الشكوك حول صحة الفرضية الصفرية.

لكن إلى أي مدى يجب أن تكون قيمة الاحتمالية منخفضة قبل أن ترفض الفرضية الصفرية تمامًا؟ هذا يعتمد عليك.

مستوى الدلالة الشائع هو 0.05، أي فرصة واحدة من بين عشرين.

إذا كنت بحاجة إلى حد أقصى أكثر صرامة، فقد تفكر في خفض مستوى الدلالة عند تخطيط تحليلك. يشير مستوى الدلالة إلى احتمال ثابت لرفض الفرضية الصفرية بشكل غير صحيح.

في التطبيق العملي، يتم تحديد مستوى الدلالة، ألفا، مسبقًا لمقارنته بقيمة p.

إذا كانت قيمة p أقل من ألفا، ترفض الفرضية الصفرية لصالح الفرضية البديلة.

من ناحية أخرى، إذا كانت قيمة p أكبر من أو تساوي ألفا، تشير الأدلة إلى أن القيمة المفترضة للفرضية الصفرية معقولة إحصائيًا. لذا لا ترفض الفرضية الصفرية.

دعونا نلقي نظرة على مثال.

لبدء كل مباراة في بطولة كرة القدم العالمية، تختار إحدى الفرق وجه العملة أو ظهرها، ويقوم حكم المباراة برمي العملة. الفريق الذي يفوز في الرمية يقرر أي مرمى سيهاجم، والفريق الذي يخسر الرمية يبدأ المباراة بتنفيذ ضربة البداية.

لكن كيف تعرف أن العملة عادلة؟

قد تشك في أن العملة ليست عادلة، فرضية بديلة، لكنك تبدأ بافتراض أنها عادلة، فرضية صفرية.

بعد ذلك، تختار مستوى الدلالة.

إذا قمت برمي العملة خمس مرات ولاحظت خمس مرات وجه أو خمس مرات ظهر على التوالي، تستنتج أن العملة ليست عادلة. وإلا، تقرر أنه لا يوجد دليل كافٍ لإثبات أن العملة منحازة.

مع عملة عادلة، فرضية صفرية صحيحة، في خمس رميات.

التجارب، ما هو احتمال ملاحظة خمس مرات وجه أو خمس مرات ظهر على التوالي؟

كل رمية لها احتمال 50% أن تكون ظهر.

الرميات مستقلة، وبالتالي احتمال خمس مرات ظهر هو نصف للقوة الخامسة أو واحد من 32. وبنفس الطريقة، احتمال خمس مرات وجه هو أيضًا واحد من 32. يمكن جمع هذين الاحتمالين ليكون احتمال خمس مرات وجه أو خمس مرات ظهر هو اثنان من 32 أو واحد من 16. إذًا مستوى الدلالة هو واحد من 16 أو 0.0625.

لجمع الأدلة، تقوم برمي العملة خمس مرات وتعد عدد مرات الوجه والظهر.

أخيرًا، تقرر إما أن هناك دليل كافٍ لرفض الافتراض بأن العملة عادلة، أي أن كل التجارب كانت وجه أو كل التجارب كانت ظهر.

أو أنه لا يوجد دليل كافٍ لرفض الافتراض بأن العملة عادلة، أي أن ليس كل التجارب كانت وجه أو ظهر.

لذا في هذا المثال، نقول إننا فشلنا في رفض الفرضية الصفرية بأن العملة عادلة.

إذًا، لقد أجريت اختبار فرضية واستخدمت قاعدة قرار لتحديد ما إذا كانت العملة عادلة أم لا، لكن هل كان قرارك صحيحًا؟

تبدأ بافتراض أن الفرضية الصفرية صحيحة، وأن العملة عادلة. لكن ماذا لو كنت مخطئًا؟

إذا رفضت الفرضية الصفرية وهي في الواقع صحيحة، فقد ارتكبت خطأ من النوع الأول. احتمال ارتكاب خطأ من النوع الأول هو ألفا. ألفا هو مستوى الدلالة لاختبار الفرضية. في مثال العملة، هو احتمال أن تستنتج أن العملة غير عادلة بينما هي في الواقع عادلة. في مصطلحات تعلم الآلة، غالبًا ما يُشار إلى هذا الموقف باسم الإيجابي الكاذب.

الخطأ من النوع الثاني يحدث عندما تفشل في رفض الفرضية الصفرية، وهي في الواقع خاطئة. احتمال ارتكاب خطأ من النوع الثاني هو بيتا. في مثال العملة، هو احتمال أن تفشل في اكتشاف أن العملة غير عادلة بينما هي في الواقع منحازة. في مصطلحات تعلم الآلة، غالبًا ما يُشار إلى هذا الموقف باسم السلبي الكاذب.

الأخطاء من النوع الأول والنوع الثاني مرتبطان عكسيًا. فكلما زاد أحدهما، انخفض الآخر. أنت دائمًا ترغب في اتخاذ القرار الصحيح.

احتمال أن ترفض الفرضية الصفرية بشكل صحيح يساوي 1-بيتا، حيث أن بيتا مرة أخرى هو معدل الخطأ من النوع الثاني. يُسمى هذا قوة الاختبار الإحصائي.

احتمال أن لا ترفض الفرضية الصفرية بشكل صحيح يساوي 1 ناقص ألفا، حيث أن ألفا مرة أخرى هو معدل الخطأ من النوع الأول. يُسمى هذا حد الثقة.

إذا قمت بقلب عملة معدنية 100 مرة وراقبت ظهور 50 وجهًا، فلن تشك في أن العملة عادلة.

لكن قد تكون متشككًا إذا لاحظت ظهور 40 أو 60 وجهًا. وستكون أكثر شكًا إذا لاحظت 37 أو 63 وجهًا، وستكون شديد الشك إذا لاحظت 15 أو 85 وجهًا. كلما زاد الفرق بين عدد الأوجه والكتابات، أصبح لديك دليل أكبر على أن العملة ليست عادلة.

يشير الإحصائيون إلى الفرق بين الإحصاء الملاحظ والقيمة المفترضة باسم حجم التأثير.

الفرضية الصفرية للعملة العادلة تشير إلى 50% أوجه و50% كتابات. إذا كانت العملة في الواقع مثقلة أو مشوهة أو معدلة بطريقة ما لتعطي 55% أوجه، فإن حجم التأثير سيكون 5%. قيمة p تقيس احتمال ملاحظة قيمة متطرفة مثل القيمة التي تم ملاحظتها أو أكثر تطرفًا، بافتراض أن الفرضية الصفرية صحيحة.

افترض أنك قلبت العملة 100 مرة وراقبت ظهور 55 وجهًا و45 كتابة. الفرق 10 مرتبط بقيمة p تبلغ .3682.

قيم رئيسية بهذا الحجم غالبًا ما تُرى في تجارب مع عملة عادلة.

كلما زاد الفرق بين الأوجه والكتابات، مثل 20 أو 26 أو حتى 70، تصبح قيم p المقابلة أصغر.

نادراً ما ترى قيمة p صغيرة، مثلاً أقل من 0.0001 مع عملة عادلة.

في حالة ظهور 15 وجهًا و85 كتابة، لديك دليل على أن العملة ليست عادلة.

احتمالية الحصول على 85 كتابة أو نتائج أكثر تطرفًا أقل من 1 في 10,000 إذا كانت الفرضية الصفرية صحيحة. إذًا إما أن الفرضية الصفرية خاطئة أو أن شيئًا غير محتمل للغاية قد حدث.

التفسير المعتاد هو أن الفرضية الصفرية خاطئة. يمكن التحقق من ذلك من خلال تجارب إضافية.

وبالتالي، تُستخدم قيمة p لتحديد الدلالة الإحصائية.

إنها تساعدك على تقييم ما إذا كان عليك رفض الفرضية الصفرية.

قيمة p لا تتأثر فقط بحجم التأثير، في هذه الحالة، النسبة الملاحظة للأوجه. بل تتأثر أيضًا بحجم العينة، في هذه الحالة، عدد مرات قلب العملة.

بالنسبة للعملة العادلة، تتوقع أن يكون 50% من القلوب أوجه. ماذا لو حصلت على 40% أوجه بدلًا من الـ50% التي تتوقعها؟

هل العملة عادلة؟

لنفترض أنك قمت بقلب العملة 10 مرات ووجدت 40% أو 4 رؤوس. القيمة الاحتمالية الناتجة هي 0.7539.

عندما تقلب العملة 40 مرة وتلاحظ 40% أو 16 رأساً، تنخفض القيمة الاحتمالية من .7539 إلى .2682. وعندما تقلب العملة 100 مرة وتلاحظ 40% أو 40 رأساً، تنخفض القيمة الاحتمالية أكثر إلى .0569. ماذا لو قلبت العملة 400 مرة ووجدت 40% رؤوس؟ تصبح الأدلة أقوى وتصبح القيم الاحتمالية أصغر كلما زاد عدد التجارب.

كما رأيت عندما تحدثنا عن فترات الثقة، فإن التباين حول تقدير المتوسط يصبح أصغر كلما زاد حجم العينة.

كلما كان حجم العينة أكبر، يمكنك قياس المتوسطات بدقة أكبر. لذلك، فإن 40% رؤوس من أصل 400 قلبة تجعلك أكثر ثقة بأن هذا لم يكن مجرد فرق عشوائي مقارنةً بـ 40% رؤوس من أصل 10 قلبات فقط.

القيم الاحتمالية الأصغر تعكس هذا التعليق.

القيمة هنا أقل من .0001 تقيم احتمال أن هذا الفرق عن 50% حدث فقط بالصدفة. تذكر، كما رأيت سابقاً، نادراً ما ترى قيمة احتمالية أقل من .0001 مع عملة عادلة.

غالبًا ما يُساء فهم واستخدام القيم الاحتمالية والأهمية الإحصائية.

كن حذرًا من أن القيم الاحتمالية (p-values) لا يمكنها قياس حجم التأثير أو أهمية النتيجة أو قوة الدليل. ومع ذلك، لا تزال أداة تميز بين النتائج الحقيقية والزائفة.

احتمالات دلالة القيمة الاحتمالية تخبرنا فقط عن احتمال رؤية النتائج بالنسبة لتفسير افتراضي معين.

Question

Which of the following terms can be defined as the difference between the observed statistic and the hypothesized value?

Correct.
Effect size refers to the difference between the observed statistic and the hypothesized value. As the difference increases, you have more evidence against the null hypothesis.
A Type I error occurs if you reject the null hypothesis when it's actually true.
Alpha is the probability of committing a Type I error.

Incorrect.
The correct answer is a. Effect size refers to the difference between the observed statistic and the hypothesized value. As the difference increases, you have more evidence against the null hypothesis.
A Type I error occurs if you reject the null hypothesis when it's actually true.
Alpha is the probability of committing a Type I error.

Question

Keeping the sample size constant, which of the following statements are true regarding type of errors? (Select all that apply)

Correct.
Type I and Type II errors are inversely related. As one type increases, the other decreases.
A higher confidence level is a resultant of setting a lower significance level. Consequently, the Type II error rate would increase and leads to lowering the power of the test.

Incorrect.
The correct answer is b and d. Type I and Type II errors are inversely related. As one type increases, the other decreases.
A higher confidence level is a resultant of setting a lower significance level. Consequently, the Type II error rate would increase and leads to lowering the power of the test.

هناك عدة اختبارات فرضيات للمتوسطات، بما في ذلك اختبار t لعينة واحدة، واختبار t لعينتين، واختبار t للعينات المترابطة، وتحليل التباين (ANOVA).

يقارن اختبار t لعينة واحدة بين المتوسط المحسوب من عينة وقيمة مفترضة. على سبيل المثال، المبيعات تساوي مبلغاً معيناً من الدولارات.

إذا كنت ترغب في مقارنة متوسطات مجموعتين مختلفتين، يمكنك إجراء اختبار t لعينتين. على سبيل المثال، مبيعات المناطق الريفية تساوي مبيعات المناطق الحضرية. بالنسبة للعديد من أنواع البيانات، يتم أخذ قياسات متكررة على نفس الشخص طوال فترة الدراسة. على سبيل المثال، المبيعات قبل الإعلان والمبيعات بعد الإعلان. أبسط أشكال هذه الدراسة غالباً ما يُشار إليها باختبار t للعينات المترابطة.

تحليل التباين (ANOVA) هو تقنية إحصائية تُستخدم لمقارنة متوسطات مجموعتين أو أكثر. على سبيل المثال، مبيعات المناطق الشمالية والجنوبية والشرقية والغربية متساوية. في هذه الدورة، سنركز على اختبار t لعينة واحدة.

دعونا ننظر إلى مثال آخر على اختبار الفرضيات.

تتلقى منظمة المحاربين القدامى مبالغ تبرعات مختلفة من أفراد مختلفين. تعتقد المنظمة أن متوسط مبلغ التبرع هو 100 دولار، وترغب في التحقق من ذلك.

إذا كنت تختبر الفرضية الصفرية، فإن المتوسط يساوي المتوسط الصفري. مقابل الفرضية البديلة، المتوسط لا يساوي المتوسط الصفري. عندما لا تعرف الانحراف المعياري الحقيقي للمجتمع σ، يجب أن تقدره من العينة. عندها، يجب أيضًا استخدام توزيع t للطالب بدلاً من التوزيع الطبيعي لحساب قيم p وحدود الثقة.

توزيع t للطالب هو توزيع احتمالي يُستخدم لتقدير معلمات المجتمع عندما يكون تباين المجتمع الحقيقي غير معروف، أو عندما يكون حجم العينة صغيرًا نسبيًا، أو كلاهما.

توزيع t للطالب يشبه التوزيع الطبيعي، لكنه يحتوي على احتمالية أكبر في الأطراف، وليس حاد القمة مثل التوزيع الطبيعي.

توزيع t للطالب يقترب من التوزيع الطبيعي، إحصائية z، كلما زاد حجم العينة.

برنامج SAS يبلغ دائمًا عن توزيع t.

تحسب قيمة إحصائية t للطالب باستخدام المعادلة: t تساوي متوسط العينة ناقص المتوسط الصفري، مقسومًا على الخطأ المعياري. دعونا نحسب إحصائية t للطالب لبيانات المتبرعين PVA لاختبار فرضيتنا الصفرية.

المتوسط الصفري هو القيمة المفترضة 100 دولار.

متوسط العينة هو متوسط مبلغ التبرع 101.64 دولار.

و S لمتوسط العينة هو الخطأ المعياري للمتوسط، 0.369 دولار. القيمة الناتجة لـ t هي 4.44.

قبل أن تتمكن من اتخاذ قرار بشأن فرضيتك، تحتاج إلى معرفة احتمال ملاحظة إحصائية اختبار t تساوي 4.44 أو أكثر تطرفًا إذا كانت الفرضية الصفرية صحيحة. هذا الاحتمال هو قيمة p.

إنها تقيس مدى احتمال حصولنا على متوسط العينة 101.64 دولار عندما تكون الفرضية الصفرية لمتوسط مبلغ التبرع في المجتمع 100 دولار صحيحة.

دعونا نلقي نظرة على توزيع t.

الفرضية البديلة هي عدم مساواة. إذًا هذا اختبار ذو طرفين. المنطقة المظللة في الرسم البياني هي منطقة الرفض.

في اختبار الطرفين، تكون منطقة الرفض في كلا الطرفين، وتساوي المساحة في كل طرف ألفا على اثنين، أو في هذه الحالة، اثنين ونصف بالمئة.

إذا وقعت قيمة t في المنطقة المظللة، فإنك ترفض الفرضية الصفرية. وإلا، فإنك تفشل في رفضها. قيمة t لدينا، 4.44، تقع داخل منطقة الرفض، لذا نرفض فرضيتنا الصفرية.

قيمة ألفا وتوزيع t المذكورين هنا مرتبطان مباشرة بتلك الموجودة في فترة الثقة.

في مثالنا، ألفا هي 0.05 أو 5%.

المساحة خارج فترة الثقة تتوافق مع المنطقة المظللة في توزيع t أو منطقة الرفض.

Question

As the sample size increases, the t-distribution becomes more similar to the normal distribution.

Correct.
The shape of t-distribution is affected by the sample size. If the sample size increases, then t- distribution gets closer to the normal distribution.

Incorrect.
The correct answer is a. The shape of t-distribution is affected by the sample size. If the sample size increases, then t- distribution gets closer to the normal distribution.

المفاهيم الإحصائية بما في ذلك القيم الاحتمالية (p-values) ترتبط ارتباطًا وثيقًا بتعلم الآلة. على سبيل المثال، تمتلك الخوارزميات المعتمدة على الأشجار عدة معايير للتقسيم تعتمد على اختبارات إحصائية تستخدم نهج القيمة الاحتمالية.

تحتاج إلى تحديد مستوى الدلالة لمعايير التقسيم، مثل شيد، كاي-تربيع، واختبار F.

تستخدم نماذج الانحدار، مثل الانحدار الخطي، والانحدار اللوجستي، والانحدار الكمي، ونموذج GLM، مستويات دلالة للدخول والبقاء لإضافة وإزالة المتغيرات في طرق التتابع الأمامي، والخلفي، والخطوة بخطوة.

في الشبكة البايزية، تحدد مستوى الدلالة، أي القيمة الاحتمالية، لاختبار الاستقلالية باستخدام كاي-تربيع وg-تربيع. كلما كانت القيمة التي تحددها أصغر، تم اختيار عدد أقل من المتغيرات.

التجميع التفاعلي هو مثال آخر حيث يستخدم كاي-تربيع القيمة الاحتمالية لإحصائية كاي-تربيع بيرسون للهدف. لذا في سياق تعلم الآلة، تُستخدم القيم الاحتمالية بشكل أساسي لاختيار السمات في مرحلة معالجة البيانات المسبقة.

في الإحصاء، تُجرى اختبارات الفرضيات للتحقق مما إذا كان الاستنتاج الذي تم التوصل إليه حول المجتمع الإحصائي صالحًا أم لا في تجربة معينة. ومع ذلك، لا ينبغي الاعتماد بشكل مفرط على القيم الاحتمالية في تجارب تعلم الآلة.

في تعلم الآلة، تركيزنا الأساسي هو النمذجة التنبؤية وليس النمذجة الاستنتاجية. غالبًا ما تتعامل مشاريع تعلم الآلة مع جميع الجوانب الإحصائية قبل تطبيقها عمليًا. هناك العديد من تقنيات معالجة البيانات المسبقة، مثل هندسة السمات وغيرها، التي تعالج الافتراضات في البيانات لتعلم الآلة. إدخال المفاهيم الإحصائية، مثل اختبار الفرضيات والقيم الاحتمالية، على نموذج تعلم آلة معد بشكل جيد قد يؤدي إلى زيادة التعقيد في إجراء الاستنتاجات بناءً على القيم الاحتمالية.

في النهاية، تظهر أهمية القيم الاحتمالية فقط عندما يكون هناك عدد قليل من المعلمات أو المتغيرات المشاركة في التجارب أو المشروع.

الاعتماد المفرط على الحد التعسفي لمستوى الدلالة 5% قد يؤدي إلى الفشل في فهم الفرق بين الدلالة الإحصائية والدلالة العملية.

تتفاقم هذه المشكلة بشكل خاص في سياق دراسات الاستكشاف للبيانات الضخمة حيث تبحث فقط عن العلاقات الإحصائية بدلاً من العلاقات السببية. تؤدي أحجام العينات الكبيرة إلى قيم احتمالية أصغر، وفي هذه الحالة تميل إلى رفض الفرضية الصفرية تقريبًا في كل مرة. لذا من الأفضل اختيار حد أدنى صغير جدًا لمستوى الدلالة عند استخدام نهج القيمة الاحتمالية في عالم تعلم الآلة. ومع البيانات الضخمة، غالبًا ما يُقترح مستوى دلالة 0.01 أو أقل.

لنعد إلى مثال المتبرعين PVA underscore. بالنسبة لمبلغ التبرع المعطى، يتم عرض قيمة حرجة بمقدار زائد أو ناقص 1.96.

القيمة الحرجة هي نقطة على توزيع t تتم مقارنتها بالإحصائية الاختبارية لتحديد ما إذا كان يجب رفض الفرضية الصفرية أم لا.

كلما انخفض مستوى الدلالة، تقلصت منطقة الرفض أيضًا. القيمة الحرجة المعروضة هنا هي الآن زائد أو ناقص 2.58. ومع انخفاض مستوى الدلالة أكثر، تتقلص منطقة الرفض أكثر. القيمة الحرجة المعروضة هنا هي الآن زائد أو ناقص 3.29.

في هذا العرض التوضيحي، ستستخدم تدفقًا يحتوي على عقدة اختبار t لاختبار ما إذا كان متوسط مبلغ التبرع في المجتمع هو 100 دولار، بناءً على المعلومات الموجودة في جدول متبرعي PVA. لذا سنقوم بإنشاء تدفق جديد. وللقيام بذلك، انقر على علامة الزائد بجوار أي علامة تبويب مفتوحة واختر "تدفق".

بدلاً من ذلك، يمكننا استخدام زر "جديد" في الزاوية العلوية اليسرى واختيار "تدفق" من هناك.

بعد ذلك، نرغب في إضافة عقدة جدول لتمثيل جدول متبرعي PVA.

إحدى الطرق التي يمكننا القيام بذلك هي من خلال خطوات SAS، حيث يمكننا توسيع قسم إدخال البيانات وإخراجها واختيار عقدة جدول. ثم سيتعين علينا اختيار المكتبة واسم الجدول المناسبين. هناك طريقة أخرى لإضافة عقدة الجدول لدينا وهي الذهاب إلى قائمة المكتبات. وتحت VST، ابحث عن جدول متبرعي PVA. انقر واسحب الجدول إلى التدفق الخاص بنا.

ستلاحظ أن اسم المكتبة واسم الجدول قد تم تعبئتهما بالفعل.

بعد ذلك، انتقل إلى الخطوات، ثم سنبحث عن خطوة اختبار t لإضافتها إلى هذا التدفق. يمكنك العثور عليها تحت قسم الإحصائيات.

وفي الأسفل، ابحث عن خطوة اختبار t وانقر عليها مرتين.

بعد ذلك، سنحتاج إلى ربط متبرعي PVA باختبار t. يمكنك اختيار "ترتيب العقد" وإغلاق قائمة الخطوات.

مع تحديد اختبار t، علينا تعبئة بعض الخصائص. هناك عدة أنواع من اختبارات t، مثل اختبار العينة الواحدة، واختبار t المزدوج، واختبار العينتين. وسنستخدم اختبار العينة الواحدة الافتراضي.

المتغير الذي سنقوم بتحليله هو مبلغ التبرع.

اختر مبلغ التبرع من الجدول وانقر موافق.

انتقل إلى الخيارات. سنجري اختبارًا ثنائي الطرفين، والفرضية البديلة هي أن μ، أي متوسط المجتمع، لا يساوي 100 دولار.

قم بإلغاء تحديد "اختبار التوزيع الطبيعي". ثم تحت الرسوم البيانية، غيّر "الرسوم الافتراضية" إلى "الرسوم المحددة". وستلاحظ أن الرسم البياني التكراري، ورسم الصندوق، ورسم اختبار التوزيع الطبيعي محددة بالفعل. ثم حدد أيضًا رسم فترة الثقة.

قم بحفظ هذا باسم "تدفق اختبار t".

ثم انقر على "تشغيل".

يمكنك النقر على "الكود المقدم والنتائج"، ثم "النتائج".

ستلاحظ أن حجم العينة لهذا الاختبار هو حوالي 4800 ملاحظة، وهذا يمثل نصف حجم العينة الكلي لدينا. تذكر أن مجموعة البيانات هذه تم إنشاؤها بحيث تبرع نصف المتبرعين فقط، والنصف الآخر لم يتبرع، لذلك لدينا فقط مبالغ التبرع لـ 50% الذين تبرعوا فعليًا.

متوسط مبلغ التبرع هو 101.60 دولار، ونطاق التبرعات يتراوح من 0 دولار إلى 211.96 دولار.

حدود الثقة بنسبة 95% للمتوسط تتراوح من 100.90 دولار إلى 102.40 دولار.

ونلاحظ أن القيمة المفترضة تقع خارج فترة الثقة بنسبة 95%.

هذا يعني أنه يمكننا رفض الفرضية القائلة بأن متوسط مبلغ التبرع في المجتمع يساوي 100 دولار.

في الواقع، أي قيمة تقع خارج فترة الثقة بنسبة 95% سيتم رفضها عند مستوى ألفا يساوي 5%. يمكننا أيضًا رؤية ذلك هنا من خلال قيمة p المدرجة بأنها أقل من 0.0001. كما نحصل على رسم بياني تكراري مع منحنى طبيعي مضاف فوقه، مما يُظهر أن مبلغ التبرع يتبع تقريبًا التوزيع الطبيعي.

بعد ذلك، يمكننا أيضًا رؤية رسم فترة الثقة بنسبة 95%. المتوسط محدد بمربع، ويمكنك رؤية فترة الثقة هنا. وقيمتنا المفترضة البالغة 100 دولار تقع خارج فترة الثقة هذه. مرة أخرى، أي قيمة نفترضها لمبلغ التبرع وتقع خارج حدود الثقة لدينا يمكن رفضها عند مستوى ألفا يساوي 5%. إذا قمنا بالتمرير للأسفل، يمكننا أيضًا رؤية رسم QQ، الذي يُظهر النقاط على طول خط المرجع الطبيعي، مما يشير إلى أن مبلغ التبرع يتبع التوزيع الطبيعي. دعونا نعود للأعلى وننظر مرة أخرى إلى تلك القيمة، متوسط مبلغ التبرع. ومرة أخرى، هو 101.60 دولار. في هذه المرحلة، قد تجد صعوبة في قبول ما إذا كان فرق 1.60 دولار بين القيمة المفترضة البالغة 100 دولار والمتوسط الفعلي يُعتبر فرقًا ذا دلالة إحصائية، عندما يتراوح مبلغ التبرع من 0 إلى 211 دولارًا. حسنًا، التفسير الذي توصلنا إليه من اختبار t يعتمد على البيانات المتوفرة لدينا ومستوى الدلالة الذي اخترناه. الآن، يعتقد بعض المحللين أن هناك اعتمادًا مفرطًا بشكل عام على الحد التعسفي لمستوى الدلالة 5%. قد يكون 5% مناسبًا لمجموعات البيانات الصغيرة، ولكن في سياق البيانات الضخمة، لا يكون ذلك مناسبًا دائمًا. فكلما زاد حجم العينة، أصبحت قيمة p أصغر. وفي هذه الحالة، نميل إلى رفض الفرضية الصفرية تقريبًا في كل مرة. لذلك، قد يكون من الأفضل اختيار حد أدنى صغير جدًا لمستوى الدلالة عند استخدام منهجية قيمة p في عالم البيانات الضخمة. في هذا المثال، لدينا مجموعة بيانات كبيرة جدًا من الناحية الإحصائية مع 4800 ملاحظة. لذلك، استخدام مستوى دلالة 5% من المرجح جدًا أن ينتج بعض النتائج ذات الدلالة الإحصائية. لذا دعونا نرى تأثير استخدام حد أدنى أصغر لمستوى الدلالة على الاستنتاج الذي نستخلصه وفترات الثقة التي يتم إنشاؤها. سأنتقل إلى مجلد دورة VST وأفتح ملف برنامج SAS المسمى "تغيير ألفا في اختبار t". لدينا برنامج لتشغيل اختبار t لعينة واحدة، لكن المختلف هنا هو أننا حددنا مستوى ألفا عند 0.0000001.

نستخدم مستوى ألفا أصغر بكثير لاختبار t لعينة واحدة.

سأنقر على زر "نسخ إلى التدفق".

وأضيف هذا البرنامج إلى تدفق اختبار t.

سنلاحظ أنه يظهر كبرنامج SAS.

سأقوم بحفظ تدفق اختبار t الخاص بنا. ثم سأضغط بزر الماوس الأيمن على عقدة برنامج SAS وأختار "تشغيل العقدة".

انقر على "الكود المقدم والنتائج"، ثم "النتائج".

حسنًا، لاحظ أن متوسط العينة لدينا هو نفسه تمامًا، وقيمة p لا تزال أقل من 0.0001. لكن ما تغير هنا هو أن لدينا الآن حدود ثقة بنسبة 99.9999% للمتوسط. ويتراوح هذا من 99.83 دولار إلى 103.40 دولار.

بهذا المستوى من الثقة، لا يمكننا رفض الفرضية القائلة بأن متوسط مبلغ التبرع الحقيقي في المجتمع يساوي 100 دولار.

يمكننا أيضًا رؤية ذلك بوضوح أكبر هنا في رسم فترة الثقة، حيث نرى فترة الثقة التي أنشأناها للتو، وقيمتنا المفترضة البالغة 100 دولار تقع ضمن حدود الثقة لدينا. في الواقع، لا يمكننا رفض أي قيمة مفترضة لمتوسط المجتمع تقع ضمن هذه الحدود عند هذا المستوى من ألفا. لذا لا يوجد شيء مميز حول مستوى ألفا 0.05. يجب أن يعتمد مستوى ألفا الذي تستخدمه في بحثك على المشكلة التي تدرسها وحجم العينة في بياناتك.

Question

A 95% confidence interval for mean of Gift Amount Average 36 Months is ($14.67, $15.08). From this, what can you conclude at alpha=0.05?

Correct.
The interval $14.67 to $15.08 contains $15. If your interval contains the hypothesized value, the true mean is not significantly different.

Incorrect.
The correct answer is b. The interval $14.67 to $15.08 contains $15. If your interval contains the hypothesized value, the true mean is not significantly different.

TopicTitle

What have you learned?

The study of statistics can be divided into descriptive statistics and inferential statistics.
Population parameters are generally unknown and can be estimated or tested using sample statistics.
Sampling is broadly classified into probability and non-probability sampling.
Event-based sampling is extremely important in machine learning predictive models -- oversampling and undersampling.
The PVA _Donors data has more than 9,000 rows and 29 columns. There is one binary target and one (related) interval target.
Using measures of shape, like skewness and kurtosis, in conjunction with measures of central tendency and dispersion, makes possible a near complete numerical description of your data.
In addition to plotting your data using histograms, you can use box plots and normal probability plots to compare your data with the normal distribution.
Normal distribution assumption is useful in many machine learning tasks, including data preparation.
You often consider values that are more than two or three standard deviations from the mean as unusual.
Higher confidence levels result in wider intervals.
In machine learning, the term inference is sometimes used to mean "make a prediction, by evaluating an already trained model".
The p-value is the probability of obtaining a test statistic as extreme or more extreme than the one observed in your data given that the null hypothesis is true.
A one-sample t test compares the mean calculated from a sample to a hypothesized mean.
Large sample sizes result in smaller p-values that often leads to reject the null hypothesis. With big data, a significance level of .01 or smaller is suggested.

فكر في بيانات المتبرعين لجمعية PVA. هناك عدة متغيرات يمكن أن تؤثر على مبلغ التبرع.

ربما تكون المتغيرات الفئوية مثل الجنس وملكية المنزل مرتبطة بشكل كبير بمبالغ التبرع.

أو ربما تكون المتغيرات المستمرة مثل الدخل ومتوسط مبلغ الهدية مرتبطة خطيًا بمبلغ التبرع.

تحتاج إلى أدوات لاستكشاف العلاقات ومساعدتك في اختيار المتنبئات التي قد تكون مهمة.

نبدأ هذا الدرس باستخدام بعض الأدوات الرسومية التي يمكن أن تساعدنا في تحديد المتنبئات التي من المحتمل أو غير المحتمل استخدامها.

يمكن تعزيز هذه الاستكشافات الرسومية بتحليل الارتباط الذي يصف العلاقات الخطية بين المتنبئات المحتملة ومتغيرات الاستجابة لدينا.

ثم تساعدنا أدوات مثل الانحدار في تقييم جودة العلاقة بين الاستجابة والمتنبئات.

نستكشف عدة أدوات لاختيار النماذج تساعدنا في تقليل عدد النماذج المرشحة.

في هذا الدرس، تعلمت أيضًا التحقق من الافتراضات الأساسية وتشخيص المشكلات التي تواجهها في الانحدار الخطي.

تتعلم فحص البواقي، وتحديد القيم الشاذة التي تكون بعيدة عدديًا عن غالبية البيانات، وتحديد الملاحظات المؤثرة التي تؤثر بشكل مفرط على نموذج الانحدار.

وأخيرًا، تتعلم تشخيص التداخل الخطي لتجنب تضخم الأخطاء المعيارية وعدم استقرار المعاملات في النموذج.

النمذجة التفسيرية تركز على فهم وشرح العلاقات بين متغير الاستجابة ومجموعة من المتغيرات المتنبئة. في النمذجة التفسيرية، تُطبَّق النماذج الإحصائية على البيانات لاختبار الفرضيات السببية. في مثل هذه النماذج، يُفترض أن مجموعة من العوامل الأساسية التي يتم قياسها بواسطة المتغيرات المتنبئة تسبب تأثيراً أساسياً يتم قياسه بواسطة متغير الاستجابة.

الهدف الأساسي من النمذجة التفسيرية هو تقدير المعلمات واختبار الفرضيات المتعلقة بهذه المعلمات.

الهدف الرئيسي هو اختبار الفرضيات، لذلك هناك تركيز على كل من العلاقات ذات المعنى النظري وتحديد ما إذا كانت كل علاقة ذات دلالة إحصائية.

قد يتساءل علماء البيانات ومطورو النماذج التنبؤية: لماذا يجب أن أتعلم عن النمذجة التفسيرية؟ هناك العديد من الأسباب لفهم النمذجة التفسيرية حتى لو كنت في الأساس مطور نماذج تعلم آلي.

في العديد من المجالات، يطلب المنظمون شرح نتائج النموذج، وهو ما يتم تسهيله بشكل كبير باستخدام أدوات ومنهجية النمذجة التفسيرية. على سبيل المثال، في تقييم الجدارة الائتمانية، يجب أن تصمد قرارات القروض أمام تدقيق الجهات التنظيمية وغالباً ما يُستخدم نموذج الانحدار اللوجستي.

قد تحتاج المؤسسات المالية إلى شرح سبب الموافقة على قرض أو رفضه.

النمذجة التفسيرية هي أحد الأساليب المهمة لاختيار المتغيرات. الانحدار التدريجي وLasso هما من طرق اختيار المتغيرات الشائعة في عالم تعلم الآلة، وتُقدَّم تفاصيل حول سبب اختيار متغيرات معينة.

معظم خوارزميات تعلم الآلة تركز على دقة التنبؤ بدلاً من قابلية تفسير النموذج. في تلك الحالات، تأتي النمذجة التفسيرية لإنقاذك من خلال تشغيل نماذج الانحدار لتقديم تفسيرات للتنبؤات.

في كثير من الحالات، على سبيل المثال عند استخدام مجموعات بيانات صغيرة، يكون تشغيل نموذج تفسيري بسيط مثل الانحدار كافياً حتى لأغراض التنبؤ، ولا تحتاج إلى تشغيل نموذج تعلم آلي معقد على الإطلاق.

سبب آخر هو أنه، رغم التركيز على التنبؤ، قد تكون هناك مواقف تحتاج فيها إلى إجراء استدلالات في عملك. قد يحتاج المسوقون إلى التنبؤ بمن المرجح أن يشتري منتجاً ما، وأيضاً إبلاغ قسمهم عما إذا كان التسويق عبر البريد الإلكتروني أو التسويق عبر البريد التقليدي يميل إلى تحقيق استجابات أفضل.

في هذا الدرس، نركز على تحديد العلاقة بين المتغيرات المستمرة. طريقة جيدة للبدء في استكشاف هذه العلاقات هي من خلال إنشاء مخطط مبعثر. يمكن أن تساعد المخططات المبعثرة في تحديد العلاقة بين x و y. فهي تظهر نطاق x ونطاق y. غالبًا ما تبرز الملاحظات غير المعتادة بشكل أوضح في هذه المخططات الثنائية المتغيرات مقارنةً بالرسوم البيانية وتحليل المتغيرات الفردية.

في هذه الصورة، تصطف نقاط البيانات. يمكننا وصف صورة العلاقة بأنها ارتباط خطي إيجابي بين المتغيرات المستمرة.

هل نرى علاقة قوية أم ضعيفة؟

كيف يمكننا قياس قوة هذه العلاقة؟ الإحصائية التي تصف قوة الارتباط الخطي هي معامل ارتباط بيرسون.

هناك العديد من الإحصاءات التي تقيس الارتباط بين المتغيرات. الأكثر استخدامًا هو معامل ارتباط بيرسون.

يقيس الارتباط قوة العلاقة الخطية بين المتغيرات المستمرة. وهو مقياس بلا وحدة يمكن أن يأخذ قيماً بين سالب واحد وموجب واحد.

إذا كان أحد المتغيرين يميل إلى الزيادة في القيمة مع زيادة المتغير الآخر، فهذا ارتباط إيجابي.

إذا كان أحد المتغيرين يميل إلى النقصان في القيمة مع زيادة المتغير الآخر، يكون الارتباط سلبيًا. إذا لم تكن هناك علاقة خطية بين المتغيرين، يكون الارتباط صفرًا. وهذا يعني أنهما غير مرتبطين.

العلاقات الأقوى تكون أقرب إلى موجب واحد أو سالب واحد، والعلاقات الأضعف تكون أقرب إلى الصفر. ضع في اعتبارك أن المتغيرات المستمرة قد تكون لها علاقات قوية غير خطية بطبيعتها.

لهذا السبب، من المهم النظر إلى مخططات التبعثر عند تفسير معامل الارتباط.

المعلم السكاني الذي يمثل الارتباط هو "رو"، ومعامل الارتباط "آر" هو الإحصاء العيني الذي يقدّر "رو". الفرضية الصفرية لاختبار معامل الارتباط هي أن "رو" يساوي صفرًا، والفرضية البديلة هي أن "رو" لا يساوي صفرًا. رفض الفرضية الصفرية يعني أن الأدلة تشير إلى أن الارتباط الحقيقي في المجتمع الإحصائي يختلف إحصائيًا عن الصفر. ضع في اعتبارك أن قيمة p لا تقيس قوة العلاقة. معامل الارتباط العيني "آر" لا يقيس قوة العلاقة.

لتحديد قوة العلاقة بين متغيرين، عليك التركيز على "آر" لمعرفة ما إذا كان كبيرًا بشكل معنوي.

كما هو الحال مع العديد من الإحصاءات، يمكن أن تؤدي أحجام العينات الكبيرة جدًا إلى قيم p صغيرة.

في التطبيق العملي، مع حجم عينة كبير بما فيه الكفاية، ستقوم تقريبًا دائمًا برفض الفرضية القائلة بأن "رو" يساوي صفرًا، حتى لو كانت قيمة معامل الارتباط صغيرة من الناحية العملية.

Question

Scatter plots are useful to accomplish which of the following? Select all that apply.

Correct.
Scatter plots are useful to explore the relationships between two continuous variables, locate outlying or unusual values, and identify a basic range of Y and X values. They are also useful for identifying possible trends and communicating data analysis results. However, scatter plots cannot quantify the association between two continuous variables; instead, the Pearson correlation coefficient can be used.

Incorrect.
The correct answer is a, b, and c. Scatter plots are useful to explore the relationships between two continuous variables, locate outlying or unusual values, and identify a basic range of Y and X values. They are also useful for identifying possible trends and communicating data analysis results. However, scatter plots cannot quantify the association between two continuous variables; instead, the Pearson correlation coefficient can be used.

غالبًا ما يخلط الطلاب بين الارتباط والتغاير لأن كليهما يصف علاقة بين متغيرات مستمرة يمكن أن تأخذ قيماً موجبة أو سالبة.

في بعض الأحيان، تحتاج إلى الاختيار بين مصفوفة الارتباط ومصفوفة التغاير.

على سبيل المثال، في تعلم الآلة، تحتاج إلى اختيار مصفوفة مصدر القيم الذاتية في تحليل المكونات الرئيسية (PCA). وبالمثل، يُطلب منك تحديد الحد الأقصى لعدد تكرارات النزول الإحداثي لتقدير مصفوفة التغاير الدقيق المتناثر في تجميع المتغيرات، كما تحتاج إلى تحديد مصفوفة المصدر لتشغيل اختيار المتغيرات غير الخاضع للإشراف.

الارتباط هو في الواقع نسخة موحدة من التغاير. فهو التغاير مقسومًا على حاصل ضرب الانحراف المعياري لـ X و Y.

وبينما يمكن أن يأخذ التغاير قيماً من سالب ما لا نهاية إلى موجب ما لا نهاية، فإن الارتباط ستكون قيمته بين -1 و +1.

هناك فرق آخر بين التغاير والارتباط وهو أن التغايرات لها وحدات وتتأثر بتغيير مقياس الخطأ.

تغيير وحدات أحد المتغيرات يغير التغاير بين المتغيرات.

الارتباطات هي مقاييس لا وحدوية للعلاقة ولا تتأثر بتغيير مقياس المتغير.

على سبيل المثال، لننظر إلى مجموعة بيانات تتضمن أطوال وأوزان 19 طالبًا. لاحظ أن الارتباط هو 0.8778، بغض النظر عما إذا كانت القياسات بالبوصة والرطل أو بالسنتيمتر والكيلوغرام.

عندما يتغير المقياس من النظام الإنجليزي إلى النظام المتري، يتغير التغاير بين الطول والوزن من 102 إلى 118.

إن عدم التأثر بتغيير المقياس والحدود الأكثر وضوحًا، أي -1 و +1، يجعل الارتباطات أسهل في الاستخدام عند توصيل العلاقات.

العديد من العلاقات بين المتغيرات المستمرة ليست خطية بطبيعتها، وبالتالي سيكون من غير المناسب قياسها باستخدام الارتباط.

إحدى هذه العلاقات موضحة على اليسار. تُظهر هذه الصورة علاقة منحنية قوية بين X و Y. على الرغم من أنه من الممكن حساب معامل الارتباط، والذي سيكون قريبًا من الصفر، إلا أن هذا الارتباط سيكون مضللًا. بدون صورة، لا يمكن للمحلل أن يكون متأكدًا من أن معامل الارتباط هو الأداة المناسبة للعمل. سيكون معامل الارتباط للرسم البياني الأوسط أيضًا قريبًا من الصفر، على الرغم من العلاقة الدورية القوية. كما أن معامل الارتباط سيقدم وصفًا مضللًا للبيانات الموجودة على اليمين. هنا، لا توجد علاقة أساسية بين X و Y، لكن وجود ملاحظة غير معتادة واحدة سيؤدي إلى ارتباط قوي موجب بين X و Y.

بدون المزيد من البيانات لسد الفجوة في المعلومات بين القيم الشاذة وبقية الملاحظات، لا يمكن للمحللين أن يستنتجوا وجود علاقة خطية على الإطلاق.

رسم البيانات الخاصة بك هو خطوة أساسية في تحليل الارتباط، وفي الواقع، في جميع التحليلات الإحصائية.

الارتباطات ليست مفيدة فقط في النماذج التفسيرية.

غالبًا ما تُستخدم أثناء إعداد البيانات قبل بناء نموذج تعلم آلي كجزء من عملية تصفية المتغيرات. عندما يكون لدى الباحث العديد من المتغيرات المستقلة، يمكن أن يكون تقليل عدد المتغيرات أمرًا مهمًا، خاصة في النماذج التي لا تحتوي على طرق مدمجة لتقليل المتغيرات، مثل الشبكات العصبية. يمكن استخدام الارتباطات لتصفية المتغيرات بطريقتين عامتين: إما بناءً على الارتباطات بين المتغيرات المستقلة والمتغير التابع، أو بناءً على الارتباطات بين المتغيرات المستقلة نفسها. تصفية المتغيرات بناءً على الارتباط مع المتغير التابع تساعد في تحديد المتغيرات غير ذات الصلة. أما تصفية المتغيرات بناءً على الارتباطات بين المتغيرات المستقلة فتساعد في تحديد المتغيرات الزائدة عن الحاجة. يمكن التخلص من المتغيرات غير ذات الصلة والزائدة عن الحاجة قبل ملاءمة نماذج التعلم الآلي. وتسمى هاتان الطريقتان اختيار المتغيرات تحت الإشراف ودون إشراف.

يُقال إن المتغير التنبؤي ذو صلة عندما يكون لديه ارتباط قوي مع المتغير التابع، مثل X واحد، كما هو موضح في الرسم التوضيحي على اليسار. المتغير التنبؤي ذو الصلة سيشرح حينها قدراً أكبر من التباين في المتغير التابع Y.

يُقال إن المتغير التنبؤي غير ذي صلة عندما لا يكون لديه ارتباط قوي مع المتغير التابع مثل X اثنان كما هو موضح في الرسم التوضيحي على اليمين. المتغير التنبؤي غير ذي الصلة لن يفسر أو بالكاد يفسر أي قدر من التباين في المتغير التابع Y.

يُقال إن المتنبئين غير متكررين عندما لا يكون هناك ارتباط قوي بينهما مثل X3 و X4 كما هو موضح في الرسم التوضيحي على اليسار. المتنبئون غير المتكررين أو المستقلون لا يؤثرون بشكل سلبي على التباين الذي يفسرونه في متغير الاستجابة. في الواقع، المتنبئين المستقلين يُفضلون لأنهم يفسرون تبايناً حصرياً في متغير الاستجابة. شاهد.

يُقال إن المتنبئين متكررين عندما يكون هناك ارتباط قوي بينهما مثل x5 و x6 كما هو موضح في الرسم التوضيحي على اليمين. المتنبئون المتكررين أو المعتمدين قد يؤثرون بشكل سلبي على التباين الذي يفسرونه في متغير الاستجابة. في الواقع، المتنبئين المعتمدين غير مفضلين بسبب الكمية الكبيرة من التباين في متغير الاستجابة y التي عادةً ما يتم تفسيرها من قبلهم. لذلك، يتم تفسير كمية ضئيلة جداً من التباين بشكل حصري من قبلهم. هذه الظاهرة تُعرف عادةً باسم التداخل أو التوازي (collinearity). سنناقش التوازي بالتفصيل لاحقاً في هذا الدرس.

في الرسم البياني الأول المعروض هنا، المتغير المستقل DemPCTVeterans لديه ارتباط شبه معدوم مع متغير الهدف donation_AMT. يمكن اعتبار هذا المتغير غير ذي صلة بالتنبؤ واستبعاده من التحليل.

في الرسم البياني الثاني، المتغيران GIF-AVG-36 و GIF-AVG-CARD-36 متكرران. فهما ينقلان في الأساس نفس المعلومات بسبب الارتباط العالي بينهما والذي يبلغ 0.96. من المنطقي استخدام متغير واحد فقط واستبعاد الآخر من التحليل.

بعض الارتباطات تعود إلى علاقات سببية بين المتغيرات.

العلاقة السلبية بين استخدام حزام الأمان والوفيات في الحوادث المرورية هي علاقة سببية، لكن العديد من الارتباطات الأخرى ليست بسبب علاقات سببية. على سبيل المثال، هناك ارتباط قوي بين مبيعات الآيس كريم وحالات الوفاة غرقاً. هذا ارتباط زائف. فالزيادة في حالات الوفاة غرقاً سببها الواضح هو زيادة التعرض للأنشطة المائية، وليس تناول الآيس كريم. يميل الناس إلى تناول المزيد من الآيس كريم والسباحة أكثر في الطقس الدافئ.

Question

Which of the following statements is true?

Correct.
The Pearson correlation coefficient, r, measures the strength of the linear association between continuous variables and can take values between negative 1 to positive 1. Stronger relationships are closer to +1 or -1, and weaker relationships are closer to zero. A p-value doesn't measure the strength of the association, and a random cloud of data indicates that the variables are uncorrelated.

Incorrect.
The correct answer is d. The Pearson correlation coefficient, r, measures the strength of the linear association between continuous variables and can take values between negative 1 to positive 1. Stronger relationships are closer to +1 or -1, and weaker relationships are closer to zero. A p-value doesn't measure the strength of the association, and a random cloud of data indicates that the variables are uncorrelated.

ما فائدة الانحدار عندما يكون لدينا بالفعل الارتباط لقياس العلاقة بين متغيرين مستمرين؟ في الواقع، يمنحنا الانحدار معلومات إضافية حول العلاقة.

على سبيل المثال، تظهر هنا مجموعتان من البيانات، إحداهما باللون الأحمر، بعلامات الزائد، والأخرى باللون الأزرق، وهي السطح.

الارتباط بين x و y لمجموعة البيانات الزرقاء يكاد يكون مطابقًا للارتباط بين x و y لمجموعة البيانات الحمراء، لكن من الواضح أن هناك علاقات خطية مختلفة جدًا بين هاتين المجموعتين من البيانات.

تبدأ قيمة Y أصغر ولكنها تزداد بمعدل أسرع مع X في مجموعة البيانات الزرقاء.

يمكن لنمذجة الانحدار التمييز بين هاتين المجموعتين من البيانات، في حين أن الارتباط لن يكون قادرًا على ذلك.

فكيف نصف هذه العلاقات باستخدام الانحدار الخطي؟

TopicTitle

Another method for quantifying linear relationships is linear regression. The term regression was first used in the 1880s by Sir Francis Galton.

(See Text Version for Image)

Galton observed that parents tended to have children who grew up to heights that were closer to the average than their own heights. In other words, when parents were taller than average, their adult children tended to be shorter than their parents. And when parents were shorter than average, their adult children tended to be taller than their parents. He called this pattern regression towards mediocrity, with mediocrity referring to the average or mean.

(See Text Version for Image)

The modern meaning of the word regression is a statistical tool that enables us to describe the relationship between two or more continuous variables. The relationship is estimated by expressing one variable (the dependent variable Y) as a linear function of the one or several other variables (the independent variables, or Xs).

$Y = β_{0} + β_{1} + ε$

إليك صورة لنموذج الانحدار الخطي البسيط. Y تساوي بيتا صفر زائد بيتا واحد في x زائد إبسيلون. مصطلح "بسيط" يعني أنه يتضمن متغيرًا متنبئًا واحدًا فقط. إذا كان هناك متنبئان أو أكثر، يصبح هذا نموذج انحدار متعدد.

في نموذج الانحدار السكاني الموضح، يصف التقاطع، بيتا صفر، متوسط قيمة y عندما تكون x تساوي صفرًا. ويصف معامل الانحدار، بيتا واحد، متوسط التغير في y عندما تزداد المتغير المتنبئ x بوحدة واحدة.

ماذا عن مصطلح الخطأ إبسيلون؟ لكي نتصور مصطلح الخطأ، نحتاج إلى إضافة مشاهدات إلى هذه الصورة.

الآن بعد أن أصبح لدينا نقاط بيانات، يمكننا تصور الخطأ.

يمكن تصور الأخطاء على أنها المسافة العمودية بين نقطة البيانات وخط الانحدار السكاني. بعبارة أخرى، الأخطاء هي الفروق في y بين الملاحظة والقيمة المتوقعة لتلك الملاحظة من معادلة الانحدار السكاني. الأخطاء هي معلمات سكانية.

لأننا لا نعرف أبدًا القيم الحقيقية لمعاملات السكان بيتا صفر وبيتا واحد، فإننا لا نعرف أبدًا القيمة الحقيقية للأخطاء. يجب تقدير المعلمات بيتا صفر وبيتا واحد وإبسيلون من عينة.

عندما يتم جمع عينة من السكان، يمكن تقدير خط الانحدار. إذا كانت العينة ممثلة وكبيرة بما فيه الكفاية وتم قياس المتغيرات المتنبئة المهمة، فمن المحتمل أن تكون معادلة الانحدار المقدرة تقريبًا جيدة لمعادلة الانحدار السكاني.

فكيف يتم تقدير خط الانحدار الأنسب هذا؟

الطريقة الشائعة المستخدمة لتقدير خط الانحدار هي استخدام المربعات الصغرى العادية.

تتضمن هذه العملية البواقي، وهي الفرق بين القيم المتوقعة والقيم الفعلية لمتغير الاستجابة y.

البواقي هي تقديرات للأخطاء السكانية وبالتالي يمكن ملاحظتها. في حين أن الأخطاء السكانية لا يتم ملاحظتها مباشرة أبدًا.

العديد من الافتراضات للانحدار الخطي تتعلق بمصطلح الخطأ. عند التحقق من افتراضات نماذج الانحدار التي تتعلق بمصطلح الخطأ، سنستخدم البواقي كبديل.

من الجدير بالذكر أن الأدبيات الإحصائية غالبًا ما تميز بين الأخطاء والبواقي. لكن أدبيات تعلم الآلة غالبًا ما تستخدم مصطلح الخطأ للإشارة إلى ما يسميه الإحصائي الباقي. أي الفرق بين القيمة المرصودة والقيم التنبؤية من نموذج تم تركيبه على عينة.

من أجل تقدير علاقة غير معروفة بين متغيرات مستمرة في مجتمع ما، تحتاج إلى جمع عينة ومحاولة تقدير العلاقة باستخدام طريقة المربعات الصغرى الاعتيادية. كيف تنتج طريقة المربعات الصغرى الاعتيادية ما يُعرف عادةً بخط الانحدار الأفضل ملاءمة؟ العملية تتعلق بالبواقي. خط الانحدار الأفضل ملاءمة هو الخط الذي يمر عبر نقطة متوسط x ومتوسط y والذي يحقق أقل قيمة لمجموع مربعات البواقي. مرة أخرى، البواقي هي الفروق بين القيم المرصودة والقيم المتوقعة من نموذج ما. يمكن تصورها على أنها المسافة الرأسية من خط الانحدار إلى كل نقطة بيانات.

يتم تربيع هذه البواقي ثم جمعها لإنتاج مجموع مربعات البواقي. ومن هنا جاء مصطلح انحدار المربعات الصغرى.

TopicTitle

Simple regression equation:

$\hat{Y} = {\hat{β}}_{0} + {\hat{β}}_{1} X$

The method of least squares produces parameter estimates with certain optimum properties. Estimated parameters are denoted with a hat above the parameter (in this case, ${\hat{β}}_{0}$ and ${\hat{β}}_{1}$ ). If the assumptions of simple linear regression are valid, ${\hat{β}}_{0}$ and ${\hat{β}}_{1}$ are unbiased estimates of the population parameters and have minimum variance.

The least squares estimators are often called BLUE (best linear unbiased estimators). The term best is used because of the minimum variance property. Unbiased means that when the parameters are estimated many time, the average estimate is equal to the true population parameter. Because of these optimal properties, the method of least squares is used by many data analysts to investigate the relationship between continuous predictor and response variables.

اختبار الفرضية لنموذج الانحدار الخطي البسيط هو اختبار لمعرفة ما إذا كان الميل، بيتا 1، يختلف بشكل كبير عن الصفر. الميل الصفري في الانحدار يقابل خطًا أفقيًا حيث تكون قيمة y مساوية للقيمة المتوسطة لـ y. يشير خط الانحدار المسطح إلى أن القيمة المتوسطة لـ y لا تعتمد على x. أي أن x لا يعطينا أي معلومات عن y. إذا تم رفض الفرضية الصفرية بأن بيتا 1 تساوي الصفر، فإن خط الانحدار الأفضل ملاءمة سيكون له ميل غير صفري، وأفضل تقدير للقيمة المتوسطة لـ y سيعتمد على قيمة x. هذا الاختبار الإحصائي يكون صالحًا فقط عندما تتحقق افتراضات الانحدار. سيتم شرح هذه الافتراضات لاحقًا في هذا الدرس.

كما هو الحال مع الارتباط، من المهم التمييز بين الدلالة الإحصائية، وهي قيمة p للاختبار، وحجم التأثير، أي مقدار تقدير المعامل بيتا 1.

قد يكون الميل الذي يختلف بشكل كبير عن الصفر صغيرًا جدًا بحيث لا يكون ذا معنى للباحث.

Question

In a simple linear regression, if the parameter estimate (slope) of X1 is 0, then the best guess (predicted value) of Y when X1 = 15 is which of the following?

Correct.
In the simple linear regression model 𝑌= β₀ + β₁X + ε, the intercept (β₀) describes the average value of Y when X = 0. The regression coefficient (β₁) describes the average change in Y when the predictor X increases by 1 unit. However, if β₁, the parameter estimate (slope) of X1 is zero then the predicted value of Y takes the value equal to the intercept (β₀), which is the mean of Y.

Incorrect.
The correct answer is b. In the simple linear regression model 𝑌= β₀ + β₁X + ε, the intercept (β₀) describes the average value of Y when X = 0. The regression coefficient (β₁) describes the average change in Y when the predictor X increases by 1 unit. However, if β₁, the parameter estimate (slope) of X1 is zero then the predicted value of Y takes the value equal to the intercept (β₀), which is the mean of Y.

في الانحدار، يمكن تقسيم تباين المتغير التابع y إلى تباين يمكن للنموذج تفسيره وتباين غير مفسر.

يتجمع التباين المفسر وغير المفسر ليشكل التباين الكلي، والسبب في ذلك. يرتبط التباين المفسر بالفرق بين خط الانحدار والمتوسط العام لقيم الاستجابة. أما التباين غير المفسر فيرتبط بالفرق بين القيم المرصودة وخط الانحدار. وبما أننا نستطيع تقسيم التباين إلى مفسر وغير مفسر، فإننا غالبًا ما نرغب في معرفة النسبة من التباين الكلي التي يمكن تفسيرها بواسطة خط الانحدار.

معامل التحديد، R-square، هو مقياس لنسبة التغير في المتغير التابع الذي يمكن تفسيره بواسطة المتغيرات المستقلة في النموذج.

يمكن أن تتراوح قيمة R-square بين 0 و1. النماذج الانحدارية التي تكون قيمة R-square فيها قريبة من الصفر لا تفسر الكثير من التغير في البيانات. أما النماذج الانحدارية التي تكون قيمة R-square فيها قريبة من الواحد فتفسر نسبة كبيرة نسبياً من التغير في البيانات.

TopicTitle

Y = β_{0} + β_{1} X_{1} + ε

Source of Variability	df	Sums of Squares	Mean Squares	F-statistic	p-Value
model	df model	SS model	SS model /df model	MS Model / MS error	p-value
error	df error	SS error	SS error /df error		value
total	df total	SS total	SS total /df total		value

Many of the mathematical details of linear regression can be summarized in an ANOVA table. ANOVA is short for Analysis of Variance, a statistical tool usually associated with partitioning variability among levels of categorical predictors. The ANOVA table is also used in linear regression. It summarizes the model and error degrees of freedom, sums of squares, and mean squares. The mean squares for the model and the error are used to construct an F-ratio, a statistic used along with the degrees of freedom to test the significance of the regression model. The significance is assessed through a p-value. If the p-value is lower than the significance threshold alpha (not shown), the model is significant, meaning at least one predictor is statistically different from zero.

The model row of the ANOVA table corresponds to the variance that can be explained by the regression equation. The error row of the ANOVA table corresponds to the unexplained variability. The error is a result of both true randomness as well as any important predictors not included in the model.

As for the parameter estimates, the slope and intercept regression parameters can be estimated using the pictured equations.

Estimated slope: ${\hat{β}}_{1} = \frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{{(x_{i} - \bar{x})}^{2}}$

Estimated intercept: ${\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}$

For a simple linear regression, the slope equation can be described as the sums of XY cross-products divided by the sums of squares for X. Once the slope is calculated, the intercept can be calculated as the mean Y minus the slope times the mean of X.

يمكن إنشاء فترات الثقة وفترات التنبؤ حول خط الانحدار المقدّر. غالبًا ما تكون هذه الحدود عند مستوى ثقة 95% أو حدود تنبؤ بنسبة 95%، ولكن يمكن استخدام قيم أخرى. تتيح لك حدود الثقة للمتوسط أن تقول بدرجة معينة من الثقة أين تتوقع أن يقع المتوسط الحقيقي لقيمة معينة من x.

في بعض الأحيان يكون متوسط y أقل أهمية من الملاحظة التالية لـ y. في هذه الحالة، يمكن أن تكون حدود التنبؤ مفيدة. تصف حدود التنبؤ فترة يُحتمل أن توجد فيها الملاحظة التالية.

Question

Which of the following is a true statement?

Correct.
a. Is incorrect because a correlation near -1 indicates a strong negative association, not a lack of association.
b. Is incorrect because scatter plots are crucial for interpreting correlation coefficients. They can be used to detect nonlinear associations, which can be inappropriate to describe with a correlation coefficient.
c. Is incorrect because the coefficient of determination (R-square) can take values between zero and 1.

Incorrect.
The correct answer is d.
a. Is incorrect because a correlation near -1 indicates a strong negative association, not a lack of association.
b. Is incorrect because scatter plots are crucial for interpreting correlation coefficients. They can be used to detect nonlinear associations, which can be inappropriate to describe with a correlation coefficient.
c. Is incorrect because the coefficient of determination (R-square) can take values between zero and 1.

سنستكشف الآن العلاقات بين المتغيرات المستقلة والاستجابة من خلال تحليل الارتباط.

سنقوم بتقدير واختبار دلالة الارتباطات بين مبلغ التبرع المستهدف (المتغير المستمر) وكل من المتغيرات المستمرة المستقلة، مثل آخر وقت تبرع، ودخل DimMed، وقيمة المنزل DimMed. بعد تحديد المتغيرات ذات أقوى ارتباط، سنجري تحليل انحدار لمبلغ التبرع على متوسط بطاقة الهدية خلال 36.

في هذا العرض التوضيحي، تستكشف العلاقات بين المتنبئات الرقمية ومتغير الاستجابة وهو مبلغ التبرع باستخدام تحليل الارتباط في تدفق SAS Studio. ثم يتم استخدام المدخل، متوسط بطاقة الهدية 36، وهو الأكثر ارتباطًا بالهدف، في الانحدار الخطي البسيط. حسنًا، دعنا نضيف تدفقًا جديدًا.

انقر على علامة الجمع واختر "تدفق".

ثم نريد إضافة عقدة جدول لمتبرعي PVA.

اذهب إلى الخطوات، إدخال وإخراج البيانات، وانقر مرتين على "جدول". ومع تحديد الجدول، يمكنك النقر على خزانة الملفات لاختيار المكتبة.

GST، وجدول متبرعي PVA.

بعد ذلك، قم بتوسيع الإحصائيات وانقر مرتين على "تحليل الارتباط".

دعنا نربط هذه العقد معًا في تدفقنا.

ثم اختر "تحليل الارتباط". وللمتغيرات التحليلية، سنضيف جميع المتغيرات المتاحة باستثناء مبلغ التبرع وحالة Cat Star All. سيتم إضافة مبلغ التبرع في حقل منفصل. حالة Cat Star All هي في الواقع متغير فئوي، رغم أن له قيم رقمية. لذا انقر على علامة الجمع بجانب المتغيرات التحليلية. أولاً، اختر كل شيء بالنقر على أول متغير ثم النقر مع الاستمرار على Shift لتحديد النطاق الكامل. سنترك مبلغ التبرع وحالة Cat Star All. سنلغي تحديدهما.

حسنًا.

قم بالتمرير للأسفل وتحت "الارتباط مع"، انقر على علامة الجمع واختر مبلغ التبرع.

بعد ذلك، انقر على علامة التبويب "الخيارات" ومرر للأسفل إلى الإحصائيات وغيّر الإحصائيات إلى "عرض الإحصائيات المحددة". سنختار عرض قيم p وترتيب الارتباطات من الأعلى إلى الأدنى بالقيمة المطلقة.

وقم بالتمرير للأسفل أكثر وقم بتوسيع المخططات.

سنختار مخططات تشتت فردية.

أوقف تضمين البيضات، لذا سيكون لدينا بيضات توقع 95%، ألغِ تضمين الإحصائيات المضمنة، ومن الناحية المثالية نود النظر إلى جميع المتغيرات لكن سنبقي الافتراضي وهو خمسة لعدد المتغيرات التي سيتم رسمها.

بالنسبة لبعض هذه المخططات، سيكون لدينا أكثر من 5000 نقطة، لذا دعنا نغير هذا إلى "بدون حد". هذا هو الحد الأقصى لعدد نقاط الرسم، اضبطه على "بدون حد".

سنحفظ هذا التدفق في مجلد VST باسم "الارتباط والانحدار".

يمكننا أن نرى أن مبلغ التبرع كان مرتبطًا مع 20 متغيرًا مختلفًا. والجدول الثاني هنا يعرض كل متغير، الارتباط مع التبرع، هذا هو معامل ارتباط بيرسون، وقيمة p التي تختبر الفرضية الصفرية بأن ارتباط المجتمع يساوي صفرًا، ثم حجم العينة. لاحظ أن أحجام العينات يمكن أن تختلف للارتباطات المختلفة.

هذه الارتباطات مرتبة من الأعلى على اليسار إلى الأدنى على اليمين، ومرتبة حسب الحجم. لذا المتغير الأول هنا، giftAverageCard36، له ارتباط تقريبًا 0.65، وهذا مهم جدًا. العديد من المتغيرات الأخرى لها ارتباطات مماثلة. GiftAverage36 له ارتباط 0.64، ثم giftAverageLast، giftAverageAll. GiftAverageCount36 له ارتباط سلبي، -0.46، وهكذا.

العديد من هذه الارتباطات مهمة جدًا بقيم p أقل من 0.0001.

إذا قمنا بالتمرير إلى اليمين، يمكننا أن نرى أن الارتباطات تصبح أصغر فأصغر، وأضعف ارتباط مع مبلغ التبرع هو promotional count card 12. وله ارتباط سلبي .0055.

قيمة p حوالي 0.70، لذا غير مهم. فقط آخر ارتباطين غير مهمين عند مستوى 0.05.

بعد ذلك، سننظر إلى بعض مخططات التشتت التي تعطينا صورًا مع هذه معاملات الارتباط.

الآن، الارتباطات تقيس العلاقات الخطية بين المتغيرات. يمكن أن تساعدنا مخططات التشتت في تقييم العلاقات الخطية، وبالتالي مدى ملاءمة هذا النوع من تحليل الارتباط. بالنسبة لمجموعات البيانات الكبيرة، قد يكون من الصعب تفسير مخططات التشتت عندما تتكدس العديد من النقاط فوق بعضها البعض وتصبح غير مميزة. وما سيساعد في ذلك هو بيضات التوقع 95%. بيضة التوقع 95% تظهر أين من المتوقع أن تقع 95% من نقاط البيانات إذا كان كلا المتغيرين موزعين طبيعيًا. يصبح اتجاه الارتباط واضحًا من اتجاه البيضة. كلما كانت البيضة أضيق، كان الارتباط الخطي أقوى بين المتغيرات. دعنا ننظر بسرعة إلى أول خمسة مخططات تشتت.

رغم وجود بعض الملاحظات غير المعتادة، بعض نقاط البيانات المتطرفة في بعض هذه المخططات، إلا أن أياً من المخططات الخمسة لا تظهر علاقات غير خطية قوية، مما يشير إلى أن معامل ارتباط بيرسون هو أداة مناسبة لوصف العلاقات بين هذه المتغيرات. النقاط المتطرفة، مثل تلك الموجودة على الجانب الأيمن من هذا المخطط، سيتم مناقشتها في درس لاحق. بعد ذلك، سنستخدم خطوة انحدار في التدفق لنقوم بانحدار مبلغ التبرع على gift average card 36. كان هذا هو المتغير الأكثر ارتباطًا الذي تم تحديده سابقًا في هذا العرض التوضيحي. لذا دعنا نعود إلى تدفقنا ونضيف خطوة انحدار خطي.

افتح الخطوات وابحث تحت الإحصائيات.

انحدار خطي وانقر مرتين.

اربط متبرعي PVA بالانحدار الخطي.

الآن انقر على عقدة الانحدار الخطي.

وفي علامة تبويب البيانات، تحت المتغير التابع، ابحث عن مبلغ التبرع. حدده وانقر موافق.

ثم لمتغيرنا التفسيري، انقر على علامة الجمع وابحث عن giftAverageCard36.

وانقر موافق.

علامة التبويب التالية هي علامة تبويب النماذج. لن نغير أي من الافتراضات هنا. سنقوم بتركيب النموذج الكامل، لذا لا يوجد اختيار متغيرات. إذا أردنا اختيار متغيرات، لدينا العديد من الخيارات هنا من قائمة السحب.

وسنحتفظ بالمعامل الثابت. انقر على الإحصائيات.

تحت تفاصيل التقديرات، اختر حدود الثقة لتقديرات المعاملات.

وسنترك المستوى الافتراضي وهو 95%.

ثم انقر على علامة تبويب المخططات. للمخططات التي سيتم عرضها، اختر المخططات المحددة. وسنختار القيم الملاحظة حسب القيم المتوقعة.

مخططات التشخيص، وهي محددة بالفعل، ثم مخطط التشتت مع خسارة الانحدار.

سننظر إلى العديد من المخططات الأخرى التي يمكننا اختيارها في العرض التوضيحي التالي.

تابع واحفظ التدفق ثم انقر بزر الفأرة الأيمن على الانحدار الخطي واختر "تشغيل الآن".

انقر على "الكود المقدم والنتائج"، ثم علامة تبويب النتائج.

تظهر النتائج أن هناك حوالي 9700 ملاحظة، واستخدم فقط حوالي 4100 منها.

كان هناك 5500 بقيم مفقودة. الآن هذا لأننا نفتقد نصف القيم لمبلغ التبرع، لأن نصف المتبرعين فقط تبرعوا بالفعل. الباقي تم ترميزهم كقيم مفقودة. هذا سيقلل حجم العينة إلى حوالي 4800، لكننا نفتقد حوالي 700 قيمة أخرى. لذا هؤلاء يجب أن يكونوا متبرعين لديهم قيم مفقودة لـ gift average card 36.

نموذج الانحدار هذا مهم جدًا. متوسط قيمة متغير الاستجابة هو 99.47. معامل التحديد R-squared هو تقريبًا 42%. هذا يعني أن حوالي 42% من التباين في متغير مبلغ التبرع يمكن تفسيره بواسطة gift average card 36.

جدول تقديرات المعاملات يعطينا تقديرات المعاملين في نموذج الانحدار الخطي هذا. للمعامل الثابت، تقدير المعامل هو 75.42، ولـ gift average card 36، تقدير المعامل، الميل لهذا المتغير، هو حوالي 1.80. هذه تقديرات نقطية، وإذا أردنا رؤية فترات الثقة حول التقديرات النقطية، فهي مدرجة في الأعمدة الأخيرة في هذا الجدول.

هناك قيم p لكل صف في جدول تقديرات المعاملات هذا، وفي كلا الحالتين قيم p تخبرنا بقيمة p لاختبار ما إذا كان تقدير المعامل مختلفًا بشكل كبير عن الصفر.

معًا، تخبرنا تقديرات المعاملات هذه بمعادلة خط الانحدار لدينا. المعادلة هي: مبلغ التبرع المقدر يساوي 75.41694 زائد 1.79672 مضروبًا في gift average 36. يمكننا استخدام هذا الخط الانحداري لمعرفة مبالغ التبرع المتوقعة لقيم معينة من gift average card 36. بالتمرير للأسفل، يمكننا النظر إلى المخطط الذي يعرض القيم الملاحظة حسب القيم المتوقعة لمبلغ التبرع. الآن في هذه المخططات، هناك خط بزاوية 45 درجة. إذا وقعت النقاط على هذا الخط، فهذا يدل على أن القيم المتوقعة من نموذجنا تتطابق بشكل وثيق مع القيم الملاحظة في بياناتنا. وهذا ليس ما نراه هنا حقًا. لا توجد أي نقاط بيانات في الجانب الأيسر السفلي من هذا المخطط، مما يخبرنا أن التوقعات تتطابق بشكل ضعيف مع التبرعات الملاحظة عندما يكون مبلغ التبرع الفعلي أقل من 100 دولار مثلاً. بالتمرير للأسفل، هناك العديد من مخططات التشخيص المختلفة التي يمكننا النظر إليها. العديد منها مخططات مبنية على البواقي، وهي الفرق بين القيم الملاحظة والقيم المتوقعة للاستجابة. ويمكن استخدام هذه المخططات لتقييم ما إذا كانت افتراضات النموذج مستوفاة، وكذلك لاكتشاف الملاحظات المتطرفة. كلا الموضوعين سيتم مناقشتهما لاحقًا في هذا الدرس.

أخيرًا، دعنا ننظر إلى مخطط الملاءمة لمبلغ التبرع. هذا يظهر مبلغ التبرع مرسومًا مقابل gift average card 36. خط الانحدار الأفضل، الخط الأسود الصلب في الوسط، يشير إلى القيم المتوقعة لمبلغ التبرع لقيم معينة من gift average card 36. هناك منطقة رمادية فاتحة رقيقة حول خط الانحدار. وهذه المنطقة تشير إلى فترة الثقة 95% على متوسط الاستجابة لقيم محددة من المتنبئ. من الصعب رؤيتها هنا في مخطط الملاءمة، لكن فترات الثقة تكون أضيق بالقرب من القيم المتوسطة لـ x و y، وأوسع عند الأطراف. لدينا ثقة أكبر في متوسط قيمة y عند متوسط قيمة x. هناك أيضًا مجموعة من الخطوط المتقطعة فوق وتحت خط الانحدار.

هذه الخطوط المتقطعة تظهر حدود التوقع 95%. يمكنك أن تكون واثقًا بنسبة 95% أن الملاحظات الجديدة ستقع ضمن هذه الحدود.

في الانحدار الخطي البسيط، تقوم بنمذجة العلاقة بين متغيرين باستخدام خط مستقيم. تذكر المثال الذي تناولناه في الدرس الأول، وهو مجموعة بيانات بسيطة تحتوي على معلومات عن العمر، الجنس، عدد ساعات العمل في الأسبوع، والدخل. عندما يكون لديك متغيران تنبؤيان، يمكن نمذجة العلاقة بين المتغيرات التنبؤية والاستجابة باستخدام مستوى. هنا، نرى نموذج انحدار متعدد حيث يتم إرجاع المتغير التابع (الدخل) إلى المتغيرين التنبؤيين (العمر وساعات العمل في الأسبوع). يتم تقدير الأوزان أو المعاملات للنموذج باستخدام طريقة المربعات الصغرى العادية.

هذه الأوزان المقدرة هي بيتا صفر، وهو الجزء المقطوع من المحور، وبيتا واحد، وهو ميل العمر، وبيتا اثنان، وهو ميل ساعات العمل في الأسبوع.

نموذج الانحدار المتعدد يشبه كثيرًا نموذج الانحدار الخطي البسيط من حيث أنه يحتوي على مصطلحات للجزء المقطوع من المحور والميل. ولكن عندما يكون هناك متغيران تنبؤيان أو أكثر، يكون لكل منهما ميل خاص به، ويكون معنى الميل مختلفًا. الآن يصف الميل تأثير التغير بوحدة واحدة في متغير تنبؤي على متوسط الاستجابة مع تثبيت باقي المتغيرات التنبؤية.

لذا فإن بيتا 1 تشير إلى التغير المتوسط في الدخل نتيجة تغير وحدة واحدة في العمر مع تثبيت عدد ساعات العمل في الأسبوع. وبيتا 2 تشير إلى التغير المتوسط في الدخل نتيجة تغير وحدة واحدة في عدد ساعات العمل في الأسبوع مع تثبيت العمر. معامل الانحدار لكل متغير تنبؤي يتم تعديله بناءً على المتغيرات الأخرى في النموذج. ولهذا السبب، يمكن أن تتغير المعاملات المقدرة عند إضافة أو إزالة متغيرات تنبؤية أخرى من التحليل.

اختبار الفرضية لنموذج الانحدار المتعدد هو اختبار لمعرفة ما إذا كانت جميع المعاملات، أي الميولات أو بيتا، تساوي الصفر. الميل الصفري لكل معامل يعني وجود مستوى انحدار أفقي حيث يساوي التقاطع متوسط قيمة y. يشير السطح المسطح للانحدار إلى أن متوسط قيمة y لا يعتمد على محور x.

المتغيرات المستقلة لا تعطينا أي معلومات عن y. إذا تم رفض الفرضية الصفرية التي تنص على أن جميع قيم بيتا تساوي 0، فهذا يعني أن مستوى الانحدار الأفضل ملاءمة يحتوي على ميل واحد على الأقل غير صفري وأن أفضل تقدير لقيمة y يعتمد على قيم x.

كان مصطلح الانحدار يشير في الأصل فقط إلى نمذجة المتغيرات المستمرة، لكن يمكن استخدام المتغيرات الفئوية أيضًا. يجب تحويل هذه المتغيرات إلى متغيرات رقمية تمثل المستويات المختلفة. يقوم برنامج SAS بهذا التحويل تلقائيًا لنا. كيف يحدث هذا التحويل؟

المتغيرات الوهمية، التي تُسمى أحيانًا متغيرات التصميم أو متغيرات المؤشر، هي متغيرات رقمية مُنشأة تُمثل مستويات متغير تنبؤي تصنيفي. يمكن إنشاء هذه المتغيرات بعدة طرق، وإحدى أكثر الطرق شيوعًا، أو ما يُسمى بالمعلمات، موضحة هنا. لنفترض أن متغير التنبؤ التصنيفي "الجنس" يحتوي على ثلاثة مستويات: ذكر، أنثى، وآخر.

وللتمييز بين هذه المستويات أو المجموعات باستخدام قيم رقمية، يمكن إنشاء ثلاثة متغيرات وهمية. يمكن اعتبار الأول متغيرًا وهميًا للإناث، حيث يُعطى للإناث قيمة 1 وللأفراد الآخرين قيمة 0.

وبطريقة مماثلة، يأخذ المتغير الوهمي للذكور قيمة 1 للأشخاص في فئة الذكور وقيمة 0 للجميع. وأخيرًا، يُعطى أعضاء فئة "آخر" قيمة 1 في المتغير الوهمي "آخر" ويحصل الجميع على 0. مع وجود ثلاثة مستويات للجنس، يتم إنشاء ثلاثة متغيرات وهمية.

هذه هي المتغيرات الثلاثة الوهمية، وليس المتغير الأصلي للجنس، التي ستُستخدم مباشرة في نموذج الانحدار المتعدد. يُسمى الانحدار الذي يحتوي فقط على متغيرات مستقلة تصنيفية بتحليل التباين أو ANOVA.

هناك تقارب كبير بين الانحدار وتحليل التباين (ANOVA). في الواقع، كلاهما جزء من النموذج الخطي العام الذي يستخدم طريقة المربعات الصغرى العادية لتلائم متغير الاستجابة المستمر.

عند ملاءمة نموذج الانحدار الخطي للبيانات، تفترض أن متوسط الاستجابة y عند كل قيمة من قيم المتغير المستقل x يتبع علاقة رياضية. يتم تقدير هذه العلاقة وعرضها كخط. أنت مهتم بتقدير طبيعة العلاقة، والانحدارات، وما إذا كانت هذه العلاقة ذات دلالة إحصائية، مع افتراض أن الانحدارات تساوي صفرًا، وإلى أي مدى تفسر التغيرات في البيانات من خلال نموذجك. هنا، يُستخدم منحنى على الرسم البياني لتمثيل علاقة أكثر تعقيدًا تكشف عن الفرق الملحوظ بين الانحدار وتحليل التباين. في تحليل التباين، يتم أيضًا حساب متوسط الاستجابة y عند كل قيمة من قيم المتغير المستقل x، لكن لا يتم تعريف علاقة رياضية بين هذه القيم المتوسطة وقيمة المتغير المستقل x. في الواقع، قد لا يكون المتغير المستقل على مقياس فاصل. يمكن أن تكون المتغيرات المستقلة رقمية أو رمزية، ويمكن أن تكون على مقياس اسمي أو ترتيبي. عندما يكون هذا هو الحال، قد لا يكون نموذج الانحدار مناسبًا، لأن العلاقة الرياضية بين متوسط الاستجابة والمتغيرات المستقلة قد لا تكون معرفة. تقوم المتغيرات المستقلة بتجميع بياناتك في مجموعات مختلفة، والسؤال المطروح هو ما إذا كانت متوسطات المجموعات متساوية أم لا.

عندما يكون هناك عدة متغيرات مستقلة في نموذج الانحدار، هناك أيضًا احتمال لتفاعل هذه المتغيرات مع بعضها البعض. عندما توجد تفاعلات، فإن نمذجتها يمكن أن يزيد بشكل كبير من القوة التفسيرية والقدرة التنبؤية للنموذج.

يعني التفاعل أن تأثير أحد المتغيرات المستقلة على المتغير التابع يعتمد على قيمة متغير مستقل آخر. يحدث التفاعل عندما يؤدي تغيير مستوى أحد العوامل إلى تغيير الفرق بين مستويات عامل آخر.

المخططات المعروضة هنا تُسمى مخططات المتوسطات.

تم رسم متوسط قيم مبالغ التبرع عبر مستويات مختلفة من الجنس، ثم تم ربطها بحسب ملكية المنزل (نعم أو لا).

في المخطط على اليسار، يظهر نوعا ملكية المنزل نفس التغير عبر المستويات المختلفة للجنس. ومع ذلك، في المخطط على اليمين، مع تغير مستوى الجنس، يزداد متوسط مبلغ التبرع للمتبرعين الذين يمتلكون منزلاً ويقل للمتبرعين الذين لا يمتلكون منزلاً. يشير ذلك إلى وجود تفاعل بين متغيري الجنس وملكية المنزل.

Question

Examine this interaction plot.

(See Text Version for Image)

Which of the following statements is correct?

Correct.
Drug dose affects blood pressure, but that effect is not consistent across diseases. Higher doses result in increased blood pressure for patients with disease B, decreased blood pressure for patients with disease A, and little change in blood pressure for patients with disease C. Hence, an interaction exists between drug dose and disease.

Incorrect.
The correct answer is d. Drug dose affects blood pressure, but that effect is not consistent across diseases. Higher doses result in increased blood pressure for patients with disease B, decreased blood pressure for patients with disease A, and little change in blood pressure for patients with disease C. Hence, an interaction exists between drug dose and disease.

TopicTitle

Talking about multiple regression models with interactions requires some new terminology. Here's a regression model for the PVA_Donors data set.

Donation_Amt = β₀ + β₁ GiftCntCardAll + β₃ GiftCntCardAll * GiftAvgLast + ε

When describing the effect of single predictors on the response, we can refer to these as main effects (for example, the effect of the variables GiftCntCardAll or GiftAvgLast averaged across all other predictors in the model). β₁ and β₂ measure the main effects of the predictors.

Interaction effects refer to the effect of the simultaneous change in two or more predictors. For example, the interaction is modeled as the effect of the product of the two predictors GiftCntCardAll and GiftAvgLast. β₃ measures the interaction effect.

When modeling interactions, you should include the corresponding main effects regardless of whether they are significant. Including the lower order effects is referred to as maintaining model hierarchy, and doing so is beneficial when the goal is statistical inference.

The contour plot below helps visualize the nature of the interaction. The contour lines show the predicted donation amount for specific combinations of the two predictors. How can we interpret this graph?

(See Text Version for Image)

First, let's get oriented to the graph. The barely visible lowest contour line in the blue-shaded region shows a predicted donation amount of $0. Moving up and to the right on the graph, the lines show $200, $400, $600 and on up to a $1200 contour in the red-shaded region. Without an interaction, the contour lines would be parallel.

(See Text Version for Image)

Let's look at the left side of the graph and see the effect of GiftAvgLast on Donation_Amt when GiftCntCardAll equals 0. We can see that when GiftAvgLast increases from $0 to $400, the response Donation_Amt also increases from $0 to about $400.

Now, let's look at the right side of the graph and see the effect of GiftAvgLast on Donation_Amt when GiftCntCardAll equals 40. We can see that when GiftAvgLast increases from $0 to $400, Donation_Amt increases from $0 to over $1000.

(See Text Version for Image)

So clearly, the effect of GiftAvgLast depends on GiftCntCardAll.

حتى مع عدد صغير من المتغيرات المستقلة، هناك العديد من نماذج الانحدار الممكنة، ويزداد هذا العدد إذا تم تضمين التفاعلات. بالنسبة لعدد k من المتغيرات المستقلة، هناك اثنان مرفوعان للقوة k من النماذج. مع متغيرين مستقلين، x1 و x2، هناك أربعة نماذج ممكنة يمكن تطبيقها على البيانات.

النماذج الأربعة تشمل نموذج يحتوي فقط على الثابت، ونموذجين يحتوي كل منهما على متغير واحد فقط، إما x1 أو x2، ونموذج واحد يحتوي على كل من x1 و x2. عدد النماذج يزداد بسرعة مع زيادة عدد المدخلات، ويصبح أكبر عند النظر في التأثيرات التفاعلية أو الحدودية.

كيف يمكن تقييم كل هذه النماذج لتحديد الأفضل للبيانات؟ هناك مجموعة متنوعة من إحصائيات المطابقة التي يمكن استخدامها لمقارنة نماذج الانحدار.

بعض إحصاءات الملاءمة المستخدمة لمقارنة نماذج الانحدار تشمل معامل التحديد R-squared، و R-squared المعدل، ومعايير المعلومات المختلفة.

تم شرح R-squared، معامل التحديد، في قسم سابق. لذا دعونا نلقي نظرة على R-squared المعدل ومعايير المعلومات.

إحدى الإحصائيات المستخدمة لمقارنة نماذج الانحدار المتعدد هي معامل التحديد المعدل (Adjusted R-squared). معامل التحديد المعدل هو مقياس مشابه لمعامل التحديد (R-squared)، لكنه يأخذ في الاعتبار عدد المعاملات في النموذج.

يمكن اعتباره نسخة معاقبة من معامل التحديد، حيث تزداد العقوبة مع كل متغير تضيفه إلى النموذج.

كما هو واضح من المعادلة، فإن معامل التحديد المعدل هو دالة لمعامل التحديد، وحجم العينة، وعدد المعاملات في النموذج. لماذا يعتبر هذا الإصدار المعدل من معامل التحديد مفيدًا؟

عند مقارنة نماذج تحتوي على أعداد مختلفة من التأثيرات، لا يكون معامل التحديد خيارًا مثاليًا. فمعامل التحديد يزداد كلما أضفت المزيد من المتغيرات إلى نموذج الانحدار. قد يكون لدى نموذج يحتوي على عشرة متغيرات مستقلة معامل تحديد أعلى من نموذج يحتوي على متغيرين فقط لمجرد أنه يحتوي على متغيرات أكثر، حتى وإن لم يكن مناسبًا للبيانات بشكل أفضل.

يمكن استخدام معامل التحديد المعدل بشكل أكثر عدلاً لمقارنة النماذج التي تحتوي على أعداد مختلفة من التأثيرات.

مثل معامل التحديد المعدل R-squared، تقيم معايير المعلومات مدى ملاءمة نموذجك للبيانات.

معيار معلومات أكايكي، AIC، ومعيار معلومات أكايكي المصحح، AICC، ومعيار شوارتز البايزي، SBC، والذي يُسمى أحيانًا معيار المعلومات البايزي، أو BIC، هي ثلاثة من أكثر معايير المعلومات استخدامًا.

بالنسبة لنماذج الانحدار، تعتبر معايير المعلومات إحصاءات تجمع بين معلومات حول مجموع مربعات الأخطاء، أو SSE، وعدد المعاملات في النموذج، وحجم العينة.

تقوم معايير المعلومات بفرض عقوبة على الاحتمالية من أجل اختيار أبسط نموذج. تستند هذه المعايير إلى مفاهيم المعلومات والإنتروبيا. فهي توازن بين تقليل الخطأ لشرح أكبر قدر ممكن من التباين في الاستجابة وتقليل تعقيد النموذج لمنع الإفراط في التكيّف. بعبارة أخرى، تبحث هذه المعايير عن النموذج الأكثر اقتصادًا في عدد المعاملات. لا نريد أن يصبح نموذجنا أكثر تعقيدًا إلا إذا حسّن هذا التعقيد الإضافي من أداء النموذج.

لاختيار النموذج، يشير النموذج الذي يحقق أصغر قيمة لمعيار المعلومات إلى ملاءمة أفضل.

تقيس هذه المعايير ملاءمة النماذج بشكل نسبي. لذلك، تُستخدم فقط لمقارنة النماذج البديلة التي تم ضبطها على نفس مجموعة البيانات.

وبشكل عام، إذا تساوت جميع العوامل الأخرى، فإن النموذج الذي يحقق قيمة أقل لمعيار المعلومات يكون أفضل من النموذج الذي يحقق قيمة أعلى.

بعد ذلك، سنستعرض مثالاً على أحد معايير المعلومات، وهو معيار معلومات أكايكي، أو AIC.

فهم معيار معلومات أكايكي يتطلب الإشارة إلى نموذج حقيقي. النموذج الحقيقي هو في الواقع مفهوم مجرد. جميع النماذج هي تبسيطات بحكم التعريف، وبالتالي لا يوجد شيء اسمه نموذج حقيقي. لذا فإن مصطلح "النموذج الحقيقي" هو في الواقع اختصار لـ "أفضل نموذج تقريبي"، لكن من المفيد الإشارة إليه على أنه النموذج الحقيقي من أجل البساطة.

يمكن اعتبار معيار معلومات أكايكي كمقياس للتشابه النسبي بين نموذج مرشح والنموذج الحقيقي غير المعروف.

تخيل أن لدينا معرفة كاملة بالمتغيرات التنبؤية التي تفسر التغير في متغيرات الاستجابة لديك.

مع معرفة هذا النموذج الحقيقي، يمكننا قياس مدى قرب أو بعد أي نموذج تم إنشاؤه من بيانات العينة عن هذا النموذج الحقيقي. ماذا يعني "المسافة" في هذا السياق؟

يمكن اعتبارها مقدار المعلومات المفقودة عند استخدام نموذج معين لتقريب النموذج الحقيقي. هذه المسافات مرتبطة باحتمالات كل نموذج.

افترض أن النموذج الحقيقي لـ Y يتضمن المتغيرات التنبؤية X1 و X2 و X3. الآن افترض أن مجموعة بحثية تجمع عينة من السكان وتنتج النموذج Y يساوي X1 زائد X2. مجموعة بحثية ثانية تحدد من نفس بيانات العينة أن أفضل نموذج لـ Y هو X1 زائد X4 زائد X5. النموذج الأول يحتوي على اثنين من المتغيرات التنبؤية الصحيحة الثلاثة، بينما النموذج الثاني يحتوي فقط على متغير تنبؤي صحيح واحد واثنين غير صحيحين. يمكننا القول إن النموذج الأول أقرب إلى النموذج الحقيقي غير المعروف من النموذج الثاني. وبالتالي سيكون لديه قيمة AIC أصغر من النموذج الثاني. لكن كيف يمكننا أن نعرف أن النموذج الأول أقرب إلى النموذج الحقيقي عندما تكون الحقيقة غير معروفة؟

أظهر أكايكي أنه من الممكن حساب المسافات النسبية إلى النموذج الحقيقي، رغم عدم معرفتنا بمعلمات المجتمع. هذا ممكن لأن النموذج الحقيقي يختفي من المعادلة التي تقارن النماذج، وما يتبقى هو المسافة النسبية لكل نموذج إلى النموذج الحقيقي.

عندما يكون لدى نموذج قيمة AIC أقل من نموذج آخر، يمكن اعتباره نموذجًا أفضل، إذا بقيت جميع العوامل الأخرى ثابتة، وذلك بشكل نسبي.

قد تكون النماذج التي تتم مقارنتها نماذج ممتازة أو ضعيفة من الناحية المطلقة، لكن AIC لا يقيس ذلك. هو يخبرنا فقط ما إذا كان النموذج أفضل أو أسوأ من النماذج المرشحة الأخرى، وليس ما إذا كان جيدًا أو سيئًا بشكل مطلق. لذا فإن AIC، بالإضافة إلى معايير المعلومات الأخرى، مفيدة فقط لمقارنة النماذج، ولا تساعدنا في تقييم نموذج واحد بمفرده. لمزيد من الشرح المفصل والواضح حول AIC، انظر كتاب "اختيار النموذج والاستدلال متعدد النماذج: منهج عملي قائم على نظرية المعلومات" لبيرنهام وأندرسون.

TopicTitle

Akaike's information criterion (AIC), corrected Akaike's information criterion (AICC), and the Schwarz's Bayesian criterion (SBC, and sometimes called Bayesian information criterion, or BIC) are three of the most used information criteria.

Each information criteria starts with a measure of unexplained variability or error and then adds a penalty component that represents the complexity of the model. The unexplained variability is calculated as n (the sample size) times the natural log of the sum of squared errors divided by n. The magnitude of the penalty is what differentiates each of these information criterion. For model comparison, the smallest information criterion indicates a better model.

Most Used Information Criteria
information criterion	penalty component
AIC	$2 p + n + 2$
AICC	$\frac{n (n + p)}{n - p - 2}$
SBC	$p \log (n)$

Unexplained Variability
error
$n \log (\frac{S S E}{n})$

These information criteria often suggest the same best model out of a set of candidate models. But when they disagree, SBC tends to favor models with fewer parameters than AIC because of the larger penalty function.

Question

Fit statistics were calculated for the model

$\hat{I n c o m e} = 58.1 + 2.35 \cdot A g e + 9.02 \cdot H r s W e e k$

including R-square and AIC. What can we conclude from AIC = 660?

Correct.
AIC and all other information criteria can be used to evaluate models as better or worse in a relative sense but not on an absolute scale. Large or small values of any information criterion do not indicate the quality of a single model.

Incorrect.
The correct answer is d. AIC and all other information criteria can be used to evaluate models as better or worse in a relative sense but not on an absolute scale. Large or small values of any information criterion do not indicate the quality of a single model.

الآن بعد أن أصبح لدينا إحصاءات الملاءمة مثل معامل التحديد المعدل ومعايير المعلومات مثل AIC وSBC لمقارنة النماذج، كيف نحدد النماذج المرشحة في المقام الأول؟ مع وجود العديد من المتغيرات التنبؤية التي يمكن تضمينها في النموذج، فإن تجربة جميع النماذج الممكنة غالبًا ما تكون غير عملية. نحن بحاجة إلى طريقة حسابية فعالة للبحث بين النماذج الممكنة للعثور على مجموعة فرعية تلائم البيانات بشكل جيد. هناك العديد من طرق اختيار النماذج لهذه الغاية في نماذج الانحدار. بعضها موجود منذ عقود، مثل طريقة الاختيار التسلسلي.

أما الطرق الأخرى، مثل طرق الانكماش المذكورة هنا، فهي إضافات أحدث إلى صندوق الأدوات الإحصائية وسيتم مناقشتها في الدرس الخامس. سنركز الآن على أكثر الطرق التسلسلية شيوعًا، وهي اختيار النموذج التقدمي، والتراجعي، وطريقة الاختيار التدريجي.

TopicTitle

Select/Choose	Select Variables	Choose Final Model
AIC	x	x
AICC	x	x
SBC	x	x
Significance Level	x	x
Validation ASE		x
Mallow's CP	x	x
PRESS	x	x
R-square	x
Adj. R-square	x	x

In addition, various criteria can be used to choose the final model out of the sequence of models. The last model in the sequence is not always presented as the "winner." For example, variables could enter or leave the model based on significance level, and then the winning model from the sequence could be chosen based on having the lowest value of an information criterion. There is a lot of flexibility to guide the model selection process.

دعونا نلقي نظرة عن كثب على بعض طرق اختيار النماذج التقليدية. يقوم الاختيار التقدمي بإنشاء سلسلة من النماذج ذات تعقيد متزايد. تبدأ السلسلة بالنموذج الأساسي، وهو نموذج يحتوي فقط على الحد الثابت ويتنبأ بمتوسط القيمة المستهدفة لجميع الحالات. سنصف هذه العملية بناءً على اختبارات الدلالة الإحصائية. لكن يمكن أيضًا إضافة المتغيرات بناءً على معايير المعلومات، أو R-squared المعدلة، أو إحصاءات الملاءمة الأخرى. على سبيل المثال، هنا، من بين ثمانية متنبئين محتملين، سيتم تمثيل المتغير الأكثر دلالة باللون الأزرق الداكن، في حين سيتم تمثيل الأقل دلالة باللون الذهبي الفاتح.

يقوم الاختيار بإضافة المتنبئين واحدًا تلو الآخر بناءً على حصولهم على أقل قيم p طالما كانت أقل من قيمة حدية محددة مسبقًا تُسمى حد الدخول. يبحث الخوارزم في مجموعة النماذج ذات المدخل الواحد ويختار النموذج الذي يحقق أكبر تحسن مقارنة بالنموذج الأساسي. في الاختيار التقدمي، بمجرد إضافة المتغيرات لا تتم إزالتها أبدًا. المتغير التالي الذي تتم إضافته هو الذي يملك أقل قيمة p ضمن مستوى الدلالة المطلوب للدخول إلى النموذج. من خلال إضافة مدخل جديد إلى تلك التي تم اختيارها في الخطوة السابقة، يتم إنشاء سلسلة متداخلة من النماذج ذات تعقيد متزايد.

إضافة المصطلحات بهذه الطريقة المتداخلة يزيد دائمًا من إحصائية ملاءمة النموذج بشكل عام.

في النهاية، تصبح جميع المتغيرات خارج النموذج ذات قيم p مرتفعة جدًا بحيث لا يمكن إدخالها، ويتوقف بذلك إجراء الاختيار التقدمي.

على عكس الاختيار التقدمي، يقوم الاختيار التراجعي بإنشاء سلسلة من النماذج ذات تعقيد متناقص. تبدأ السلسلة بنموذج مشبع، وهو نموذج يحتوي على جميع المدخلات المتاحة وبالتالي يحقق أعلى إحصائيات ملاءمة ممكنة.

عندما يكون مستوى الدلالة هو معيار الاختيار، تتم إزالة المتغير الذي لديه أعلى قيمة p أولاً طالما أن قيمة p أعلى من عتبة محددة مسبقًا تُسمى حد البقاء.

تستمر إزالة المتغيرات واحدًا تلو الآخر بناءً على قيم p. ولا يُسمح للمتغيرات بالعودة إلى النموذج.

تتم إزالة المدخلات من النموذج بشكل متسلسل. في كل خطوة، يتم اختيار المدخل الذي يؤدي حذفه إلى أقل انخفاض في إحصائية ملاءمة النموذج الكلية.

عندما تكون جميع المتغيرات في النموذج لها قيم p منخفضة بما يكفي للبقاء، تتوقف عملية الإزالة التراجعية.

تجمع طريقة الاختيار التدريجي بين عناصر الاختيار الأمامي والحذف الخلفي. تبدأ بنموذج يحتوي فقط على الحد الثابت (المقطع). تُضاف المتغيرات واحدًا تلو الآخر كما في الاختيار الأمامي.

بمجرد إضافة متغير ثانٍ، تتم إزالة المتغيرات التي أُضيفت سابقًا في خطوة خلفية إذا لم تعد تستوفي معيار البقاء في النموذج. في مرحلة الحذف الخلفي في هذا المثال، لم يُحذف أي من المتغيرين لأن كليهما استوفى حد البقاء.

في الخطوة التالية، عند إدخال متغير آخر في النموذج، أصبح أحد المتغيرات السابقة الموجودة في النموذج غير مهم إحصائيًا.

في الخطوة الرابعة، يُزال متغير أُضيف سابقًا في خطوة خلفية.

تنتهي العملية عندما تكون جميع المدخلات المتاحة للإدراج في النموذج لها قيم p أعلى من حد الإدراج، وجميع المدخلات المدرجة بالفعل في النموذج لها قيم p أقل من حد البقاء.

Question

The STEPWISE, BACKWARD, and FORWARD strategies result in the same final model if the same significance levels are used in all three.

Correct.
Because the techniques for selecting or eliminating effects differ among the three sequential methods, they don't always produce the same final model.

Incorrect.
The correct answer is b. Because the techniques for selecting or eliminating effects differ among the three sequential methods, they don't always produce the same final model.

TopicTitle

Problems exist with using stepwise selection methods based on significance level. Some of the problems include p-values that are biased too low, confidence limits for parameter estimates that are biased too narrow, and parameter estimates that are biased away from zero.

What causes these problems? A p-value is intended for evaluating one hypothesis. When it's used for evaluating dozens of models with overlapping sets of predictors, the meaning of the p-value can become distorted.

With these problems in mind, what approaches can be used to find good explanatory models for our data? There's no universally accepted best approach. Prespecifying models based on subject matter expertise instead of using automated model selection approaches can avoid the problems with p-values. But with many predictors, prespecifying the model can become unfeasible.

Information criteria might be a better approach to finding good explanatory models for your data. Also, there are model-averaging approaches that combine several models into one, weighting them based on the AIC. Despite their issues, stepwise methods are often used due to their easy implementation and computational efficiency. However, some authors suggest that shrinkage methods might be superior to stepwise methods of model selection.

TopicTitle

So, what are shrinkage methods? Some model selection methods result in parameter estimates that are shrunk relative to the ordinary least squares estimates. Such methods include least angle regression (LAR), elastic net, and LASSO, which stands for least absolute shrinkage and selection operator.

Why would we want to shrink OLS estimates, which are the best linear unbiased estimates?

OLS parameter estimates are unbiased, but they are not necessarily the best estimates to use for prediction. This is because they often produce higher variance predictions due to the trade-off between bias and variance. Although shrinkage methods can add bias to predictions, they can greatly reduce variance and thus prediction error. Although biased parameter estimates are often not ideal for explanatory modeling, some studies have shown that shrinkage methods such as LAR and LASSO do a better job of selecting important predictors and removing noise variables compared with stepwise methods.

(See Text Version for Image)

You learn more about shrinkage methods and the bias-variance trade-off later in this course.

في العرض التالي، سنقوم بتطبيق نموذج الانحدار الخطي المتعدد. سنشمل متغيرات تنبؤية مستمرة مثل عدد الهدايا خلال 36 شهرًا، ودخل اللحوم، ووقت آخر هدية، بالإضافة إلى متغيرات تنبؤية تصنيفية مثل الجنس وامتلاك المنزل. سنستخدم اختيار النموذج التدريجي ومعيار معلومات أكايكي لإضافة وإزالة المتغيرات من النموذج.

في هذا العرض التوضيحي، ستستخدم برنامج SAS لإنشاء نموذج الانحدار المتعدد لمبلغ التبرع باستخدام طريقة اختيار النموذج التدريجي. ستستخدم معيار معلومات أكايكي، AIC، لإضافة وإزالة المتغيرات من النموذج. تمت إضافة البرنامج multipleregression.sas إلى تدفق الارتباط والانحدار الذي تم إنشاؤه مسبقًا. انتقل إلى مجلد VST.

انقر مرتين على الارتباط والانحدار في التدفق الذي تم إنشاؤه مسبقًا. ثم انقر أيضًا مرتين على MultipleRegression.sas.

بينما معظم الشيفرة في هذا البرنامج تتجاوز نطاق هذا المقرر، سننظر في جزئين من الشيفرة. سنرى كيف يتم ترميز المتغيرات الفئوية وطريقة الاختيار المستخدمة.

أولاً، انظر إلى عبارة class. يمكننا أن نرى أنها تقول param يساوي glm.

هذا يشير إلى ترميز GLM للمتغيرات الفئوية. هذا هو الافتراضي، وهذا الترميز الافتراضي ينشئ متغيرًا وهميًا رقميًا لكل مستوى من مستويات المتنبئ الفئوي. لذا، المتنبئ ذو مستويين مثل الجنس سيتم تمثيله بمتغيرين رقميين في هذا الانحدار.

ترميز التأثير وترميز المرجع هما خيارات أخرى شائعة الاستخدام هنا. حيث ينشئون متغيرًا وهميًا أقل من ترميز GLM ويستخدمون لمقارنة المستويات بالمتوسط أو بمستوى مرجعي، على التوالي. الشيء التالي الذي يجب النظر إليه هو عبارة النموذج. يمكنك أن ترى بعد الشرطة المائلة، أنها تقول selection يساوي stepwise وفي الأقواس، select يساوي AIC. هذا يشير إلى أن هذا الانحدار سيستخدم اختيار المتغيرات التدريجي. وستدخل المتغيرات أو تخرج من النموذج بناءً على ما يحسن AIC أكثر.

بالنسبة لـ AIC وأي من معايير المعلومات الأخرى المتاحة، القيم الأصغر تشير إلى ملاءمة أفضل للنموذج مع البيانات.

من هنا، انقر على زر Copy to Flow وأضف MultipleRegression.sas إلى تدفق الارتباط والانحدار.

تابع وقم بحفظ هذا التدفق، ثم انقر بزر الفأرة الأيمن على عقدة البرنامج واختر Run Node.

انقر على Submitted Code and Results لعرض النتائج.

في الأعلى، يمكننا أن نرى بعض المعلومات حول مجموعة البيانات، المتغير التابع، وطريقة الاختيار المستخدمة.

بعد ذلك، يمكننا أن نرى أن نموذج الانحدار هذا استخدم 3,101 ملاحظة من حوالي 10,000 لدينا

جدول معلومات مستويات الفئة يخبرنا بعدد مستويات كل متغير فئوي. جدول الأبعاد يخبرنا بعدد التأثيرات في النموذج، وكذلك عدد المعاملات. هناك الكثير من المعاملات أكثر من التأثيرات، وذلك لأن أي من المتغيرات الفئوية تم ترميزها كمتغيرات وهمية. لذا عندما يكون لدينا متغير مثل مجموعة ديموغرافية، هذا يُحسب كتأثير واحد، لكن سيكون هناك 54 متغيرًا وهميًا لتمييز مستويات هذا المتغير الديموغرافي. كل واحد من هذه المتغيرات الوهمية هو معامل آخر في النموذج.

بالتمرير للأسفل، يمكننا أن نرى ملخص اختيار المتغيرات التدريجي. يمكننا أن نرى أن النموذج بدأ فقط بمعامل التقاطع، ثم خلال 6 خطوات، تمت إضافة متغير واحد في كل مرة. كل متغير تمت إضافته كان المتغير الذي حسن AIC أكثر. في الخطوة 7، تم إزالة أحد المتغيرات التي دخلت مسبقًا في الخطوة 4، لأن ذلك حسن AIC. ثم في الخطوات من 8 إلى 13، تمت إضافة متغير واحد في كل خطوة. توقفت عملية الاختيار التدريجي بعد 13 خطوة، وتوقفت لأن تم الوصول إلى الحد الأدنى المحلي لـ AIC. هذه هي القيمة التي عليها علامة النجمة هنا.

الجدول التالي يسمى تفاصيل التوقف. ويخبرنا بالمرشح التالي للدخول أو الإزالة. لذا إذا كان علينا إضافة متغير آخر إلى نموذجنا، اقتراح جيد سيكون Gift Count Card 36. لكن لم تتم إضافته لأن ذلك سيرفع AIC بدلاً من خفضه. المرشح التالي للإزالة هو Prom Count Card All. ومرة أخرى، لم تتم إزالته من نموذجنا لأن ذلك سيرفع AIC بدلاً من خفضه.

بالتمرير للأسفل، يمكننا أن نرى مخططات معايير الملاءمة لانحدارنا.

يحتوي هذا الرسم البياني على أربعة مخططات منفصلة، أحدها يظهر AIC، وآخر يظهر AIC المصحح، الذي تم تعديله للاستخدام مع أحجام عينات صغيرة، SBC، معيار شوارز-باسيان، وR-squared المعدل.

الآن، معايير المعلومات الثلاثة هذه تشير إلى ملاءمة النموذج النسبي مع رقم أصغر يشير إلى ملاءمة أفضل للنموذج. R-squared المعدل يشير إلى ملاءمة أفضل للنموذج مع قيم أعلى.

محور السينات في هذه الرسوم البيانية الأربعة يشير إلى 13 خطوة في عملية بناء النموذج. يمكننا رؤية تلك الخطوات مرة أخرى بالتمرير للأعلى والنظر إلى ملخص الاختيار التدريجي. لذا النموذج في الخطوة 0 يحتوي فقط على معامل التقاطع. النموذج في الخطوة 1 يحتوي على معامل التقاطع وgive to average 36.

ما يمكننا رؤيته هو أنه من بين تلك النماذج الثلاثة عشر التي كانت موجودة في كل واحدة من تلك الخطوات الثلاثة عشر، AIC، AICc، وR-squared المعدل جميعها تقول أن أفضل نموذج من بين تلك الثلاثة عشر هو النموذج رقم 13. هذا ما تشير إليه النجمة. معيار SBC يقول أن أفضل نموذج من بين هذه الثلاثة عشر هو النموذج في الخطوة 10. غالبًا ما يحدث هذا حيث تخبرك إحصائيات ملاءمة النموذج المختلفة أن نماذج مختلفة هي الأفضل من بين المرشحين الذين تنظر إليهم. من الأفضل أن تقرر أي إحصائية ملاءمة للنموذج ستستخدمها قبل النظر إلى نتائجك. أبعد في هذا التقرير، يمكننا أن نرى أن النموذج المختار هو النموذج في الخطوة الأخيرة، الخطوة 13، ويمكننا أن نرى التأثيرات الموجودة في النموذج.

أبعد في الأسفل، يمكننا أن نرى جدول تحليل التباين، الذي يخبرنا أن هذا النموذج بشكل عام مهم، أي أن هناك على الأقل أحد المتنبئين هو متنبئ مهم. ونحصل على بعض المعلومات الملخصة، مثل متوسط الجذر التربيعي للخطأ، القيمة الأصغر تشير إلى ملاءمة أفضل للنموذج. يمكننا أن نرى متوسط قيمة المتغير المستجيب هو $100.04، وR-squared هو 0.54، أي أن هذا النموذج يمكنه تفسير 54% من التباين في مبلغ التبرع. ثم يمكننا أن نرى إحصائيات ملاءمة النموذج المختلفة، R-squared المعدل، AIC، AICC، وSBC.

أبعد في الأسفل، لدينا جدول تقديرات المعاملات.

هذا يظهر التقديرات للمعاملات التقاطعية وللانحدارات لجميع المتنبئين الرقميين لدينا. بالنسبة للمتغيرين الفئويين الذين دخلوا نموذجنا النهائي، status cat star all وstatus cat 96NK، يتم عرض متغيراتهم الوهمية في جدول تقديرات المعاملات.

لذا يمكننا أن نرى صفين لـ status catsterol.

وستة صفوف لـ status cat 96 MK.

المستوى المرجعي لكل من هذه المتنبئين الفئويين له تقدير معامل يساوي صفر. المستويات الأخرى لها معاملات تصف الفرق بين هذا المستوى المحدد والمستوى المرجعي. على سبيل المثال، إذا نظرنا إلى تقدير المعامل لـ status cat 96NK، المستوى A، فهو 2.49. هذا يشير إلى زيادة متوسط مبلغ التبرع بمقدار $2.49 لأعضاء مجموعة A مقارنة بمجموعة S، وهي المستوى المرجعي.

هذه تقديرات المعاملات تشير إلى الزيادة المتوسطة في مبلغ التبرع مقابل زيادة وحدة واحدة في هذه المتغيرات.

لاحظ أن عدة تأثيرات في النموذج ليست مهمة عند مستوى ألفا يساوي 0.05.

على سبيل المثال، promotionalCountCard12 له قيمة p تساوي 0.09، وpromotionalCountCardAll له قيمة p تساوي 0.122. لدينا تأثيرات غير مهمة إحصائيًا في هذا النموذج لأن طريقة اختيار النموذج كانت مبنية على AIC وليس مستوى الأهمية. في كل خطوة في عملية بناء النموذج، يتم إضافة أو إزالة متغير واحد يحسن AIC بالنسبة للنموذج في الخطوة السابقة. في الخطوة الأخيرة، لم تؤدِ أي إضافات أو إزالة لمتغير واحد إلى جعل AIC أصغر.

لو استخدمنا معايير اختيار نموذج أخرى، مثل SBC، R-squared المعدل، أو قيم P، فمن المحتمل جدًا أن نحصل على نماذج نهائية مختلفة عن نموذج AIC التدريجي هذا.

غالبًا ما يكون من الجيد استخدام عدة طرق لاختيار المتغيرات لتوليد عدة نماذج مرشحة. يمكنك بعد ذلك استخدام خبرتك في المجال لاختيار أفضل نموذج من بين المرشحين بناءً على هدف بحثك.

الآن، أبعد في الأسفل، هناك بعض التشخيصات، بما في ذلك عوامل تضخم التباين وعدة مخططات مختلفة يمكننا استخدامها لتقييم هذا النموذج. سيتم مناقشة هذه المخططات التشخيصية في العرض التوضيحي التالي.

TopicTitle

The model produced in the demonstration was based on stepwise selection that used AIC to determine which variables entered or left the model. Many other combinations of selection methods and criteria can be used to generate models.

The demonstration model is shown on the first row. The results of three additional approaches are also shown: stepwise selection based on SBC, backward selection based on adjusted R-square, and stepwise selection based on significance level, with a significance threshold of alpha = 0.01. Each of these approaches produced different models that ranged from 6 inputs (SBC) to 15 inputs (adjusted R-square).

Candidate Models
Method	Select	# inputs	MSE	R-square	Adj R-square	AIC	SBC
Stepwise	AIC	11	302.96	0.541	0.539	20837	17831
Stepwise	SBC	6	307.05	0.533	0.532	20869	17809
Backwards	Adj R-square	15	301.76	0.551	0.541	20880	18212
Stepwise	SL (α = 0.01)	8	303.48	0.540	0.538	20839	17815

Despite different numbers of predictors, the models have similar mean square errors (MSE), meaning that they have similar amounts of variance in the target that they are unable to explain. Lower MSE indicates a better model.

Not surprisingly, the stepwise AIC model is "best" based on the AIC statistic, and the stepwise SBC model is "best" based on the SBC statistic. The backward selection adjusted R-square model has the best value of MSE, R-square, and adjusted R-square out of these four models. The stepwise selection model based on significance level did not have the best fit statistic, but all of the 8 inputs were significant (unlike the AIC model) at the p<0.01 level.

Different model selection methods often suggest different "best" models. These models can all be considered candidate models, and there are usually relatively few compared to the dozens, hundreds, or thousands (or more!) models that were possible candidates before using these model selection methods to narrow your choices.

Sometimes a single fit statistic will be used to select a final model out of the candidates. But often nonstatistical needs figure into the choice of final model. Now is time to use the goals of your business or research, and your understanding of the field, to make an informed choice when selecting an appropriate model.

TopicTitle

What type of criteria might be used to choose a final model in addition to model fit statistics? That depends on how the model will be used.

(See Text Version for Image)

If data needs to be collected in the future, and the data is expensive or time consuming to collect, a model with fewer inputs might be desirable. In other situations, one model might be chosen over another because the inputs are more reliable. For example, income is easier to measure than job satisfaction. A model with more reliable inputs might be desirable over a model with less reliable inputs, all else being equal. Other times, it is important to include specific predictors. This might be due to wanting to control for those inputs, wanting certain inputs to compare with previous research, or requirements by regulators. The consideration of business needs when choosing a model does not only apply to regression and explanatory modeling. The same considerations show up in using machine learning models for prediction.

Besides these considerations, the chosen regression model should meet the assumptions of linear regression. These are often assessed through statistical graphics. We talk about the assumptions and the graphs used to assess them in the next section.

يمكن أن تتضمن تشخيصات النماذج في الانحدار التحقق من افتراضات النموذج، واختبار التعدد الخطي، وهو وجود ارتباطات قوية بين مجموعات من المتغيرات المستقلة، والبحث عن القيم الشاذة والملاحظات المؤثرة.

تتطلب نماذج الانحدار بطريقة المربعات الصغرى العادية إجراء عدة افتراضات من أجل الاستدلال الإحصائي والنمذجة التفسيرية. إذا كان الهدف فقط هو الحصول على أفضل تقديرات خطية غير متحيزة لمعاملات الانحدار، فهذه الافتراضات ليست ضرورية. ولكن في معظم الأحيان، يرغب المحللون في اختبار الفرضيات حول تقديرات المعاملات. يشمل ذلك حساب الأخطاء المعيارية، وإحصاءات الاختبار مثل t و f، وفترات الثقة، وقيم p. لكي تكون هذه الإحصاءات موثوقة، يجب تحقيق افتراضات النماذج الخطية. الافتراض الأول هو الخطية في المعاملات. إذا لم تكن العلاقة بين المتغيرات المستقلة والمتغير التابع خطية، فأنت تستخدم النموذج الخاطئ. عندما يكون النموذج غير محدد بشكل كبير، لن تكون النتائج ذات معنى. الأخطاء المستقلة الموزعة طبيعياً مع تباين ثابت أو متساوٍ كلها مطلوبة من أجل الاستدلال الإحصائي. ومن الملائم أن هذه الافتراضات تشكل اختصار LINE، مما يسهل تذكرها.

نظرًا لأن معظم هذه الافتراضات تتعلق بالأخطاء، كيف يمكننا التحقق من هذه الافتراضات؟ يمكن التحقق من معظم افتراضات المربعات الصغرى العادية (OLS) من خلال رسم وتحليل القيم المتبقية. من الرسومات الشائعة للتحقق من الافتراضات: رسم القيم المتبقية مقابل التنبؤات الناتجة عن النموذج، ورسم القيم المتبقية مقابل كل من المتغيرات المستقلة، أي قيم x. يشير تشتت عشوائي للنقاط فوق وتحت خط القيم المتبقية الصفرية دون وجود أنماط واضحة في هذه الرسومات إلى أن افتراضات النموذج كانت مُرضية.

يمكن رسم القيم المتبقية مقابل كل من القيم المتوقعة من النموذج ومقابل المتغيرات المستقلة الفردية. يشير التبعثر العشوائي، مثل الصورة في أعلى اليسار، إلى عدم وجود مشاكل في النموذج. عندما تظهر أنماط معينة، فقد تشير إلى انتهاكات لافتراضات النموذج. قد يشير نمط القيم المتبقية المنحني في أعلى اليمين إلى وجود خطأ في تحديد النموذج. يشير شكل القمع، مثل الصورة في أسفل اليسار، إلى انتهاك افتراض ثبات التباين. أما الأنماط الدورية، مثل الصورة في أسفل اليمين، فقد تشير إلى عدم الاستقلالية. يمكن أن تحد انتهاكات هذه الافتراضات من الاستنتاجات التي يمكن أن يستخلصها محلل التفسير من الانحدار، لكنها أقل إشكالية عندما يُستخدم الانحدار للتنبؤ البحت. يتطلب التقييم الرسومي للاعتدالية رسوماً بيانية مختلفة.

يمكن التحقق من افتراض التوزيع الطبيعي باستخدام مخطط الكميات الطبيعية (QQ plot) وهيستوغرام البواقي.

تُظهر مخططات الكميات الطبيعية أو QQ الكميات الخاصة بمتغير معين مرسومة مقابل الكميات الخاصة بتوزيع طبيعي معياري. كلما اقتربت نقاط البيانات من خط التساوي، اقترب المتغير من التوزيع الطبيعي.

الهيستوغرامات للبواقي التي تظهر تقريباً شكل منحنى الجرس تتوافق مع التوزيع الطبيعي.

يمكن أيضاً تقييم افتراض التوزيع الطبيعي من خلال الإحصاءات الوصفية، على سبيل المثال، إحصاءات التفرطح والانحراف المعياري القريبة من الصفر، والاختبارات الفرضية الرسمية.

Question

Predictor variables are assumed to be normally distributed in linear regression models.

Correct.
In linear regression, errors are assumed to be normally distributed.

Incorrect.
The correct answer is b. In linear regression, errors are assumed to be normally distributed.

بالإضافة إلى التحقق من افتراضات نموذج الانحدار، يمكن أن يشمل تقييم النموذج التحقق من وجود التداخل بين المتغيرات. التداخل، والذي يُسمى أيضًا التداخل المتعدد، يعني وجود ارتباطات قوية بين مجموعات من المتغيرات المستقلة. التداخل هو مفهوم غير إشرافي، أي أنه يتعلق فقط بالمتغيرات المستقلة وليس المتغير التابع. يمكن أن يوجد التداخل بين زوج من المتغيرات، كما يمكن أن يشمل ثلاثة أو أكثر من المتغيرات المستقلة. التداخل ليس انتهاكًا لافتراضات الانحدار، لكنه قد يسبب عدة مشاكل في النمذجة. عندما يوجد التداخل بين المتغيرات المستقلة، تصبح تقديرات المعاملات غير مستقرة وتزداد الانحرافات المعيارية لها. التغيرات في الانحرافات المعيارية ستغير قيم p وتجعل تفسير النموذج أكثر صعوبة. كما يمكن أن تزداد تباينات القيم التنبؤية، خاصة إذا كانت قيم المتغيرات المستقلة خارج نطاق العينة التي أنتجت النموذج. يمكن أن يؤدي التداخل أيضًا إلى أداء ضعيف لطرق اختيار المتغيرات التلقائية، مما ينتج عنه اختيار مجموعة عشوائية من المتغيرات لنموذجك. دعونا نلقي نظرة على تصوير بياني للتداخل.

في هذا التوضيح للتوازي الخطي، تُظهر الظلال المسقطة لنقاط البيانات أن x1 و x2 مرتبطتان. هذا الارتباط يجعل معاملات الانحدار غير مستقرة. ماذا تعني عدم الاستقرار فعليًا؟ تعني أن التغييرات الصغيرة في البيانات يمكن أن تؤدي إلى تغييرات كبيرة في تقديرات المعاملات. إذا قمنا بتركيب نموذج انحدار متعدد على هذه البيانات، يمكن تصور المعاملات المقدرة على أنها ميل مستوى الانحدار الأفضل. مع وجود التوازي الخطي، تصبح معاملات الانحدار غير مستقرة. ماذا سيحدث إذا قمنا بإزالة نقطة بيانات واحدة وأعدنا تركيب النموذج؟ يمكن أن يؤدي حذف نقطة بيانات واحدة إلى تغيير إشارة الميل وحجمه. التغييرات الصغيرة في البيانات تؤدي إلى تغييرات في تقديرات المعاملات قد تغير بشكل كبير تفسير هذا النموذج.

كيف يمكننا اكتشاف التوازي الخطي؟ يمكن تقييم التوازي الخطي بين متغيرين من خلال تحليل الارتباط الثنائي، والذي ناقشناه سابقًا. لكن بالنسبة للتوازي الخطي الذي يشمل ثلاثة متغيرات مستقلة أو أكثر، هناك طرق أخرى ضرورية. إحدى هذه الطرق هي حساب عامل تضخيم التباين، أو VIF، لكل متغير مستقل. دعونا نرى كيف يتم حساب الـ VIF.

يمكن حساب عوامل تضخم التباين لتقييم التعددية الخطية داخل النموذج وتحديد أي من المتغيرات المستقلة، إن وجدت، متورطة في المشكلة. التعددية الخطية لا تتعلق بمتغير الاستجابة Y، بل تقتصر فقط على المتغيرات المستقلة أو الـ Xs. يتم حساب عوامل تضخم التباين لكل متغير مستقل مستخدم في النموذج. للبدء، قم بإجراء انحدار للمتغير المستقل الأول على جميع المتغيرات المستقلة الأخرى في النموذج الأصلي. يصف معامل التحديد (R squared) لهذا الانحدار النسبة المئوية للتباين في X1 التي يمكن تفسيرها بواسطة المتغيرات المستقلة المتبقية. بعد ذلك، استخدم هذا الـ R squared في معادلة عامل تضخم التباين، وهي مقلوب واحد ناقص R squared. إذا كان عامل تضخم التباين أكبر من أو يساوي 10، فهذا يشير إلى وجود مشكلة تعددية خطية تتعلق بـ X1 ويجب تصحيحها. وهذا يتوافق مع قيمة R squared تبلغ 0.9. كرر هذه العملية لكل متغير X في النموذج الأصلي.

TopicTitle

How can you reduce collinearity once it's detected?

(See Text Version for Image)

If you can identify redundancy among independent variables in the model, you might be able to remove one or more of the highly correlated predictors to lessen the multicollinearity. This could involve dropping the variable with the highest VIF until collinearity reaches an acceptable level.

You can also redefine some of the variables as related quantities to reduce their correlation.

Another approach is to use biased regression techniques such as incomplete principal component regression and ridge regression. Linear regression using least squares produces parameter estimates that are unbiased. But in some situations, biased estimates from principal component regression or ridge regression can produce a smaller prediction variance and still provide useful parameter estimates. Because collinearity increases the prediction variance, biased regression techniques can reduce the effect of collinearity.

Do these approaches apply to analyzing big data or only to explanatory modeling? Different approaches for detecting and removing collinearity are used in big data analysis. One such approach is to remove correlated predictors through variable clustering. A clustering algorithm is applied to the variables before modeling. The algorithm creates clusters of variables that are highly correlated within a cluster but have low correlations between clusters. Then one variable is chosen from each cluster and the rest are removed.

Other common big data approaches are to use partial least squares (PLS) and singular value decomposition (SVD). Partial least squares is a predictive modeling technique where the emphasis is on predictive accuracy and not on understanding the relationships between the predictor variables and the response. Singular value decomposition is an approach related to principal component analysis but is more efficient for large numbers of predictors. PLS and SVD are discussed at length in the Advanced Machine Learning Using SAS Viya course.

Question

Which of the following assumptions does collinearity violate?

Correct.
Collinearity is not the violation of regression assumptions. It can occur in multiple regression only when two or more predictors are correlated.

Incorrect.
The correct answer is d. Collinearity is not the violation of regression assumptions. It can occur in multiple regression only when two or more predictors are correlated.

القيم المتطرفة يمكن أن تكون أيضًا مشكلة في نماذج الانحدار. يمكن تصنيف القيم المتطرفة إلى نقاط شاذة، ونقاط ذات قوة تأثير عالية، وملاحظات مؤثرة. النقطة الشاذة هي نقطة بيانات لا يتبع استجابتها y الاتجاه العام لبقية البيانات. وتكون نقطة البيانات ذات قوة تأثير عالية إذا كانت قيم المتغير المستقل x فيها متطرفة. مع وجود متغير مستقل واحد، تكون قيمة x المتطرفة ببساطة هي تلك التي تكون مرتفعة أو منخفضة بشكل خاص.

لاحظ أنه لأغراضنا، نعتبر نقطة البيانات شاذة فقط إذا كانت متطرفة بالنسبة لقيم Y الأخرى، وليس قيم X. وتكون نقطة البيانات مؤثرة إذا أثرت بشكل غير مناسب على أي جزء من تحليل الانحدار، مثل الاستجابات التنبؤية، أو معاملات الميل المقدرة، أو نتائج اختبار الفرضيات. النقاط الشاذة ونقاط البيانات ذات قوة التأثير العالية لديها القدرة على أن تكون مؤثرة، لكننا عادةً ما نحتاج إلى التحقيق أكثر لتحديد ما إذا كانت بالفعل مؤثرة. وجود نقاط شاذة أو ملاحظات مؤثرة لا ينتهك افتراضات الانحدار الخطي بشكل مباشر.

لكن نقاط البيانات غير المعتادة يمكن أن تؤثر على افتراض الخطية أو الافتراضات التوزيعية للنموذج.

استنادًا إلى التعريفات التي ناقشناها للتو، هل تعتقد أن الرسوم التوضيحية الأربعة هنا تحتوي على أي نقاط شاذة، أو نقاط ذات تأثير كبير، أو ملاحظات مؤثرة؟

جميع نقاط البيانات تتبع الاتجاه العام لبقية البيانات، لذا لا توجد نقاط شاذة في اتجاه y، ولا أي من نقاط البيانات متطرفة بالنسبة لـ x، لذا لا توجد نقاط ذات تأثير كبير.

بشكل عام، لا يبدو أن أي من نقاط البيانات مؤثرة فيما يتعلق بموقع خط الانحدار الأنسب.

في هذه الحالة، تتبع نقطة البيانات البرتقالية الاتجاه العام لبقية البيانات. لذلك، لا تُعتبر نقطة شاذة هنا. ومع ذلك، فإن هذه النقطة لديها قيمة x متطرفة، لذا فهي ذات تأثير كبير. هل نقطة البيانات البرتقالية مؤثرة؟ طريقة سهلة لتحديد ما إذا كانت نقطة البيانات مؤثرة هي إيجاد خط الانحدار الأنسب مرتين، مرة مع تضمين نقطة البيانات البرتقالية ومرة مع استبعادها.

من الصعب حتى التمييز بين خطي الانحدار المقدرَين. الخط المتصل يمثل معادلة الانحدار المقدرة مع تضمين النقطة البرتقالية، والخط المتقطع يمثل معادلة الانحدار المقدرة مع استبعاد النقطة البرتقالية. ميول الخطين متشابهة جدًا، لذا فهي ليست ملاحظة مؤثرة.

في هذه الحالة، تعتبر نقطة البيانات البرتقالية بالتأكيد نقطة شاذة وذات تأثير كبير. نقطة البيانات البرتقالية لا تتبع الاتجاه العام لبقية البيانات، كما أن لديها قيمة x متطرفة. وفي هذه الحالة، تعتبر نقطة البيانات البرتقالية مؤثرة. خطا الانحدار الأنسب، أحدهما تم الحصول عليه عند تضمين نقطة البيانات البرتقالية والآخر عند استبعادها، مختلفان بشكل كبير. وجود نقطة البيانات البرتقالية يقلل بشكل ملحوظ من ميل خط الانحدار. لأن نقطة البيانات البرتقالية لا تتبع الاتجاه العام لبقية البيانات، ستعتبر نقطة شاذة. ومع ذلك، فإن هذه النقطة ليس لديها قيمة x متطرفة، لذا فهي ليست ذات تأثير كبير. من الصعب حتى التمييز بين خطي الانحدار المقدرَين، لذا فهي ليست ملاحظة مؤثرة.

كيف نقرر ما إذا كانت الملاحظة مؤثرة؟ معظم إحصائيات التأثير تتبع نفس النهج. فهي تأخذ مجموعة بياناتك وتحسب إحصائية التأثير المطلوبة. يمكن أن تقيس هذه الإحصائية أي جزء من أجزاء النموذج المختلفة. ثم يتم حذف ملاحظة واحدة ويعاد حساب الإحصائية.

يتم حساب الفرق بين الإحصائية قبل وبعد الحذف. في بعض الحالات، يتم تحجيم النتيجة بوحدات الانحراف المعياري. إذا كان التغير كبيرًا، تعتبر تلك الملاحظة مؤثرة. كرر هذه العملية لكل ملاحظة يتم حذفها واحدة تلو الأخرى لتحديد ما إذا كانت تلك الملاحظة مؤثرة أم لا.

هناك العديد من اختبارات التأثير التي تساعد في تحديد أي الملاحظات لها تأثير كبير. تساعد البواقي الموحدة وإحصاءات النفوذ في اكتشاف القيم المتطرفة.

مقياس Cooke's d ونسب التغاير وDiffitts تساعد في العثور على الملاحظات التي تؤثر على جوانب مختلفة من النموذج.

مقياس Cooke's D ونسب التغاير وdiffets تساعد في العثور على الملاحظات التي تؤثر على تقديرات المعلمات وأخطاءها المعيارية والقيم التنبؤية على التوالي.

بالنسبة لنماذج الانحدار الخطي، هناك حدود مقترحة لحجم الإحصاء اللازم للاستنتاج بأن الملاحظة تعتبر مؤثرة. هناك نهج آخر لتحديد مدى كبر القيمة وهو البحث عن الملاحظات ذات القيم الكبيرة لإحصاء التأثير والتي تكون منفصلة بشكل واضح عن القيم الأخرى.

العديد من أنواع نماذج الانحدار المتقدمة، مثل النماذج الخطية المعممة والنماذج المختلطة، ليس لديها حدود مقترحة لإحصاءات التأثير، لذا يتطلب الأمر نهجًا ذاتيًا. ما يجب فعله مع القيم المتطرفة يعتمد على هدف البحث.

يتم مناقشة الخيارات للتعامل مع القيم المتطرفة في الدرس الخامس. هذه الاختبارات التشخيصية للتأثير ليست بالضرورة مستخدمة في تحليل البيانات الضخمة في نماذج تعلم الآلة.

وذلك لأن العديد من نماذج تعلم الآلة، مثل الشبكات العصبية، يمكنها التعامل بسهولة مع القيم المتطرفة دون التأثير على دقة التنبؤات. ويعود ذلك إلى مرونة هذه النماذج وإمكانية الوصول إلى مجموعات بيانات أكبر. تتم مناقشة طرق تعلم الآلة لاكتشاف القيم المتطرفة في درس لاحق. ولمعالجة أكثر تعمقًا لاكتشاف القيم المتطرفة في نماذج تعلم الآلة، راجع دورة التعلم الآلي المتقدم باستخدام SAS Viya.

في العرض التوضيحي التالي، نقوم بتقييم ملاءمة نموذج الانحدار المتعدد الذي تم تطبيقه سابقًا. يشمل التقييم التحقق مما إذا كان النموذج يفي بافتراضات الانحدار الخطي، وتحديد ما إذا كان هناك تداخل خطي بين المتغيرات المستقلة، واكتشاف أي ملاحظات مؤثرة أو قيم شاذة.

في هذا العرض التوضيحي، تقوم بتقييم الافتراضات للنموذج الذي تم ضبطه مسبقًا باستخدام اختيار الخطوات التدريجي.

بالإضافة إلى ذلك، تتحقق من مشاكل التداخل بين المتغيرات ومن القيم الشاذة والملاحظات المؤثرة. عد إلى تدفق الارتباط والانحدار.

وأظهر النتائج من ملاحظات برنامج SAS.

أعد تشغيل هذه العقدة إذا لزم الأمر.

سنلقي نظرة على النتائج مرة أخرى، لكن هذه المرة سنركز على أدوات التشخيص والمخططات. قم بالتمرير للأسفل حتى ترى جدول تقديرات المعاملات الثاني. هذا هو الجدول الذي يحتوي على قيم عوامل تضخم التباين.

عوامل تضخم التباين تمثل قوة التداخل بين المتغيرات لكل تأثير في النموذج.

الآن، التداخل بين المتغيرات ليس انتهاكًا لافتراضات النموذج، لكنه يمكن أن يؤدي إلى عدم استقرار النموذج بالإضافة إلى مشاكل أخرى.

عامل تضخم التباين الذي يتجاوز 10 يشير إلى وجود مشكلة قوية في التداخل بين المتغيرات في النموذج.

يمكنك أن ترى أن متغير "عدد البطاقات الترويجية للجميع" لديه أعلى عامل تضخم تباين بحوالي 12.5.

الثاني الأعلى هو "وقت الهدية الأول"، والذي لديه عامل تضخم تباين بحوالي 9.5.

التداخل بين المتغيرات يزيد من تباين هذه المعاملات مقارنة بنموذج لا يعاني من مشكلة التداخل. بالنسبة لهذين المتغيرين، لم يقم التداخل بزيادة التباين بما يكفي لجعلهما غير مهمين. كلا المتغيرين لديهما قيم p أقل من 0.0001. أحد الأساليب لمعالجة مشاكل التداخل هو إزالة المتغيرات المتورطة في التداخل، عادةً بدءًا بالمتغير الذي لديه أعلى عامل تضخم تباين.

بعد ذلك، سننظر إلى مخطط القيم المرصودة مقابل القيم المتوقعة لمبلغ التبرع. على المحور الرأسي لدينا القيم الفعلية لمتغير الهدف لدينا، وهو مبلغ التبرع. وعلى المحور الأفقي لدينا القيم التي تم توقعها بواسطة هذا النموذج. من الناحية المثالية، يجب أن يظهر مخطط الانتشار مثل هذا نقاطًا تقع على طول هذا الخط بزاوية 45 درجة، مما يشير إلى أن التوقعات تتطابق مع القيم المرصودة في الحياة الواقعية. في هذا المخطط، تتطابق القيم المتوقعة والمرصودة للهدف بشكل أفضل بكثير من النموذج السابق للانحدار الخطي البسيط. لا زلنا نرى بعض المشاكل في هذا النموذج، خاصةً مع التبرعات الصغيرة، مثل تلك التي تقل عن حوالي 50 دولارًا. عندما كانت التبرعات صغيرة، لم نحصل على قيم متوقعة مطابقة من هذا النموذج. تلك التبرعات الصغيرة يميل النموذج إلى تقديرها بشكل مبالغ فيه، حيث يصدر النموذج توقعات أكبر بكثير من قيم التبرع الفعلية. بالإضافة إلى ذلك، القيم المتوقعة الأعلى، مثل تلك التي تتجاوز 200 أو 250 دولارًا، تميل أيضًا إلى تقدير مبلغ التبرع المرصود بشكل مبالغ فيه. بعد ذلك، سننظر إلى هذا المخطط متعدد اللوحات، وهو تشخيص الملاءمة لمبلغ التبرع. العمود الأول من ثلاثة مخططات يمكن استخدامه لتقييم ما إذا كانت افتراضات النموذج قد تم تحقيقها. هذه الافتراضات للانحدار الخطي هي أخطاء مستقلة، وتباين خطأ ثابت، وتوزيع طبيعي للأخطاء. نحتاج لتحقيق هذه الافتراضات لكي نثق في قيم p والانحرافات المعيارية وفترات الثقة التي جاءت من هذا النموذج. لتقييم الافتراضات المتعلقة بالأخطاء، ننظر إلى هذه المخططات للبواقي. المخطط الأول يظهر البواقي مرسومة مقابل القيم المتوقعة من هذا النموذج. ونرى نمطًا غير عشوائي. من الناحية المثالية، نود أن نرى تشتتًا عشوائيًا للنقاط، لكننا نرى العديد من البواقي السلبية المرتبطة بالقيم المتوقعة الأعلى. هذه البواقي السلبية الكبيرة في أسفل المخطط تشير إلى أن شكل النموذج قد يكون غير كافٍ. ربما نحتاج إلى مصطلحات من الدرجة الأعلى. ربما يمكن إضافة مصطلح تربيعي أو تأثير تفاعل إلى النموذج لتحسين ملاءمة النموذج. بالإضافة إلى ذلك، قد يصبح تباين البواقي أصغر مع زيادة القيم المتوقعة. المخططان التاليان، مخطط الكمية الطبيعية ومخطط المدرج التكراري للبواقي، يشيران إلى أن البواقي قد لا تكون موزعة بشكل طبيعي. نرى انحرافًا إلى اليسار في كلا الرسمين. إذا كان الهدف من استخدام هذا النموذج هو الاستدلال الإحصائي، فمن المرجح أن يرغب الباحث في تعديل هذا النموذج لتحقيق افتراضات الانحدار الخطي بشكل أفضل. أحد المخططات التشخيصية الأخرى هنا هو مخطط يظهر قيم Cooke's d. يساعدنا Cooke's d في العثور على الملاحظات المؤثرة. ينظر إلى تأثير كل ملاحظة، كل صف في جدول البيانات لدينا، على مجموعة المعاملات الكاملة لتقديرات المعاملات التي أنتجها هذا النموذج. نهج جيد للنظر في مخططات هذه الإحصاءات المؤثرة هو البحث عن الملاحظات التي لديها قيم كبيرة من الإحصاءات المؤثرة وحيث تكون تلك القيم الكبيرة منفصلة بشكل جيد عن القيم الأخرى. وبناءً على هذا المعيار، يمكننا أن نرى أن هناك على الأقل ملاحظة واحدة هنا لديها قيمة عالية جدًا من Cooke's d. لذا فإن هذا المتبرع له تأثير كبير على مجموعة المعاملات الكاملة التي أنتجها هذا النموذج. تشمل المعاملات نقطة التقاطع وجميع الانحدارات لمتغيرات التنبؤ لدينا. يمكننا أيضًا النظر إلى مخطط تأثير آخر يظهر قيم DF fits. يخبرنا DF fits بمدى تأثير الملاحظات على القيم المتوقعة. ويظهر هذا المخطط أن لدينا من ملاحظة واحدة إلى ثلاث ملاحظات مؤثرة. بالنسبة للملاحظات المؤثرة التي تم تحديدها بواسطة هذين المخططين، قد نرغب في العودة إلى جدول البيانات الأصلي لمعرفة ما إذا كان هناك أي أخطاء في إدخال البيانات لتلك الملاحظات، أو ربما لمعرفة ما إذا كان هناك أي متغيرات تنبؤية مهمة تم استبعادها من هذا النموذج والتي يمكن أن تفسر هذه الملاحظات المؤثرة والقيم الشاذة.

أبعد قليلاً، يمكننا أن نرى مخططات للبواقي مرسومة مقابل كل من المتغيرات التنبؤية. العديد من هذه المخططات تظهر الكثير من البواقي السلبية عند القيم الأعلى للمتغيرات التنبؤية، وربما تباين خطأ غير ثابت أو تباين بواقي غير ثابت. الأنماط في هذه المخططات قد تشير إلى نموذج غير محدد بشكل صحيح. تحويلات المدخلات، أو ربما إضافة مصطلحات من الدرجة الأعلى، يمكن أن تقلل من نمط البواقي السلبية عند القيم الأعلى لهذه المتغيرات التنبؤية. يمكننا أن نرى أنماطًا مشابهة في العديد من مخططات البواقي مقابل المتغيرات التنبؤية. المخططات الأخيرة للبواقي تظهر عمودين من النقاط. هذه تتوافق مع المتغيرات الوهمية التي تم إنشاؤها للمتغيرين الفئويين اللذين دخلا هذا النموذج. يمكن بذل مزيد من الجهد لتحسين ملاءمة هذا النموذج للبيانات. يمكننا تجربة نماذج أخرى ومقارنتها بهذا النموذج التدريجي باستخدام معيار AIC. تتم مناقشة هذه الخطوات المحتملة لاحقًا في هذا الدرس.

إليك لوحة مخطط التشخيص من العرض السابق. ماذا اكتشفنا عن هذا النموذج؟ يُظهر مخطط البواقي حسب القيم المتوقعة أن القيم المتوقعة الأعلى من حوالي 170 دولارًا جميعها لديها بواقي سالبة. بمعنى آخر، النموذج يبالغ في تقدير مبلغ التبرع للتبرعات الأعلى. المبالغة المستمرة في تقدير المتغير التابع تشير إلى أن النموذج غير محدد بشكل صحيح. وقد نكون نفتقد متغيرات تنبؤية أو تفاعلات مهمة في هذا النموذج.

يُظهر مخطط الكوانتايل-كوانتايل والهيستوغرام الخاص بالبواقي أن البواقي منحرفة إلى اليسار، وليست موزعة توزيعًا طبيعيًا. بالإضافة إلى ذلك، وبناءً على مخطط Cook's d، هناك على الأقل ملاحظة واحدة لها تأثير كبير على تقديرات المعاملات في هذا النموذج. على الرغم من هذه المشكلة، إلا أن النموذج قادر على تفسير نصف التباين في التبرعات المقدمة إلى PVA.

ماذا لو أردنا تحسين هذا النموذج؟ ما هي الخطوات التالية التي يمكن اتخاذها؟ ربما يمكن أن يؤدي تضمين متغيرات تنبؤية إضافية أو تفاعلات إلى تحسين ملاءمة النموذج. تحويل المتغيرات التنبؤية هو خيار آخر لتحسين النموذج. وبدلاً من محاولة تحسين هذا النموذج، يمكن استكشاف نماذج مختلفة. تم بناء هذا النموذج بناءً على الاختيار التدريجي باستخدام معيار AIC لإضافة وإزالة المتغيرات التنبؤية. عادةً، يتم ملاءمة عدة نماذج للمقارنة.

TopicTitle

What have you learned?

Correlation describes the linear association between two continuous variables. They are unitless and take values between -1 and +1.
Check scatter plots to see whether correlation analysis is appropriate.
Correlation alone is not sufficient to infer causality.
Linear regression models a response variable, Y, as a linear function of predictors, the Xs.
Regression intercept β₀ describes the average Y when X=0.
Slope β₁ describes the average change in Y for a unit increase in X.
R-square describes the proportion of variability in Y that can be explained by the regression model.
Categorical predictors can be used in regression models through dummy coding.
Stepwise model selection methods based on p-values or information criteria are computationally efficient methods of searching through vast numbers of models.
Regression diagnostics can involve checking assumptions (e ~ i.i.d. N (0, σ²)) and checking for collinearity and influential observations.

في الدرس السابق، تم استخدام النماذج الاستنتاجية لاختبار الفرضيات حول البيانات وتحليل العلاقة بين المتغيرات المستقلة والمتغيرات التابعة.

ماذا لو لم يكن تركيزنا على شرح العلاقات، بل على التنبؤ بالقيم المستقبلية للمتغيرات التابعة؟

على سبيل المثال، قد يستخدم مدير بنك نموذج تقييم ائتماني لاتخاذ قرار بشأن منح الائتمان لمقدم طلب قرض بناءً على متغيرات مثل سجل الدفع، العمر، عدد الحسابات، واستخدام الائتمان.

يمكنك بناء نموذج انحدار لوجستي باستخدام بيانات تاريخية ثم تطبيقه على المتقدمين الجدد للتنبؤ بمن المرجح أن يتخلف عن السداد. يمكن الموافقة على القروض لأولئك المتقدمين الذين من المرجح أن يسددوها.

في هذا الدرس، نبدأ بمناقشة موجزة حول الفرق بين النماذج التفسيرية والنماذج التنبؤية.

ثم نبحث عن الارتباطات بين المتغيرات المستقلة واستجابة ثنائية باستخدام اختبار الفرضية. كما نبني نموذج انحدار لوجستي ونناقش كيفية توصيف العلاقة بين الاستجابة والمتغيرات المستقلة.

وأخيرًا نستخدم النموذج أو المصنف لتقييم الحالات غير المعروفة.

في الإحصاء، يُفترض ضمنيًا أن النماذج التي تُعد أفضل في التنبؤ هي أيضًا الأكثر قدرة على التفسير.

بالطبع، يمكن استخدام النموذج التفسيري في التنبؤ، وبالمثل يمكن استخدام النموذج التنبؤي في التفسير.

ومع ذلك، غالبًا ما تختلف أفضل النماذج التنبؤية عن أفضل النماذج التفسيرية. في الواقع، النماذج التي تؤدي إلى تنبؤات جيدة لا تفسر دائمًا الظواهر المرصودة. والعكس صحيح، فالنماذج التي تفسر الظواهر بشكل جيد لا تؤدي دائمًا إلى أدق التنبؤات.

في وقت سابق من هذه الدورة، تعلمت بناء النماذج بهدف فهم وتفسير العلاقات بين الاستجابة ومجموعة من المتغيرات المستقلة.

لكن بناء النماذج يختلف عندما يتعلق الأمر بالنماذج التنبؤية البحتة.

هذا التمييز يؤثر على كل جانب من جوانب بناء وتقييم النماذج.

النماذج التفسيرية والنماذج التنبؤية لها أهداف مختلفة؛ فهي تهدف إلى التفسير السببي والتنبؤ التجريبي على التوالي. في النمذجة التفسيرية، تُطبق النماذج الإحصائية على البيانات لاختبار الفرضيات السببية.

لذا، عند النظر إلى معادلات النموذج، تركز النمذجة التفسيرية على تقديرات معاملات بيتا.

في النمذجة التنبؤية، اهتمامنا مختلف. النمذجة التنبؤية هي عملية تطبيق نموذج إحصائي أو خوارزمية تنقيب بيانات أو تعلم آلي على البيانات بهدف التنبؤ بالملاحظات الجديدة أو المستقبلية.

هنا، الهدف هو استخدام العلاقات بين المتغيرات المستقلة والاستجابة لتوليد تنبؤات جيدة للنتائج المستقبلية.

نتيجة لذلك، تُنشأ النماذج التنبؤية بطريقة مختلفة جدًا عن النماذج التفسيرية.

الهدف الأساسي هو دقة التنبؤ. لذا التركيز ليس كثيرًا على معاملات النموذج كما هو الحال في التنبؤ بالملاحظات.

في معادلة النموذج، يتم تمثيل ذلك في الجانب الأيسر من المعادلة.

في النمذجة التفسيرية، يمثل النموذج وظيفة سببية كامنة، ويُفترض أن المدخلات تسبب الهدف.

في النمذجة التنبؤية، يلتقط النموذج العلاقة بين المدخلات والهدف.

في النمذجة التفسيرية، يُبنى النموذج بعناية بناءً على وظيفة تدعم تفسير العلاقة المقدرة بين المدخلات والهدف واختبار الفرضيات السببية. في النمذجة التنبؤية، غالبًا ما يُبنى النموذج من البيانات نفسها. لا يُشترط التفسير المباشر للعلاقة بين المدخلات والهدف، رغم أن شفافية النموذج قد تكون مرغوبة أحيانًا.

النمذجة التنبؤية تتطلع إلى المستقبل، حيث يُبنى النموذج للتنبؤ بالملاحظات الجديدة.

على النقيض، النمذجة التفسيرية تتطلع إلى الماضي، حيث يُستخدم النموذج لاختبار مجموعة موجودة مسبقًا من الفرضيات.

النمذجة التفسيرية توفر أدوات لتحليل الماضي. فهي استرجاعية، أو تنظر إلى الوراء نحو الماضي.

باستخدام النمذجة التفسيرية، يمكنك التصرف فقط بناءً على المعلومات التي تصف التاريخ، والنظر إلى المستقبل يصبح مجرد تخمين. لذا حل مشكلتك التجارية بناءً على بيانات تاريخية يشبه قيادة سيارتك وأنت تنظر فقط في المرآة الخلفية.

على النقيض، النمذجة التنبؤية تحمل وعد القدرة على تقديم تنبؤات قابلة للتنفيذ لسلوك العملاء والسوق بناءً على البيانات التاريخية.

النمذجة التنبؤية استشرافية، أو تنظر إلى المستقبل، مثل رؤية الشاحنة القادمة نحوك والقدرة على تطوير استراتيجيات لتجنب الاصطدام مع إبقاء عينك أيضًا على المرآة الخلفية. في النمذجة التفسيرية، يكون التركيز على تقليل الانحياز للحصول على أدق تمثيل للنظرية الكامنة.

على النقيض، تسعى النمذجة التنبؤية إلى تقليل مزيج الانحياز وتباين التقدير، وأحيانًا تضحي بالدقة النظرية من أجل تحسين الدقة التجريبية.

سنناقش هذا التوازن بين الانحياز والتباين بالتفصيل في سياق النماذج التنبؤية.

Question

Using prior usage of services and demographic inputs, a telecom company wants to determine which customers are likely to churn. They built a regression model, which of the following statements is correct? (Select all that apply)

Correct.
Predicting churn is fundamentally a predictive modeling problem. The distinction between using regression for an explanation and prediction is somewhat artificial. A model developed for prediction is probably a good explanatory model. Conversely, a model developed for an explanation is probably a good prediction model.

Incorrect.
The correct answer is b and c. Predicting churn is fundamentally a predictive modeling problem. The distinction between using regression for an explanation and prediction is somewhat artificial. A model developed for prediction is probably a good explanatory model. Conversely, a model developed for an explanation is probably a good prediction model.

تُستخدم البيانات التاريخية لبناء نموذج، قاعدة تخصيص، يمكنه التنبؤ بقيم الهدف من المدخلات.

النموذج التنبؤي هو تمثيل موجز للعلاقة بين المدخلات والهدف.

يُشار إلى المهمة بأنها خاضعة للإشراف لأن نموذج التنبؤ يُبنى من بيانات يكون الهدف فيها معروفًا.

إذا كانت الأهداف معروفة، لماذا نحتاج إلى نموذج للتنبؤ؟

يسمح لك بالتنبؤ بالحالات الجديدة عندما يكون الهدف غير معروف.

عادةً ما يكون الهدف غير معروف لأنه يشير إلى حدث مستقبلي. بالإضافة إلى ذلك، قد يكون قياس الهدف صعبًا أو مكلفًا أو مدمرًا.

لا تكتمل مهمة النمذجة التنبؤية عند تحديد النموذج وقاعدة التخصيص.

يجب تطبيق النموذج عمليًا على الحالات الجديدة.

تسمى هذه العملية بالتسجيل.

التسجيل هو توليد القيم المتنبأ بها لمجموعة بيانات قد لا تحتوي على متغير الهدف.

يُطبق النموذج على مجموعة بيانات التسجيل للحصول على النتائج المتنبأ بها.

استنادًا إلى التنبؤات الناتجة عن النموذج، تتخذ المؤسسة قرارات أعمال وتتصرف.

يشار أحيانًا إلى عملية التسجيل بنشر النموذج أو إنتاج النموذج أو تنفيذ النموذج.

جميع المهام التي تم تنفيذها سابقًا في دورة حياة التحليلات أدت إلى هذه المهمة.

توليد التنبؤات من خلال التسجيل.

لذلك، يجب أن يكون التسجيل أكثر من مجرد تطبيق معادلة النموذج أو قواعد التخصيص. يجب أن يتضمن جميع مهام معالجة البيانات التي تم تنفيذها قبل توليد النموذج، مثل هندسة الميزات، والتحويلات، وتقدير القيم المفقودة، وما إلى ذلك.

للتسجيل، يُترجم النموذج أولاً إلى تنسيق آخر يُسمى عادةً رمز التسجيل. في بيئة SAS Viya، رمز التسجيل هو برنامج SAS يمكنك تشغيله بسهولة على مجموعة بيانات التسجيل.

ثم يُطبق النموذج على مجموعة بيانات التسجيل للحصول على النتائج المتنبأ بها، والتي تُعرف عمومًا بالبيانات المسجلة.

استنادًا إلى التنبؤات الناتجة عن النموذج، تتخذ المؤسسة قرارات أعمال وتتصرف.

لذا، يجب ألا يتم الخلط بين رمز التسجيل وبيانات التسجيل، كما أنه ليس مكافئًا لخوارزمية الحساب الأصلية.

ينشئ SAS Viya نوعين من رموز التسجيل بلغة SAS.

إما رمز Datastep أو رمز Analytics Store ASTORE.

ملف ASTORE هو ملف ثنائي مفيد وقابل للنقل وعالمي ومضغوط يمثل حالة إجراء تحليلي بعد التدريب.

جميع البيانات تأتي من الماضي.

تتيح لك تقنيات النمذجة التنبؤية، إلى جانب التسجيل وإدارة النموذج الجيدة، استخدام بياناتك عن الماضي والحاضر لاتخاذ قرارات جيدة للمستقبل. تفترض هذه العملية عدة أمور. أهم افتراض هو أن المستقبل سيكون مشابهًا بما فيه الكفاية للماضي بحيث تظل الدروس المستفادة من بيانات الماضي قابلة للتطبيق في المستقبل.

افتراض مهم آخر هو أن هناك قواعد وأنماط يمكن اكتشافها وأن البيانات المتاحة تحتوي على المعلومات المطلوبة.

TopicTitle

(See Text Version for Image)

The main differences among the analytical methods for predictive modeling depend on the type of target variable. In supervised classification, the target is a class label (categorical). The training data consists of labeled cases. The aim is to construct a model (classifier) that can allocate cases to the classes using only the values of the inputs.

Regression analysis is supervised prediction where the target is a continuous variable. (The term "regression" can also be used more generally; for example, logistic regression is a method used for supervised classification.) The aim is to construct a model that can predict the values of the target from the inputs.

In survival analysis, the target is the time until some event occurs. The outcome for some cases is censored; all that is known is that the event has not yet occurred. Special methods are usually needed to handle censoring.

Question

Which of the following statements is true regarding score code in SAS Viya? (Select all that apply)

Correct.
Score code incorporates all data manipulation tasks done before generating the model like feature engineering, transformations, and missing value imputation. SAS Viya creates two types of SAS language score code: either DATA step code or analytic store (ASTORE) code. Score code can be used for scoring a new data set.

Note that SAS Studio does not create any path analytic flow, hence data preprocessing code is not included in the score code coming out of a modeling task.

Incorrect.
The correct answer is a, c and d. Score code incorporates all data manipulation tasks done before generating the model like feature engineering, transformations, and missing value imputation. SAS Viya creates two types of SAS language score code: either DATA step code or analytic store (ASTORE) code. Score code can be used for scoring a new data set.

Note that SAS Studio does not create any path analytic flow, hence data preprocessing code is not included in the score code coming out of a modeling task.

TopicTitle

When making a prediction, a model uses data from the past to make predictions about the future. Time can always be divided into three periods: the past, present, and future.

(See Text Version for Image)

All three of these periods should be represented in the model set while building the model. Of course, all data comes from the past, so the time periods in the model set are the distant past, the not-so-distant past, and the recent past. Predictive models are built by finding patterns in the distant past that explain outcomes in the recent past. When the model is deployed, it is then able to use data from the recent past to make predictions about the future. Remember the assumption that "future is like the past."

It might not be immediately obvious why some recent data from the not-so-distant past is not used in a particular customer signature. The answer is that when the model is applied in the present, no data from the present is available as input. Any one customer signature should have a gap in time between the predictor variables and the target variable.

(See Text Version for Image)

This gap is important. For example, if a model were built using data from May (the not-so-distant past) in order to predict June (the recent past), then it could not be used to predict September until August data was available. But when is August data available? Certainly not in August, because it is still being created. Chances are that it won't be available in the first week of September either, because it must be collected, cleaned, loaded, and tested. In many businesses, the August data will not be available until mid-September or even October, at which point nobody will care about predictions for September. The solution is to include a month of latency in the model set. This latency could be thin in case of streaming data and real-time or near-real-time prediction models.

(See Text Version for Image)

Another aspect is including multiple time frames. The primary goal of the methodology is creating stable models. Even if the model is to be based on only four months of history, different rows of the model set should use different four-month windows. The idea is to let the model generalize from the past rather than memorize what happened at one particular time in the past.

عندما تقوم بضبط نموذج تنبؤي على مجموعة من البيانات التاريخية، قد تعتقد أنه من الجيد تقييم النموذج باستخدام نفس البيانات التي استخدمتها لضبط النموذج. ومع ذلك، عندما تقيم دقة النموذج التنبؤي على نفس البيانات التي تم استخدامها لضبط النموذج، تميل إلى الحصول على إحصاءات تقييم أفضل مقارنة بتقييم النموذج على بيانات أخرى. يُعرف هذا الانحياز باسم انحياز التفاؤل.

الغرض من النمذجة التنبؤية هو التعميم، أي أداء التنبؤات على بيانات جديدة. عادةً ما يؤدي تقييم النموذج على نفس البيانات التي تم ضبط النموذج عليها إلى تقييم متحيز بشكل متفائل.

اختبار الإجراء على البيانات التي نشأ منها يكاد يكون مؤكدًا أنه سيؤدي إلى تقدير مبالغ فيه للأداء.

عملية التحسين التي اختارت النموذج من بين العديد من الإجراءات الممكنة ستستفيد إلى أقصى حد من أي خصوصيات لتلك البيانات المحددة.

لتجنب تقييم متحيز بشكل متفائل وإنشاء نموذج تنبؤي يعمم بشكل جيد، عليك تقييم أداء النموذج على بيانات جديدة لم تُستخدم لضبط النموذج الأصلي. يُطلق على هذا النهج اسم التقييم النزيه. هناك طرق مختلفة لإجراء التقييم النزيه. في هذا الدرس، تعلمت الطريقة البسيطة لتقسيم البيانات. لاحقًا في الدورة، ستتعلم أيضًا بعض الطرق الأخرى لإجراء التقييم النزيه، مثل التحقق المتقاطع k-fold والتقنية المعروفة باسم bootstrapping.

في تقسيم البيانات، يتم استخدام جزء من البيانات لضبط النموذج، ويتم الاحتفاظ بالباقي للتحقق التجريبي.

يتم استخدام جزء كبير لضبط النموذج، وهو مجموعة بيانات التدريب.

تُستخدم مجموعة بيانات التحقق لمراقبة النموذج وضبطه لتحسين تعميمه.

عادةً ما تتضمن عملية الضبط اختيار نماذج من أنواع وتعقيدات مختلفة.

تقوم عملية الضبط بتحسين النموذج المختار على بيانات التحقق.

وبالتالي، هناك حاجة إلى عينة إضافية محتجزة لإجراء تقييم نهائي غير متحيز.

لدى مجموعة بيانات الاختبار استخدام واحد فقط وهو إعطاء تقدير نهائي نزيه للتعميم.

وبالتالي، يجب التعامل مع الحالات في مجموعة الاختبار كما لو كانت بيانات جديدة. لا يمكن أن تشارك بأي شكل من الأشكال في تحديد النموذج التنبؤي المضبوط. في بعض التطبيقات، قد لا تكون هناك حاجة لتقييم نهائي نزيه للتعميم.

يمكن تحسين النموذج للأداء على مجموعة الاختبار من خلال ضبطه على مجموعة التحقق. قد يكون كافيًا معرفة أن النموذج التنبؤي سيعطي على الأرجح أفضل تعميم ممكن دون الحاجة لمعرفة ما هو هذا التعميم. في هذه الحالة، لا حاجة لمجموعة اختبار. بالنسبة للنماذج التنبؤية، يجب أن تأتي مجموعة الاختبار من فترة زمنية مختلفة عن مجموعة التدريب والتحقق.

دليل استقرار النموذج هو قدرته على الأداء الجيد شهرًا بعد شهر.

مجموعة اختبار من فترة زمنية مختلفة، وغالبًا ما تسمى مجموعة اختبار خارج الزمن، هي طريقة جيدة للتحقق من استقرار النموذج، على الرغم من أن مثل هذه المجموعة ليست متاحة دائمًا.

Question

Which of the following statements are true regarding honest assessment? (Select all that apply)

Correct.
To perform honest assessment by way of data splitting, you need to extract three subsets from the historical data: the training, validation, and test sets, all contain the target variable.
A major portion, called the training data set, is used for fitting the model. The validation data set is used for monitoring and tuning the model to improve its generalization. The test data set has only one use: to give a final honest estimate of generalization.

Incorrect.
The correct answer is a and d. To perform honest assessment by way of data splitting, you need to extract three subsets from the historical data: the training, validation, and test sets, all contain the target variable.
A major portion, called the training data set, is used for fitting the model. The validation data set is used for monitoring and tuning the model to improve its generalization. The test data set has only one use: to give a final honest estimate of generalization.

نظرًا لأن النمذجة التنبؤية تعتمد في الغالب على البيانات، لا يمكنك التنبؤ بأي نموذج أو خوارزمية ستعمل بشكل جيد مع مشكلة معينة.

لذلك، تتضمن المنهجية الشائعة بناء عدة نماذج مرشحة.

يمكن أن تستند النماذج التي تبنيها إلى خوارزميات متنوعة مثل الانحدار، أشجار القرار، الغابة العشوائية، الشبكات العصبية، وما إلى ذلك.

يمكنك رؤية رسم سطحي للتنبؤ يُظهر كيف تتنبأ كل واحدة من هذه الخوارزميات الأربعة للتعلم الآلي، على سبيل المثال، بشبكة خشنة عبر مجال ميزة الإدخال.

كل نوع من النماذج له مقاييسه الخاصة التي يمكن تقييمه بها، ولكن هناك أيضًا أدوات تقييم مستقلة عن نوع النموذج. من خلال التقييم النزيه، يمكن استخدام عدة إحصائيات ورسوم بيانية إحصائية لاكتشاف أفضل نموذج يُسمى نموذج البطل. نموذج البطل هو أفضل نموذج تنبؤي يتم اختياره من بين مجموعة النماذج المرشحة. قبل أن تحدد نموذج البطل، يمكنك تقييم بنية وأداء ومرونة النماذج المرشحة.

عادةً ما تتضمن النمذجة التنبؤية الاختيار من بين مجموعة من النماذج. قد تكون هذه النماذج من أنواع مختلفة.

أو قد تكون ذات تعقيدات مختلفة لنماذج من نفس النوع، مثل عدة أشجار قرار تستخدم معايير تقسيم وتشذيب مختلفة من نفس مجموعة بيانات التدريب.

تقديم نموذج إلى البيانات يتطلب في الواقع البحث في فضاء النماذج الممكنة. بناء نموذج يتمتع بقدرة تعميم جيدة يتطلب اختيار التعقيد المناسب.

Question

Because data mining and machine learning are data driven, it's always a good idea to create several candidate models and then choose the best from them.

Correct.
It's always a good idea to create several candidate models and then choose the best from them. These might be different types of models, or they might be different complexities of models of the same type.

Incorrect.
The correct answer is a. It's always a good idea to create several candidate models and then choose the best from them. These might be different types of models, or they might be different complexities of models of the same type.

تم استخدام نموذج معقد للغاية في مشكلة التصنيف الموضحة هنا، حيث كان الهدف التمييز بين الفئة الزرقاء والفئة الصفراء.

قام المصنف بملاءمة بيانات التدريب بشكل جيد، حيث ارتكب فقط 19 خطأً من بين 200 حالة. دقة 90.5%.

ومع ذلك، في مجموعة اختبار البيانات، لم يكن أداء المصنف بنفس الجودة، حيث ارتكب 49 خطأً من بين 200 حالة.

تعرج النموذج المرن عبر بيانات التدريب مستوعبًا الإشارة، أي المعلومات ذات المعنى، بالإضافة إلى الضوضاء، أي التغيرات أو التقلبات العشوائية التي تتداخل مع الإشارة.

سيتم تناول الإشارة والضوضاء بالتفصيل لاحقًا في الدورة.

تم ملاءمة نموذج أكثر بساطة مع بيانات التدريب.

لم تكن الدقة الظاهرة مثيرة للإعجاب مثل النموذج المعقد، حيث ارتكب 34 خطأً، ودقة 83%. ومع ذلك، قدم أداءً أفضل في مجموعة الاختبار، 43 خطأً، ودقة 78.5%.

كيف ستقرر أي نموذج تختار كأفضل نموذج؟

يمكنك معرفة أنك اخترت أفضل نموذج من خلال تقييم خطأ التنبؤ. تتجاهل مشكلة التنبؤ أسئلة صحة النموذج وتركز على القيم المتنبأ بها. يشير خطأ التنبؤ إلى الفرق بين القيم المتنبأ بها من قبل نموذج ما والقيمة الفعلية.

يمكن تقسيم خطأ التنبؤ المتوقع إلى حد كبير إلى التحيز والتباين.

التحيز هو الفرق بين القيم المتنبأ بها المتوقعة والقيمة الصحيحة للاستجابة.

التباين هو تقلب التنبؤات بسبب تغير النموذج.

يحدث التحيز عندما يكون لدى الخوارزمية مرونة محدودة للتعلم من البيانات. مثل هذه النماذج تولي القليل من الاهتمام لبيانات التدريب وتبسط النموذج بشكل مفرط. يخبرنا تحيز الدالة المقدرة بقدرة النموذج الأساسي على التنبؤ بالقيمة.

يحدد التباين حساسية الخوارزمية لمجموعات البيانات المحددة. النموذج ذو التباين العالي يولي الكثير من الاهتمام لبيانات التدريب ويعقد النموذج بشكل مفرط بحيث لا يعمم بشكل جيد.

يخبرك تباين الدالة المقدرة بمدى قدرة الدالة على التكيف مع التغيرات في مجموعة البيانات.

اختيار تعقيد النموذج يتضمن مقايضة بين التحيز والتباين.

كل من التحيز والتباين هما شكلان من أشكال خطأ التنبؤ في تعلم الآلة. لذلك، عليك اختيار نموذج يحقق في الوقت نفسه تباينًا منخفضًا وتحيزًا منخفضًا.

لكن التحيز والتباين مرتبطان عكسيًا ببعضهما البعض. عند محاولة تقليل أحد المكونين، سيزداد المكون الآخر في النموذج. الفن الحقيقي يكمن في خلق ملاءمة جيدة من خلال تحقيق التوازن بين الاثنين.

دعونا نحاول فهم هذه المقايضة باستخدام مثال بسيط.

تخيل أن مركز الهدف، أو نقطة التصويب، يتنبأ تمامًا بالقيمة الصحيحة لنموذجك.

النقاط المحددة على الهدف تمثل إذًا تحقيقًا فرديًا لنموذجك بناءً على بيانات التدريب الخاصة بك.

في بعض الحالات، ستكون النقاط متمركزة بكثافة بالقرب من نقطة التصويب، مما يضمن أن التنبؤات التي يقدمها النموذج قريبة من البيانات الفعلية.

في حالات أخرى، ستكون بيانات التدريب متناثرة عبر الهدف.

كلما ابتعدت النقاط عن نقطة التصويب، زاد التحيز وقلت دقة النموذج في قدرته التنبؤية العامة.

في الهدف الأول، الموجود في الأعلى إلى اليسار، يمكننا رؤية مثال على انخفاض التحيز وانخفاض التباين. التحيز منخفض لأن الإصابات متراصة بالقرب من المركز. وهناك تباين منخفض لأن الإصابات متمركزة بكثافة في موقع واحد.

الهدف الثاني، الموجود في الأسفل إلى اليسار، يظهر حالة انخفاض التحيز وارتفاع التباين. على الرغم من أن الإصابات ليست قريبة من نقطة التصويب كما في المثال السابق، إلا أنها لا تزال قريبة من المركز، وبالتالي فإن التحيز منخفض نسبيًا. ومع ذلك، هناك تباين مرتفع هذه المرة لأن الإصابات متفرقة عن بعضها البعض.

الهدف الثالث، الموجود في الأعلى إلى اليمين، يمثل تحيزًا عاليًا وتباينًا منخفضًا. والهدف الرابع، الموجود في الأسفل إلى اليمين، يظهر تحيزًا عاليًا وتباينًا عاليًا.

لذا، لا يمكنك أبدًا إجراء قياسات دقيقة تمامًا في تجربة. غالبًا ما تستخدم الدقة والضبط لتقييم النماذج التنبؤية. مدى بعدك عن العلامة يوصف بالدقة.

وكيفية جودة قياسك توصف بالضبط.

يمكن عمل تشبيه للعلاقة بين الدقة والضبط.

الدقة هي وصف للتحيز.

التحيز المنخفض يقابل دقة أعلى. وعلى العكس، التحيز العالي يقابل دقة أقل.

الدقة تعني القياس بالقرب من القيمة الحقيقية المستهدفة.

الضبط هو وصف للتباين. التباين المنخفض يقابل ضبطًا أعلى، في حين أن التباين العالي يقابل ضبطًا أقل.

الضبط يعني الحصول على نتائج متسقة من القياسات المتكررة.

يحدث نقص الملاءمة عندما يكون النموذج غير قادر على التقاط النمط الأساسي للبيانات.

هذه النماذج عادة ما يكون لديها تحيز عالٍ وتباين منخفض. بعبارة أخرى، هي أقل دقة وأكثر ضبطًا.

يحدث الإفراط في الملاءمة عندما يلتقط النموذج الضوضاء إلى جانب النمط الأساسي في البيانات. هذه النماذج لديها تحيز منخفض وتباين مرتفع. بعبارة أخرى، هي أكثر دقة وأقل ضبطًا.

النموذج ذو التحيز المنخفض والتباين المنخفض هو النموذج المرغوب فيه، والنموذج ذو التحيز العالي والتباين العالي ليس كذلك.

تكييف نموذج مع البيانات يتطلب البحث في فضاء النماذج الممكنة.

إعادة بناء نموذج ذو تعميم جيد يتطلب اختيار التعقيد المناسب.

النموذج غير المعقد بما فيه الكفاية قد لا يكون مرنًا بما يكفي. هذا يؤدي إلى نقص الملاءمة، حيث يتم فقدان الإشارة بشكل منهجي.

النماذج البسيطة والأقل تعقيدًا لا تملك المرونة الكافية لتلائم كل مجموعة بيانات بشكل جيد.

هي لا تقارب العلاقة الحقيقية بين المتغيرات المستقلة والمتغير التابع.

النموذج المعقد جدًا قد يكون مرنًا بشكل مفرط.

هذا سيؤدي إلى الإفراط في الملاءمة، حيث يستوعب تفاصيل الضوضاء العشوائية في العينة.

هذه النماذج، بسبب مرونتها، قد تلائم بيانات التدريب بشكل مفرط، مما يؤدي إلى أداء تنبؤي ضعيف في مجموعة بيانات جديدة.

النموذج الذي يملك المرونة الكافية فقط سيعطي أفضل تعميم.

الاستراتيجية لاختيار تعقيد النموذج في التنقيب عن البيانات وتعلم الآلة هي اختيار النموذج الذي يقدم أفضل أداء على مجموعة التحقق.

استخدام مجموعة بيانات التدريب لتقييم الأداء يؤدي عادة إلى اختيار نموذج معقد جدًا.

المثال الكلاسيكي على ذلك هو اختيار نماذج الانحدار الخطي بناءً على معامل التحديد R-squared.

في الواقع، هناك دائمًا مقايضة بين التحيز والتباين.

كل من التحيز والتباين يساهمان في الخطأ، لكن ما تريد تقليله هو خطأ التنبؤ، وليس التحيز أو التباين تحديدًا.

التوازن الأمثل بين التحيز والتباين لن يؤدي أبدًا إلى الإفراط أو النقص في الملاءمة.

زيادة التباين مع النماذج المعقدة سيقلل التحيز، لكن ذلك قد يؤدي إلى الإفراط في الملاءمة.

وبالعكس، النماذج البسيطة ستزيد التحيز على حساب تباين النموذج، وقد يؤدي ذلك إلى نقص الملاءمة.

هناك نقطة مثلى لتعقيد النموذج، توازن بين الإفراط في الملاءمة ونقص الملاءمة.

عمليًا، لا توجد طريقة تحليلية لإيجاد هذا التعقيد الأمثل. بدلاً من ذلك، يجب علينا استخدام مقياس دقيق لخطأ التنبؤ، واستكشاف مستويات مختلفة من تعقيد النموذج، واختيار مستوى التعقيد الذي يقلل الخطأ الكلي.

لمقارنة العديد من النماذج، يجب اختيار إحصائية ملاءمة مناسبة.

لسلسلة من النماذج ذات التعقيد المتزايد، والتي يمكن توليدها بواسطة روتين اختيار تلقائي، من الممكن رسم مقياس الملاءمة مقابل مؤشر ما للتعقيد.

عادةً، يتبع أداء النموذج اتجاهًا واضحًا.

مع زيادة التعقيد، تتحسن الملاءمة على بيانات التدريب.

بعد نقطة معينة، قد تستقر الملاءمة، لكن على بيانات التدريب، تتحسن الملاءمة مع زيادة تعقيد النموذج.

بعض هذا التحسن يُعزى إلى أن النموذج يلتقط الاتجاهات ذات الصلة في البيانات.

حماية هذه الاتجاهات هو هدف النمذجة.

ومع ذلك، بعض التحسن يرجع إلى أن النموذج يحدد تفاصيل عشوائية في بيانات التدريب.

وقد أُطلق على هذا السلوك الإفراط في الملاءمة.

لأن هذه التفاصيل العشوائية من غير المرجح أن تتكرر. في بيانات التحقق أو في الملاحظات المستقبلية، من المنطقي أن نرغب في التخلص من هذه النماذج.

لذا، يتم أيضًا رسم ملاءمة النموذج على بيانات التحقق لنماذج ذات تعقيد متغير.

السلوك المعتاد لخط ملاءمة التحقق هو الزيادة مع اكتشاف النماذج الأكثر تعقيدًا لأنماط أكثر قابلية للاستخدام، يتبعها استقرار، والذي قد يؤدي في النهاية إلى تراجع في الأداء.

يعود التراجع في الأداء إلى الإفراط في الملاءمة. أما الاستقرار فيشير فقط إلى نماذج أكثر تعقيدًا ليس لديها مبررات قائمة على الملاءمة لاستخدامها.

قاعدة معقولة ستكون اختيار النموذج المرتبط بالتعقيد الذي يحقق أعلى قيمة لإحصائية ملاءمة التحقق.

TopicTitle

Formally, the expected prediction error is decomposed as shown in the equation here:

E[Prediction Error] = Bias² + Variance + $σ_{e}^{2}$

Note that $σ_{e}^{2}$ is the irreducible error. This is the noise term that cannot fundamentally be accounted for by any model.

The bias is formally the difference between the expected prediction value and the correct response value.

Bias = (Y - E[Predicted Value])

The variance is simply the variability of the prediction values when we construct a model multiple times with different training sets for the same problem, that is, sampling variability. Note that this value of the variance does not depend on the correct response value.

Variance = E[(Predicted Value - E[Predicted Value])²]

Thus, the prediction error for any machine learning algorithm can be broken down into three parts: bias error, variance error, and irreducible error.

Question

Predictive models are widely used and are available in many varieties. Any model, however, must perform the following essential tasks:

provide a rule to transform an input measurement into a prediction, and
be able to adjust its complexity to balance overfitting and underfitting.

Correct.
The correct answer is True.

Incorrect.
The correct answer is a. True.

Question

Which of the following would likely be considered categorical in the PVA_Donors data? (Select all that apply.)

Correct.
Gender is a categorical variable having three levels: male, female, and unknown. Similarly, Homeowner is also categorical having two levels: yes and no. Age, Gift Amount Last, and Time Since Last Gift are continuous variables.

Incorrect.
The correct answer is b and e. Gender is a categorical variable having three levels: male, female, and unknown. Similarly, Homeowner is also categorical having two levels: yes and no. Age, Gift Amount Last, and Time Since Last Gift are continuous variables.

من خلال فحص توزيعات المتغيرات الفئوية، يمكنك تحديد تكرارات قيم البيانات والارتباطات المحتملة بين المتغيرات.

يوجد ارتباط بين متغيرين فئويين إذا تغير توزيع أحد المتغيرين عندما تتغير قيمة المتغير الآخر.

يمكنك أيضًا التفكير في الارتباط على أنه احتمال اعتماد أحد المتغيرين على احتمال المتغير الآخر.

وبشكل أكثر دقة، فإن الفرق بين الاحتمالات الشرطية والهامشية هو مؤشر على أن المتغيرات قد تكون مرتبطة. إذا لم يكن هناك ارتباط، فإن توزيع المتغير الأول يظل كما هو بغض النظر عن مستوى المتغير الآخر. للبحث عن الارتباطات، تقوم بفحص تكرارات القيم عبر تراكيب المتغيرات. غالبًا ما يُستخدم الجدول التبادلي لتحليل العلاقة بين متغيرين فئويين أو أكثر بشكل كمي. الجداول التبادلية، والتي يُشار إليها أيضًا بجداول الطوارئ أو الجداول التبادلية، تجمع المتغيرات الفئوية معًا وتمكنك من فهم ارتباطها.

على سبيل المثال، افترض أنك تريد تحديد ما إذا كان مزاجك يتأثر بالطقس. المتغير الفئوي للاستجابة هو المزاج، وقيمه إما سعيد أو متجهم. المتغير الفئوي المستقل هو الطقس، وقيمه إما مشمس أو غائم.

يُظهر هذا الجدول نسب التكرار الصفية لتراكيب قيم المتغيرين.

في الأيام المشمسة، تكون سعيدًا بنسبة 72% من الوقت ومتجهمًا بنسبة 28% من الوقت.

الآن انظر إلى نسب التكرار لمزاجك في الأيام الغائمة. نسب الصفوف متساوية في كل عمود، مما يشير إلى عدم وجود تغيير في مزاجك بناءً على الطقس. إذًا لا يوجد ارتباط بين هذين المتغيرين. ماذا لو كانت هذه هي نتائجك؟ في هذا الجدول، نسب الصفوف تختلف في كل عمود.

في الأيام المشمسة تكون سعيدًا بنسبة 82% من الوقت ومتجهمًا بنسبة 18% من الوقت. في الأيام الغائمة تكون سعيدًا بنسبة 60% من الوقت ومتجهمًا بنسبة 40% من الوقت. يتغير مزاجك بناءً على الطقس.

يبدو أنك أكثر احتمالًا أن تكون سعيدًا إذا كان الطقس أجمل، مما يشير إلى وجود ارتباط محتمل بين المزاج والطقس.

نحتاج إلى تقييم ما إذا كانت الفروق بين نسب المزاج عبر مستويات الطقس أكبر مما هو متوقع بالصدفة. لكي نتأكد من أن المتغيرات مرتبطة، نحتاج إلى إجراء اختبار رسمي للارتباط، وهو اختبار كاي-تربيع. لنبدأ بفرضيتنا الصفرية التي تنص على عدم وجود ارتباط بين متغيري الطقس والمزاج، أي أن احتمال المزاج السعيد هو نفسه بغض النظر عن الطقس.

الفرضية البديلة هي أن هناك ارتباطًا بين الطقس والمزاج، أي أن احتمال المزاج السعيد ليس هو نفسه في الطقس المشمس والغائم. لاختبار الارتباط رسميًا من حيث الدلالة الإحصائية، سنستخدم اختبار بيرسون كاي-تربيع، والذي يُشار إليه غالبًا باختبار كاي-تربيع فقط.

يُستخدم اختبار كاي-تربيع عادةً لاختيار الميزات في تعلم الآلة.

على سبيل المثال، يمكن استخدامه كمعيار بحث عن الانقسام في أشجار القرار. في اختيار الميزات، نهدف إلى اختيار الميزات التي تعتمد بشكل كبير على الاستجابة. يقيس كاي-تربيع الفرق بين التكرارات المرصودة في الخلايا والتكرارات المتوقعة إذا لم يكن هناك ارتباط بين المتغيرات وكانت الفرضية الصفرية صحيحة بالفعل.

يتم حساب التكرارات المتوقعة لكل خلية بضرب مجموع الصف، R، في مجموع العمود، C، ثم قسمة النتائج على حجم العينة الكلي، T.

كلما كان الفرق أكبر بين التكرارات المرصودة والمتوقعة في الخلايا، زادت الأدلة على وجود ارتباط دال إحصائيًا بين المتغيرات.

إحصائية كاي-تربيع الدالة توفر دليلًا لرفض الفرضية الصفرية والاستنتاج بوجود ارتباط. لقياس حجم الارتباط، سنستخدم مقاييس الارتباط مثل نسب الأرجحية. لحساب إحصائية اختبار كاي-تربيع، تقوم بتربيع الفرق بين التكرارات المرصودة والمتوقعة لكل خلية، وتقسم على التكرار المتوقع للحصول على قيمة كاي-تربيع لكل خلية.

يتم حساب كاي-تربيع الكلي، أو إحصائية الاختبار، بجمع قيم كاي-تربيع لجميع الخلايا.

تذكر أن إحصائية كاي-تربيع أو قيمة p الخاصة بها لا تخبرك بحجم الارتباط. بل تدل فقط على مدى ثقتك في وجود ارتباط.

تعتمد إحصائيات كاي-تربيع وقيم p الخاصة بها على حجم العينة وتعكسه. فكلما زاد حجم العينة زادت إحصائية كاي-تربيع وقلت قيمة p المقابلة، حتى وإن لم يكن الارتباط قويًا.

على سبيل المثال، إذا ضاعفت حجم عينتك عن طريق تكرار كل ملاحظة، فإنك تضاعف قيمة إحصائية كاي-تربيع، حتى وإن لم تتغير قوة الارتباط.

Question

You have already seen association between two continuous variables (Lesson 3) and association between two categorical variables (this lesson). Below are illustrations of relationships between a continuous variable and a categorical variable. Which of the following represents an association?

Correct.
Where there is an association between the categorical predictor and the continuous response, a plot will show a non-horizontal line connecting the category-specific means of y. The category-specific means will be better predictions than the overall mean of y (option a).
A horizontal line through the means of all levels of the categorical predictor will indicate lack of association and therefore equal means (option b).

Incorrect.
The correct answer is a. Where there is an association between the categorical predictor and the continuous response, a plot will show a non-horizontal line connecting the category-specific means of y. The category-specific means will be better predictions than the overall mean of y (option a).
A horizontal line through the means of all levels of the categorical predictor will indicate lack of association and therefore equal means (option b).

TopicTitle

Cramer's V statistic is one measure of the strength of an association between two categorical variables, and its value is derived from the chi-square statistic.

For two-by-two tables, Cramer's V is in the range of -1 to 1, and for larger tables, it's in the range of 0 to 1.

(See Text Version for Image)

Values farther away from 0 indicate a relatively strong association between the variables.

(See Text Version for Image)

The closer Cramer's V is to 0, the weaker the association is between the two variables.

(See Text Version for Image)

Like other measures of strength of association, the Cramer's V statistic is not affected by sample size.

لقياس قوة العلاقة بين متغير تنبؤي ثنائي ومتغير استجابة ثنائي، يمكنك استخدام نسب الاحتمالات. تشير نسبة الاحتمالات إلى مدى احتمال حدوث حدث أو نتيجة معينة في مجموعة مقارنة بحدوثها في مجموعة أخرى. على سبيل المثال، افترض أنك تريد معرفة تأثير التدريب المالي على عادات الإنفاق. الأشخاص في المجموعة B حضروا ندوة حول توفير المال، أما الأشخاص في المجموعة A فلم يحضروا. متغير النتيجة يشير إلى ما إذا كان كل شخص قد وفر على الأقل 10% من دخله في السنة التالية للندوة. في هذا المثال، تريد أن تعرف مدى احتمال حدوث نتيجة "نعم" في المجموعة B مقارنة بحدوثها في المجموعة A، فيما يتعلق بالاحتمالات.

فما هي الاحتمالات؟ الاحتمالات ليست هي نفسها الاحتمالات الرياضية. بدلاً من ذلك، يتم حساب الاحتمالات من الاحتمالات الرياضية. تقسم احتمال حدوث الحدث على احتمال عدم حدوثه.

لحساب احتمال حدوث نتيجة "نعم" في المجموعة B، تقسم عدد الإجابات "نعم" – 90 – على العدد الإجمالي للملاحظات – 100 – لتحصل على 0.90، أو 90%، وهو احتمال حدوث نتيجة "نعم" في المجموعة B. احتمال حدوث نتيجة "لا" في المجموعة B هو 10 مقسومًا على 100، أي 0.10، أو 10%.

لحساب احتمال حدوث نتيجة "نعم" في المجموعة A، تقسم 60 على 80، لتحصل على 0.75. احتمال حدوث نتيجة "لا" في المجموعة A هو 20 مقسومًا على 80، أي 0.25. الآن بعد أن عرفنا الاحتمالات الشرطية لاستجابتنا بناءً على المتغير التنبؤي، دعنا نحسب الاحتمالات. احتمال حدوث النتيجة في المجموعة B هو احتمال نتيجة "نعم"، 0.90، مقسومًا على احتمال نتيجة "لا"، 0.10. الاحتمالات هي 9، أو 9 إلى 1، مما يعني أننا نتوقع 9 حالات حدوث مقابل حالة عدم حدوث واحدة في المجموعة B.

لحساب احتمال حدوث النتيجة في المجموعة A، تقسم احتمال نتيجة "نعم"، 0.75، على احتمال نتيجة "لا"، 0.25، لتحصل على 3، أو 3 إلى 1. هذا يعني أنك تتوقع حدوث النتيجة ثلاث مرات مقابل مرة واحدة لعدم حدوثها في المجموعة A.

الآن بعد أن عرفت الاحتمالات في كلا المجموعتين، يمكنك مقارنة الاحتمالات بحساب نسبة الاحتمالات. تقسم احتمال حدوث النتيجة في المجموعة B، 9، على الاحتمالات في المجموعة A، 3، لتحصل على نتيجة 3. نسبة الاحتمالات 3 تعني أن احتمال حدوث النتيجة في المجموعة B هو ثلاثة أضعاف احتمال حدوثها في المجموعة A. لذا في هذا المثال، احتمال توفير ما لا يقل عن 10% من الدخل أعلى بثلاث مرات للأشخاص الذين تلقوا التدريب.

إذا كنت مهتمًا بنسبة الاحتمالات من المجموعة A إلى المجموعة B، يمكنك ببساطة أخذ المعكوس الضربي، أو مقلوب 3، لتحصل على 0.3333، مما يشير إلى أن احتمال حدوث النتيجة في المجموعة A هو ثلث احتمال حدوثها في المجموعة B.

تظهر نسبة الاحتمالات قوة العلاقة بين المتغير التنبؤي ومتغير النتيجة، ويمكن أن تتراوح القيمة من 0 إلى ما لا نهاية. عندما تكون نسبة الاحتمالات 1، لا توجد علاقة بين المتغير التنبؤي ومتغير النتيجة. إذا كانت نسبة الاحتمالات أكبر من 1، فإن المجموعة في البسط، هنا المجموعة B، أكثر احتمالاً لحدوث النتيجة. إذا كانت نسبة الاحتمالات أقل من 1، فإن المجموعة في المقام، هنا المجموعة A، أكثر احتمالاً لحدوث النتيجة.

نسبة الاحتمالات تقريبًا هي نفسها بغض النظر عن حجم العينة.

Question

A researcher wants to measure the strength of an association between two binary variables. Which statistic can she use?

Correct.
Odds ratio can be used to measure the strength of an association between two binary variables.

Pearson correlation is used to measure the strength of association between two interval variables. The coefficient of determination is the percentage of the variability of the dependent interval variable that is explained by the variation of the independent variables. The Spearman rank correlation is used to measure the strength of association between two ordinal variables. If both variables instead are binary, phi-coefficient can be used.

Incorrect.
The correct answer is b. Odds ratio can be used to measure the strength of an association between two binary variables.

Pearson correlation is used to measure the strength of association between two interval variables. The coefficient of determination is the percentage of the variability of the dependent interval variable that is explained by the variation of the independent variables. The Spearman rank correlation is used to measure the strength of association between two ordinal variables. If both variables instead are binary, phi-coefficient can be used.

في هذا العرض التوضيحي، ستستخدم عقدة تحليل الجدول في سير العمل لاختبار وجود ارتباط بين متغيرين فئويين، وهما الاستجابة وحالة cat star all.

كما ستحسب مقاييس الارتباط، مثل إحصائية في كرامر ونسبة الأرجحية لتحديد قوة الارتباط. ابدأ بإنشاء سير عمل جديد. انقر على علامة الجمع بجانب أي علامة تبويب مفتوحة واختر سير العمل. يمكنك إضافة متبرعي PVA إلى سير العمل الخاص بك بالنقر على متبرعي PVA تحت مكتبة VST وسحبها وإفلاتها في سير العمل الجديد. ثم انتقل إلى قائمة الخطوات. ابحث تحت قسم الإحصائيات عن تحليل الجدول. انقر نقراً مزدوجاً على خطوة تحليل الجدول ثم قم بتوصيل متبرعي PVA بتحليل الجدول. في أسفل منطقة العمل، تأكد من تحديد علامة تبويب البيانات. انقر على علامة الجمع بجانب متغيرات الصفوف. سنضيف حالة cat star all. ثم مرر للأسفل وانقر على علامة الجمع بجانب متغيرات الأعمدة وابحث عن الاستجابة. حددها وانقر موافق. انتقل إلى علامة تبويب إحصائيات الخلايا. تحت التكرارات، ستلاحظ أن "الملاحظ" محدد بالفعل. حدد أيضاً القيم المتوقعة. تحت النسب المئوية، حدد نسب الصفوف المئوية. ثم انتقل إلى علامة تبويب إحصائيات الارتباط. تأكد من أن مربع إحصائيات كاي تربيع محدد بالفعل. تحت مقاييس الارتباط، حدد نسبة الأرجحية والمخاطر النسبية. ثم انتقل إلى علامة تبويب خيارات الحساب وفي الأسفل، ابحث عن "إخفاء الرسوم البيانية" وحددها.

قم بحفظ هذا باسم "تحليل البيانات الفئوية" في مجلد VST.

انقر على تشغيل، ثم انقر على "الكود المقدم والنتائج"، واطلع على النتائج.

سنستخدم هذا الجدول لمعرفة ما إذا كان هناك دليل على وجود ارتباط بين حالة cat star all وأحد متغيراتنا الهدف، وهو المتغير الفئوي المسمى الاستجابة. تمثل الصفوف القيم 0 و1 لحالة cat star all، وتمثل الأعمدة القيم "لا" و"نعم" للاستجابة. ثم داخل كل خلية، نرى أن المفتاح يوضح لنا أن الرقم الأول يمثل التكرار أو عدد تلك التركيبات بين المتغيرين.

الرقم الثاني يوضح لنا القيمة المتوقعة. هذا هو عدد الحالات التي نتوقعها إذا لم يكن هناك ارتباط بين هذين المتغيرين. أما الرقم الثالث فهو النسبة المئوية للصف. فعندما تكون حالة cat star all تساوي 0، فإن 56% من المتبرعين لم يتبرعوا. لديهم قيمة "لا" لمتغير الاستجابة. و44% لديهم قيمة "نعم"، أي أنهم تبرعوا.

عندما ننظر إلى الصف الثاني من هذا الجدول، يمكننا أن نرى دليلاً على وجود ارتباط، لأن هذه النسب المئوية للصفوف تتغير.

فهي تنتقل من 56 إلى 44، ثم إلى حوالي 45 إلى 55. هذا يوضح لنا أن توزيع الاستجابة يتغير عندما تتغير قيمة حالة cat star all.

هذا دليل على وجود ارتباط. ولكن في الأسفل سنرى اختباراً إحصائياً رسمياً لهذا الارتباط.

يتم حساب اختبار كاي تربيع من خلال إيجاد الفرق بين التكرارات الملاحظة والمتوقعة، وتربيعه، ثم قسمته على القيمة المتوقعة.

سيعطينا هذا قيمة كاي تربيع لكل خلية فردية. ثم يتم جمع قيم كاي تربيع من جميع الخلايا الأربع في هذا الجدول. والمجموع الكلي هو تقريباً 118.

يمكن استخدام قيمة كاي تربيع هذه، مع درجات الحرية، لحساب اختبار الفرضية الصفرية التي تنص على عدم وجود ارتباط بين هذين المتغيرين الفئويين. يمكنك رؤية قيمة p لهذا الاختبار وهي ذات دلالة إحصائية عالية. قيمة p أقل من 0.0001، مما يشير إلى وجود ارتباط غير عشوائي بين هذين المتغيرين. الآن، قيمة p لاختبار كاي تربيع تخبرنا فقط ما إذا كان هناك ارتباط ذو دلالة إحصائية أم لا. لكنها لا تخبرنا عن قوة الارتباط. ولهذا يمكننا النظر إلى إحصائيتين مختلفتين، وهما إحصائية في كرامر ونسبة الأرجحية. قيمة في كرامر هي 0.11. هذا يشير إلى أن الارتباط الذي كشف عنه اختبار كاي تربيع ضعيف نسبياً.

الإحصائية الأخرى التي سننظر إليها هي نسبة الأرجحية، والتي تبلغ حوالي 1.5. يمكننا أن نرى أن هذه النسبة تختلف بشكل كبير عن نسبة الأرجحية 1، ويمكننا رؤية ذلك لأن حدود الثقة 95% لا تتضمن القيمة 1.

نسبة الأرجحية 1 تعني عدم وجود ارتباط. فكيف نفسر نسبة الأرجحية 1.5 هذه؟ ما هما المجموعتان اللتان تتم مقارنتهما، ولأي نتيجة؟

هذه النسبة تم حسابها بوضع الصف الأول في البسط والصف الثاني في المقام.

والحدث هو العمود الأول.

إذاً، هذه النسبة تحسب حالة cat star all = 0 مقارنة بحالة cat star all = 1 لعدم التبرع لـ PVA.

أي أن أعضاء المجموعة 0 لديهم احتمال أكبر بمقدار 1.5 مرة، بالنسبة للأرجحية، لعدم التبرع مقارنة بمجموعة حالة cat star all = 1. يمكننا تقديم هذه المعلومة بطرق متنوعة.

قد يكون من الأنسب التحدث عن المجموعة الأخرى في البسط، أو التغيير من مناقشة عدم الاستجابة إلى الاستجابة لهذه الحملة.

إذا أردنا تبديل من في مجموعة البسط ومجموعة المقام، يمكننا قلب نسبة الأرجحية.

أيضاً، إذا أردنا التحدث عن العمود الثاني بدلاً من العمود الأول، أي الاستجابة = نعم، سنقلب أيضاً نسبة الأرجحية. ومن الممكن فعل كلا الأمرين. الآن دعونا ننتقل من عمود الاستجابة = لا، وهو العمود الأول في هذا الجدول، إلى التحدث عن عمود نعم. وللقيام بذلك، أحتاج إلى قلب نسبة الأرجحية.

إذاً، نسبة الأرجحية لعمود "لا" هي تقريباً 1.5، أو ثلاثة على اثنين، وعند قلب ثلاثة على اثنين نحصل على ثلثين، أو 0.66. إذاً، نسبة الأرجحية، عند مقارنة حالة cat star all = 0 بحالة cat star all = 1، للتبرع لـ PVA، هي 0.66. أي أن المجموعة 0 لديها ثلثا أرجحية المجموعة 1 للتبرع. ماذا لو أردنا تبديل من في بسط نسبة الأرجحية؟ إذا غيرنا من في البسط، بحيث نتحدث عن حالة cat star all = 1 في البسط، وحالة cat star all = 0 في المقام، وننظر إلى أرجحية التبرع لـ PVA، فعلينا قلب نسبة الأرجحية مرة أخرى. عند قلب ثلثين، نعود إلى ثلاثة على اثنين، وهي نسبة الأرجحية الأصلية. إذاً، يمكننا القول إن متبرعي مجموعة حالة cat star all = 1 لديهم أرجحية التبرع لـ PVA أكبر بمقدار 1.56 مرة من مجموعة حالة cat star all = 0. يمكننا أيضاً رؤية المخاطر النسبية محسوبة لكل من العمود الأول والعمود الثاني. هذه هي نسب الاحتمالات بدلاً من نسب الأرجحية.

Question

Which of the following statements is true regarding regression models? (Select all that apply.)

Correct.
There are two main objectives of any regression model including linear and logistic regressions. First, assess the significance of the predictor variables in explaining the behavior of the response variable, and second, predict the values of the response variable given the values of the predictor variable. The distinction between using these regressions for explanatory modeling and predictive modeling is somewhat artificial. A model developed for prediction is probably a good explanatory model. Conversely, a model developed for an explanation is probably a good prediction model.

Incorrect.
The correct answer is c and d. There are two main objectives of any regression model including linear and logistic regressions. First, assess the significance of the predictor variables in explaining the behavior of the response variable, and second, predict the values of the response variable given the values of the predictor variable. The distinction between using these regressions for explanatory modeling and predictive modeling is somewhat artificial. A model developed for prediction is probably a good explanatory model. Conversely, a model developed for an explanation is probably a good prediction model.

تحليل الانحدار يمكّنك من توصيف العلاقة بين متغير الاستجابة وواحد أو أكثر من المتغيرات المتنبئة. في الانحدار الخطي، يكون متغير الاستجابة مستمراً. في الانحدار اللوجستي، يكون متغير الاستجابة تصنيفياً.

إذا كان متغير الاستجابة ثنائي، أي له فئتان، فإن نموذج الانحدار اللوجستي المناسب هو الانحدار اللوجستي الثنائي. هذا هو النموذج الأكثر شيوعاً للانحدار اللوجستي في تطبيقات التنقيب عن البيانات وتعلم الآلة. لذا فهو محور التركيز الأساسي في هذه الدورة. إذا كان لديك أكثر من فئتين أو مستويات ضمن متغير الاستجابة، هناك نموذجان محتملان للانحدار اللوجستي. إذا كان متغير الاستجابة اسماً، تقوم بتطبيق انحدار لوجستي اسمي.

إذا كان متغير الاستجابة ترتيبياً، تقوم بتطبيق انحدار لوجستي ترتيبي.

في الانحدار اللوجستي، نرغب في نمذجة احتمال كلا المستويين من الاستجابة. على الرغم من أن الاحتمالات مستمرة، إلا أنها محصورة بين 0 و1. أيضاً، العلاقة بين احتمال النتيجة والمتغير المتنبئ غالباً ما تكون غير خطية بدلاً من خطية. في الواقع، غالباً ما تشبه العلاقة منحنى على شكل S أو منحنى سيجمويدي. يطبق نموذج الانحدار اللوجستي تحويل اللوجيت أو ببساطة تحويل اللوغاريتم الاحتمالي إلى الاحتمالات. هنا، تعني كلمة "لوغ" اللوغاريتم الطبيعي وليس اللوغاريتم ذو الأساس 10. اللوجيت يتجنب بشكل فعال مشكلة الحدود بالنسبة للاحتمالات. عندما يقترب p من قيمته الدنيا 0، يقترب اللوجيت من سالب ما لا نهاية. وعندما يقترب p من قيمته العليا 1، يقترب اللوجيت من موجب ما لا نهاية. لذا فإن اللوجيت غير محدود، تماماً كما في الانحدار الخطي. لكن الاحتمالات تحتفظ بالحدود الأصلية من 0 إلى 1. بالإضافة إلى ذلك، يسمح لنا تحويل اللوجيت بالانتقال من نمذجة الاحتمال بمنحنى سيجمويدي غير خطي إلى نمذجة اللوجيت بدالة خطية للمتغيرات المتنبئة. ونمذجة اللوجيت تتيح لك نمذجة احتمال الاستجابة بشكل غير مباشر. مهما كانت القيم المتنبأة للوجيت، يمكننا ببساطة إعادة التحويل إلى مقياس الاحتمال للحصول على قيمة بين 0 و1. الآن يبدو النموذج اللوجستي مألوفاً مقارنة بالانحدار الخطي. في الفضاء ثنائي الأبعاد مع هدف ثنائي ومتغير متنبئ واحد x، يكون اللوجيت مساوياً لدالة خطية من معلماتك والمتغير المتنبئ. مرة أخرى، بيتا صفر هو نقطة تقاطع معادلة الانحدار. وبيتا واحد هو ميل متغير النموذج المتنبئ. على عكس الانحدار الخطي، لم نعد نفترض وجود أخطاء موزعة توزيعاً طبيعياً في الانحدار اللوجستي. هنا، الخطأ هو دالة لـ p، احتمال.

في الفضاء ثلاثي الأبعاد مع هدف ثنائي واثنين من المتغيرات المتنبئة، x1 وx2، يكون اللوجيت مساوياً لدالة خطية من معلماتك والمتغيرات المتنبئة. مرة أخرى، بيتا صفر هو نقطة تقاطع معادلة الانحدار، والبيتا الأخرى هي ميلات متغيرات النموذج المتنبئة. رسم دالة الجمع الخطي على مقياس اللوجيت هو مستوى فوقي. تعطي قيم المعلمات المختلفة أسطحاً مختلفة بميل واتجاهات مختلفة. على مقياس الاحتمال، يصبح سطحاً سيجمويدياً. تُستخدم لاخطية النموذج للتعامل مع المقياس المقيد للهدف. لتلائم النموذج، يتطلب الانحدار اللوجستي طريقة تقدير أكثر تعقيداً حسابياً تُسمى طريقة الحد الأقصى للأرجحية لتقدير المعلمات. تجد هذه الطريقة قيم المعلمات التي تجعل البيانات المرصودة أكثر احتمالاً. ويتم ذلك عن طريق تعظيم دالة الأرجحية التي تعبر عن احتمال البيانات المرصودة كدالة للمعلمات المجهولة.

Question

What are the upper and lower bounds for a logit?

$logit (p_{i}) = \ln (\frac{p_{i}}{(1 - p_{i})})$

Correct.
A probability is bounded by 0 and 1. The logit of the probability transforms the probability into a linear function, which has no lower or upper bounds. So a logit has no lower or upper bounds.

Incorrect.
The correct answer is c. A probability is bounded by 0 and 1. The logit of the probability transforms the probability into a linear function, which has no lower or upper bounds. So a logit has no lower or upper bounds.

Question

With response plotted on the Y-axis and the predictor on the X-axis, which of the following is a logistic regression model?

Correct.
Picture a is an ANOVA (analysis of variance) model. Here the response variable is continuous, and you have a binary predictor. This is typically a case of t test or ANOVA.
Picture b is a linear regression model. Here the response variable is continuous, and you have a continuous predictor. You perform ordinary least squares regression.
Picture c is a logistic regression model. When the response variable is binary, there can be an indirect modeling of the variable, by use of a logit link function.

Incorrect.
The correct answer is c.
Picture a is an ANOVA (analysis of variance) model. Here the response variable is continuous, and you have a binary predictor. This is typically a case of t test or ANOVA.
Picture b is a linear regression model. Here the response variable is continuous, and you have a continuous predictor. You perform ordinary least squares regression.
Picture c is a logistic regression model. When the response variable is binary, there can be an indirect modeling of the variable, by use of a logit link function.

يُعد النموذج الخطي الجمعي سهل التفسير بشكل خاص، لأن كل متغير مدخل يؤثر على اللوغيت بشكل خطي. المعاملات هي الميل. عند رفع كل تقدير معامل إلى الأس، نحصل على نسب الأرجحية، والتي تقارن أرجحية الحدث في مجموعة ما بأرجحية الحدث في مجموعة أخرى. ولمساعدتك على تفسير نسبة الأرجحية، دعنا نرى كيفية حساب الأرجحية ونسبة الأرجحية من نموذج الانحدار اللوجستي. بالنسبة لمتغير متنبئ مستمر، مثل عدد الهدايا 36، تقيس نسبة الأرجحية الزيادة أو النقصان في الأرجحية المرتبطة بفارق وحدة واحدة في المتغير المتنبئ. تذكر أن اللوغيت هو اللوغاريتم الطبيعي للأرجحية. وبما أنه يمكنك حساب اللوغيت التقديري من النموذج اللوجستي، فيمكن حساب الأرجحية ببساطة عن طريق رفع تلك القيمة إلى الأس. ونسبة الأرجحية لفارق وحدة واحدة هي إذًا نسبة اللوغيتات المتوقعة المرفوعة إلى الأس والتي تفصل بينها وحدة واحدة.

بالنسبة لعدد الهدايا 36، يساوي تقدير نسبة الأرجحية 1.143. هذا يعني أنه مقابل كل تبرع إضافي خلال الـ36 شهرًا الماضية، تغيرت أرجحية التبرع خلال حملة 97NK بمعامل 1.143، أي زيادة بنسبة 14.3%. وبما أن فترة الثقة 95% من 1.121 إلى 1.165 لا تتضمن 1، فإن نسبة الأرجحية تعتبر معنوية عند مستوى ألفا 0.05، وبالتالي فإن المتغير المتنبئ عدد الهدايا 36 يختلف بشكل معنوي عن الصفر. لاحظ أن فترات الثقة المعتمدة على والد مناسبة بشكل خاص في عالم تعلم الآلة، لكنها تختلف عن فترات الثقة المعتمدة على دالة الاحتمالية التي رأيتها سابقًا.

يعود هذا الاختلاف إلى أن فترات الثقة المعتمدة على والد تستخدم تقريب الخطأ الطبيعي، بينما فترات الثقة المعتمدة على دالة الاحتمالية تعتمد على قيمة اللوغاريتم الاحتمالي.

تتطلب فترات الثقة لنسبة الأرجحية هذه عددًا أكبر بكثير من العمليات الحسابية، لكنها تُفضل عمومًا على فترات الثقة المعتمدة على والد، خاصة لأحجام العينات الأقل من 50. يعرض مخطط نسبة الأرجحية نتائج جدول نسبة الأرجحية بشكل رسومي.

يتم الحصول على هذا المخطط من خلال تطبيق تقديرات المعاملات من النموذج اللوجستي على قيم المتغيرات المتنبئة، ثم تحويل التنبؤات إلى مقياس الاحتمالية.

يُظهر خط المرجع لدينا فرضية العدم، وهي نسبة أرجحية تساوي 1.

عندما تتقاطع فترة الثقة مع خط المرجع، فإن تأثير المتغير لا يكون معنويًا.

حساب وتفسير نسب الأرجحية للمتغيرات الفئوية مشابه لما هو عليه للمتغيرات المستمرة.

لنأخذ متغيرًا متنبئًا فئويًا، مثل statusCatStarAll، الذي له مستويان: المتبرعون النجوم وغير المتبرعين النجوم. تخيل الآن أننا قمنا بملاءمة نموذج انحدار لوجستي مع المتغير المتنبئ statusCatStarAll بدلًا من giftCount36.

اللوغيت لـ p يساوي أيضًا المتنبئ الخطي لنموذجنا بيتا0 زائد بيتا1 مضروبًا في statusCatStarAll.

في هذه الحالة، نستخدم مستوى غير النجم لتمثيل المستوى المرجعي.

لذا، يتم ترميز الأفراد الذين ينتمون إلى فئة غير النجم بـ 0، وأولئك الذين ينتمون إلى فئة النجم بـ 1.

للحصول على الأرجحية لفئة النجم، نرفع المتنبئ الخطي للمستوى إلى الأس. أولًا، نستبدل 1 في statusCatStarAll لنحصل على بيتا0 زائد بيتا1 كمتنبئ خطي.

ثم نضيف تقديرات المعاملات التي حصلنا عليها لـ بيتا0 وبيتا1، ونرفع المجموع إلى الأس. للحصول على الأرجحية لفئة غير النجم، نتبع نفس العملية. أولًا، نستبدل 0 في statusCatStarAll لنحصل على بيتا0 كمتنبئ خطي. ثم نأخذ تقدير المعامل الذي حصلنا عليه لـ بيتا0 ونرفعه إلى الأس. نسبة الأرجحية هي إذًا الأرجحية لفئة النجم مقسومة على الأرجحية لفئة غير النجم. رياضيًا، هذا يعادل e مرفوعة إلى قوة بيتا1. لذا يمكننا قسمة القيمتين اللتين حسبناهما للتو، أو يمكننا ببساطة أخذ تقدير المعامل الذي حصلنا عليه لـ بيتا1 ورفعه إلى الأس.

Question

The odds ratio of 1.562 for StatusCatStarAll (Star vs Non-star) indicates which of the following? (Hint: 1/1.562=0.6402)

Odds Ratio Estimate
Effect	Unit	Point Estimate	95% Wald Confidence Limit
StatusCatStarAll (Star vs Non-star)	1	1.562	1.441	1.693

(See Text Version for Image)

Correct.
An odds ratio of 1.562 means that the odds are multiplied by 1.562 for each one-unit increase in the predictor. Another way to state the effect is to use the formula100*(Odds Ratio-1). This produces the percent increase in the odds for a unit increase in the predictor. An odds ratio of 1.562 corresponds to a 56.2% increase in the odds for a unit increase in X. If the odds ratio for Star = 1.562, then the odds ratio for Non-Star = 1/1.562 = 0.64. Then 100*(Odds Ratio-1)=-35.97% change in odds for unit increase in X.

Incorrect.
The correct answer is d. An odds ratio of 1.562 means that the odds are multiplied by 1.562 for each one-unit increase in the predictor. Another way to state the effect is to use the formula100*(Odds Ratio-1). This produces the percent increase in the odds for a unit increase in the predictor. An odds ratio of 1.562 corresponds to a 56.2% increase in the odds for a unit increase in X. If the odds ratio for Star = 1.562, then the odds ratio for Non-Star = 1/1.562 = 0.64. Then 100*(Odds Ratio-1)=-35.97% change in odds for unit increase in X.

إذا كان نموذج الانحدار اللوجستي يتنبأ بياناته الخاصة بدقة، نقول إن النموذج يتناسب جيدًا مع البيانات. حساب الأزواج المتوافقة، وغير المتوافقة، والمتعادلة هو وسيلة لتقييم مدى جودة تنبؤ النموذج ببياناته الخاصة، وبالتالي مدى ملاءمة النموذج. بشكل عام، تريد نسبة عالية من الأزواج المتوافقة، ونسب منخفضة من الأزواج غير المتوافقة والمتعادلة. للعثور على الأزواج المتوافقة وغير المتوافقة والمتعادلة، نقارن بين كل من حدثت لديه النتيجة المطلوبة وكل من لم تحدث لديه. يقوم برنامج SAS بإنشاء مجموعتين من الملاحظات، واحدة لكل قيمة من قيم الاستجابة. تحتوي إحدى المجموعات على جميع الملاحظات التي تكون فيها قيمة الاستجابة 0، أي غير المستجيبين. أما المجموعة الأخرى فتحتوي على جميع الملاحظات التي تكون فيها قيمة الاستجابة 1، أي المستجيبين. يتم إقران كل عضو في كل مجموعة مع كل عضو في المجموعة الأخرى. يظهر أحد هذه الأزواج هنا. بعد ذلك، يختار SAS كل زوج، ثم يحدد ما إذا كان الزوج متوافقًا أو غير متوافق أو متعادلًا. دعونا نلقي نظرة على كل نوع من الأزواج. لنفترض أن زوجًا يتكون من امرأة استجابت للحملة، ورجل لم يستجب. الرجل الذي لم يستجب للحملة لديه احتمال متوقع أقل للاستجابة وهو 0.32 مقارنة بالمرأة التي استجابت للحملة وهو 0.42. يكون الزوج متوافقًا عندما يكون للملاحظة التي حدث فيها الحدث، في هذه الحالة الاستجابة تساوي نعم، احتمال متوقع أعلى لحدوث الحدث من الملاحظة التي لم يحدث فيها الحدث. أي أن النموذج يعطي احتمالًا أعلى لكون الشخص مستجيبًا مقارنة بغير المستجيب. عندما يرتب النموذج الزوج بشكل صحيح، كما في هذه الحالة، يكون الزوج متوافقًا.

دعونا ننظر إلى زوج آخر. هذا الزوج يقارن بين رجل استجاب للحملة وامرأة لم تستجب. من نموذجنا، نعلم أن المرأة غير المستجيبة لديها احتمال متوقع أعلى، 0.42، لكونها مستجيبة، من الرجل الذي استجاب فعليًا للحملة، 0.32. ومع ذلك، لم يرتب نموذجنا هذا الزوج بشكل صحيح. يكون الزوج غير متوافق إذا كانت الملاحظة ذات النتيجة المرغوبة لديها احتمال متوقع أقل من الملاحظة بدون النتيجة. الزوج الأخير يقارن بين امرأتين، إحداهما استجابت للحملة والأخرى لم تستجب.

وفقًا لنموذجنا، كلتاهما لديهما احتمال متوقع للاستجابة قدره 0.42، لذا لا يستطيع نموذجنا التمييز بينهما. يكون الزوج متعادلًا إذا لم يكن متوافقًا ولا غير متوافق، أي أن الاحتمالات متساوية. يتم أيضًا حساب عدة مؤشرات ارتباط رتبي من أعداد الأزواج المتوافقة وغير المتوافقة والمتعادلة، مثل Somers d، وgamma، وtau a، وc. بشكل عام، النموذج الذي لديه قيم أعلى لهذه المؤشرات لديه قدرة تنبؤية أفضل من النموذج الذي لديه قيم أقل. قيمة c هي الأكثر استخدامًا بشكل شائع.

إحصائية C، أو إحصائية التوافق، تقدر احتمال أن تكون الملاحظة التي حدث فيها الحدث لديها احتمال متوقع أعلى من الملاحظة التي لم يحدث فيها الحدث.

يتم حساب قيمة C على أنها عدد النتائج المتوافقة زائد نصف عدد الأزواج المتعادلة، مقسومًا على إجمالي عدد الأزواج.

نطاق القيم الممكنة هو من 0.5 إلى 1، حيث أن 1 تعني التنبؤ المثالي. ويمكن إثبات أن المساحة تحت منحنى ROC لنموذج ما تساوي إحصائية C.

لذا، فإن إحصائية C تُسمى أيضًا مؤشر ROC.

Question

While you compare pairs for model assessment, which of the following statements is true?

Correct.
All of the above statements are true.

Incorrect.
The correct answer is d. All of the above statements are true.

تمامًا كما هو الحال في الانحدار الخطي، إذا كان لديك العديد من المتغيرات المستقلة في الانحدار اللوجستي، يُسمى ذلك نموذج الانحدار اللوجستي المتعدد.

يظهر هنا نموذج الانحدار اللوجستي المتعدد مع k من المتغيرات المستقلة. عدد المعاملات في النموذج اللوجستي يأخذ في الاعتبار الثابت وعدد المتغيرات المستقلة. تمامًا كما في الانحدار الخطي.

إذا كنت تشك في وجود تفاعلات بين المتغيرات المستقلة، يمكنك ملاءمة نموذج انحدار لوجستي أكثر تعقيدًا من خلال تضمين تأثيرات التفاعل. تذكر أن التفاعل يكون موجودًا عندما يعتمد أو يتغير تأثير متغير ما على النتيجة بسبب متغير آخر. تمامًا كما في الانحدار الخطي، يتم إنشاء مجموعة من متغيرات التصميم، والمعروفة أيضًا بمتغيرات وهمية، للمتغيرات الفئوية التي تمثل المعلومات في كل متغير تصنيفي.

هناك طرق مختلفة لتحديد معاملات المتغير التصنيفي.

تمامًا كما في الانحدار الخطي، لديك خيارات مماثلة لاختيار النموذج في الانحدار اللوجستي، والتي غالبًا ما تشمل الطرق التقدمية، التراجعية، والخطوة بخطوة.

الآن، دعنا نقم بملاءمة نموذج انحدار لوجستي باستخدام بعض المتغيرات المستمرة والفئوية. لقد رأيت بالفعل أن الاستجابة وحالة القط والفئة النجمية جميعها لها ارتباط معنوي.

بالإضافة إلى ذلك، ستستخدم ثلاثة متغيرات مستمرة أخرى، وهي عدد الهدايا خلال 36 شهرًا، ووقت آخر هدية، والمتوسط الوسيط لقيمة المنزل الديموغرافية، لملاءمة نموذج انحدار لوجستي متعدد.

ومع ذلك، يمكنك دائمًا استخدام طرق اختيار النموذج المتاحة لاختيار المدخلات لبناء النموذج.

في هذا العرض التوضيحي، تقوم بملاءمة نموذج الانحدار اللوجستي المتعدد باستخدام برنامج logisticregression.sas عن طريق إضافته إلى التدفق. يستخدم البرنامج متغير الاستجابة كمتغير هدف، و giftCount36، demographicMedianHomeValue، giftTimeLast، و statusCatStarAll كمتغيرات تنبؤية.

الهدف هو التنبؤ بما إذا كان العميل من المحتمل أن يتبرع لحملة التبرعات أم لا. انتقل إلى مجلد VST وافتح التدفق categoricaldataanalysis.flow الذي تم إنشاؤه مسبقًا. أيضًا، انقر نقرًا مزدوجًا على logisticregression.sas لفتح البرنامج.

سيقوم هذا الكود بتشغيل نموذج الانحدار اللوجستي.

سيقوم باختيار 50% من البيانات بشكل عشوائي ووضعها جانبًا للتحقق من صحة النموذج، مع الاحتفاظ بـ 50% الأخرى لتدريب النموذج على إجراء التنبؤات.

هناك عبارة في الكود ستقوم بحفظ كود التقييم في مجلد VST. يمكن استخدام هذا الكود لإنتاج التنبؤات على مجموعات بيانات جديدة. ثم هناك عبارة نسب الاحتمالات، والتي ستقوم بحساب نسب الاحتمالات للمتغيرات التنبؤية المدرجة في هذا النموذج. هناك عبارتان أخريان تم التعليق عليهما، وسنقوم بإلغاء التعليق عن هذا الكود عند تشغيل البرنامج مرة ثانية. في الوقت الحالي، انقر على "نسخ الكود إلى التدفق"، وأضف ذلك إلى تدفق تحليل البيانات الفئوية.

سنقوم بحفظ هذا التدفق.

ثم انقر بزر الفأرة الأيمن على عقدة برنامج SAS واختر "تشغيل العقدة".

انقر على "الكود المقدم والنتائج".

وإذا رغبت، يمكنك فتح النتائج في علامة تبويب المتصفح. الجدول الأول هو جدول معلومات النموذج. ويعرض معلومات عن النموذج، بما في ذلك مصدر البيانات، التوزيع، دالة الربط، وتقنية التحسين. يمكننا أن نرى أنه من بين 9,686 ملاحظة، أو صف، في مجموعة البيانات لدينا، تم استخدام حوالي 4,900 لتدريب النموذج، وحوالي 4,800 للتحقق من صحة النموذج. يعطي ملف الاستجابة عدد متغير الاستجابة، كم عدد "لا" و"نعم". ويمكننا أن نرى أن تلك التكرارات مقسمة لبيانات التدريب وبيانات التحقق من الصحة. الملاحظة التالية تخبرنا أن الاحتمالية التي نقوم بنمذجتها هي احتمال أن متغير الاستجابة يساوي القيمة "نعم". يمكننا أن نرى أن هناك مستويين للمتغير الفئوي الوحيد لدينا، status cat star all. وله القيمة 0 و1. ثم لدينا رسالة تقول "تم تحقيق معيار التقارب". هذا يعني أن خوارزمية الاحتمالية القصوى التكرارية تمكنت من إيجاد الحد الأقصى. كانت تقديرات المعاملات تتغير في كل تكرار حتى بقيت مستقرة حتى هذا الرقم الثامن بعد الفاصلة العشرية. في تلك اللحظة، يعتبر أن الخوارزمية قد تقاربت. إذا قمنا بالتمرير للأسفل، يمكننا رؤية جدول يقول "اختبار الفرضية العامة الصفرية بيتا = 0". هذا يختبر ما إذا كان النموذج ذو دلالة إحصائية بشكل عام أم لا. هل لدينا على الأقل متغير تنبؤي واحد ذو دلالة إحصائية؟ هذا الاختبار العام هو اختبار نسبة الاحتمالية. لديه أربع درجات حرية. لذا فهو يقارن نموذج يحتوي فقط على التقاطع بنموذج يحتوي على التقاطع وأربعة متغيرات تنبؤية قمنا بإدراجها. وقيمة p ذات دلالة عالية جدًا، أقل من 0.0001. علينا التمرير للأسفل أكثر لمعرفة أي من المتغيرات التنبؤية كانت ذات دلالة وأيها لم تكن كذلك. هناك العديد من إحصاءات الملاءمة المختلفة التي يمكننا النظر إليها. وهذه الإحصاءات يتم حسابها بشكل منفصل لبيانات التدريب وبيانات التحقق من الصحة. إذا كان لدينا عدة نماذج مرشحة مختلفة لنمذجة متغير الاستجابة هذا، سنرغب في اختيار إحصاء الملاءمة المفضل لدينا ومعرفة أي من النماذج المرشحة لديه أفضل قيمة لهذا الإحصاء المبلغ عنه لبيانات التحقق من الصحة. لذا عادةً ما نرغب في المضي قدمًا مع النموذج الذي لديه أفضل أداء على بيانات التحقق من الصحة. وإذا كان هناك عدة نماذج متساوية في الأداء، سنرغب في استخدام أبسطها. أي النموذج الذي يحتوي على أقل عدد من التأثيرات، على سبيل المثال. إحصاءات الملاءمة المبلغ عنها تتضمن معايير معلومات مختلفة، مثل AIC، AICC، SBC. نحصل أيضًا على متوسط الخطأ التربيعي. هذا يشبه متوسط الخطأ التربيعي، لكنه يحتوي على مقام مختلف. يمكننا أيضًا رؤية R-squared وR-squared المعاد تحجيمه إلى الحد الأقصى. عند حساب R-squared للانحدار اللوجستي، لا يتراوح من 0 إلى 1 كما في الانحدار الخطي. له قيمة قصوى أقل من 1. ولهذا يقوم SAS أيضًا بحساب R-squared المعاد تحجيمه إلى الحد الأقصى. لذا فهو R-squared مقسومًا على قيمته القصوى الممكنة. وهذا R-squared المعاد تحجيمه يمكن أن يتراوح من 0 إلى 1 وهو أكثر تشابهًا مع R-squared الذي اعتدنا عليه في الانحدار الخطي. يمكننا أيضًا رؤية إحصاءات ملاءمة أخرى، مثل معدل التصنيف الخاطئ وفارق المتوسطات. عند التمرير للأسفل، يمكننا رؤية جدول تقديرات المعاملات. يمكننا أن نرى هناك صف للتقاطع، وصفوف للمتغيرات التنبؤية المستمرة، تعرض الميل أو معاملات الانحدار من نموذج الانحدار اللوجستي هذا. ضع في اعتبارك أن متغير الاستجابة الذي يتم نمذجته في الانحدار اللوجستي هو لوغاريتم احتمالات التبرع لـ PVA، المعروف أيضًا باسم اللوغيت. لذا هذه الميل أو معاملات الانحدار تخبرنا فعليًا بتأثير تغير وحدة واحدة في أحد هذه المتغيرات على اللوغيت. قد يكون من الصعب قليلاً التفكير في هذه المتغيرات على مقياس اللوغيت، لكننا لسنا مضطرين لتفسير هذه التقديرات كما هي. وذلك لأننا سنرى نسب الاحتمالات لاحقًا، وهي ميلات مرفوعة للأس من هذا الانحدار اللوجستي. إذا أردنا تفسير الميل الموجودة في جدول تقديرات المعاملات، فمن الأفضل فقط النظر إلى إشارات هذه التقديرات. القيمة الإيجابية لتقدير المعامل تشير إلى أنه مع زيادة هذا المتغير، تزداد احتمالات الحصول على نتيجة "نعم". لذا القيمة الإيجابية لـ gift count 36 في تقديرات المعاملات تخبرنا أنه مع زيادة gift count 36، تزداد احتمالات التبرع. وهذا الميل السلبي يخبرنا أنه مع زيادة gift time last، تقل احتمالات التبرع. وجميع المتغيرات المدرجة في النموذج ذات دلالة عالية جدًا. الجدول التالي بعنوان "ارتباط الاحتمالات المتوقعة والاستجابات الملحوظة". يمكننا رؤية مؤشر التوافق، المعروف أيضًا باسم إحصاء C أو مساحة تحت منحنى ROC. تم حسابه لبيانات التدريب وبيانات التحقق من الصحة. وهما قريبان جدًا، 0.604 للتدريب و0.602 للتحقق من الصحة. لذا فإن إحصاء C بقيمة 60% يعني أنه في 60% من الأزواج المتطابقة، العميل الذي تبرع، أي العميل الذي لديه الاستجابة "نعم"، لديه احتمال متوقع أعلى للتبرع من العميل الذي لم يتبرع، أي العميل الذي لديه الاستجابة "لا". إليك طريقة أخرى لتفسير إحصاء C هذا.

لو قمنا باختيار عميل واحد عشوائيًا لديه قيمة الاستجابة "نعم" وعميل آخر لديه قيمة الاستجابة "لا"، فإن إحصاء C هو نسبة الوقت التي يعطي فيها النموذج احتمالًا متوقعًا أعلى للعميل الذي لديه الاستجابة "نعم". والطريقة الثالثة التي يمكننا بها تفسير إحصاء C، مؤشر التوافق، هي القول بأن 60% من الأزواج المتطابقة تم تصنيفها بشكل صحيح بواسطة هذا النموذج. عند التمرير للأسفل، يمكننا رؤية جدول نسب الاحتمالات. تم حساب هذه النسب من تقديرات المعاملات. قمنا برفع e إلى أس تقديرات المعاملات لنحصل على نسب الاحتمالات. ومرة أخرى، نسب الاحتمالات تخبرنا بقوة العلاقة بين هذه المتغيرات ومتغير الاستجابة الفئوي لدينا. سنعود إلى قيمة المنزل الوسيط الديموغرافية وننظر إلى gift count 36. لديه نسبة احتمالات حوالي 1.1. هذا يخبرنا أنه مع كل زيادة وحدة واحدة في المتغير gift count 36، يتم ضرب احتمالات التبرع لـ PVA في 1.1. المتغير التالي هو gift time last، والذي لديه نسبة احتمالات 0.96.

لذا مع كل زيادة وحدة واحدة في Gift Time Last، يتم ضرب احتمالات التبرع لـ PVA في 0.96. أي أن الاحتمالات تقل مع زيادة Gift Time Last. نسبة الاحتمالات لـ Status Cat Star All، عند مقارنة المجموعة 0 بالمجموعة 1، هي 0.781.

لذا المجموعة 0 لديها حوالي 78% من احتمالات التبرع مقارنة بالمجموعة 1. الآن دعونا ننظر إلى المتغير الأخير، قيمة المنزل الوسيط الديموغرافية.

لديه تقدير 1 وفاصل ثقة يتراوح من 1 إلى 1، لذا يبدو أن هذا متغير لن يكون متنبئًا ذا دلالة إحصائية، لكن قيمة p أقل من 0.0001. ما يحدث هنا هو أنه ليس لدينا عدد كافٍ من المنازل العشرية لرؤية نسبة الاحتمالات لهذا المتغير، لمعرفة كيف تختلف عن القيمة 1. كما هو، هذه النسبة تخبرنا بتغير الاحتمالات مع زيادة دولار واحد في قيمة المنزل الوسيط. ما سنفعله هو العودة إلى البرنامج وسنقوم بإلغاء التعليق عن بعض الكود، وهذا سيغير طريقة حساب نسبة الاحتمالات. سيخبرنا بنسبة الاحتمالات عند مقارنة قيم المنزل الوسيط التي تختلف بمقدار 1,000 دولار بدلًا من قيم المنزل الوسيط التي تختلف بدولار واحد. لذا دعونا نعود إلى التدفق.

هنا، يمكننا اتباع التعليمات في هذا التعليق الذي يقول بعد التشغيل الأول، سنقوم بالتعليق على عبارة نسبة الاحتمالات الأولى وإلغاء التعليق عن ODSSELECT ونسبة الاحتمالات الثانية. لذا سأضع نجمة أمام نسبة الاحتمالات الأولى وأزيل النجمتين اللتين تليهما. عبارة نسبة الاحتمالات التي تم إلغاء التعليق عنها حديثًا لديها خيار يقول أن وحدة قيمة المنزل الوسيط الديموغرافية تساوي 1,000 دولار. الآن سأضغط بزر الفأرة الأيمن على عقدة برنامج SAS.

سأختار "تشغيل الآن".

الآن نسبة الاحتمالات لقيمة المنزل الوسيط الديموغرافية تظهر قيمة 1.001، وفواصل الثقة تتراوح من 1.001 إلى 1.002. هذا يشير إلى أنه مع كل زيادة قدرها 1,000 دولار في قيمة المنزل الوسيط الديموغرافية، تزداد احتمالات التبرع بحوالي 0.1%.

Question

Here's a graph of the logit of the predicted probability for defaulting on a loan by the customer's income.

(See Text Version for Image)

As a customer's income increases, the probability of defaulting on a loan decreases.

Correct.
Notice that as a customer's income increases, the probability of defaulting on a loan decreases.
(See Text Version for Image)

Incorrect.
The correct answer is True. Notice that as a customer's income increases, the probability of defaulting on a loan decreases.
(See Text Version for Image)

الهدف الأساسي من النمذجة التنبؤية هو إعطاء درجات للحالات الجديدة.

يمكن إجراء التنبؤات ببساطة عن طريق إدخال القيم الجديدة للمدخلات من بيانات التقييم.

لأغراض التقييم، يتم أولاً تحويل النموذج إلى صيغة أخرى، عادةً إلى كود التقييم. معادلة اللوچيت تنتج ترتيبًا أو درجة لوچيت.

يمكنك الحصول على تقدير للتنبؤ باستخدام تحويل مباشر لدرجة اللوچيت، وهو الدالة اللوجستية.

الدالة اللوجستية هي ببساطة معكوس دالة اللوچيت.

يمكنك الحصول على الدالة اللوجستية بحل معادلة اللوچيت بالنسبة لـ p.

أكثر التنبؤات شيوعًا هي احتمالات التنبؤ.

في التصنيف الخاضع للإشراف، الاستخدام النهائي للانحدار اللوجستي هو تخصيص الحالات إلى فئة.

وهذا يُسمى بشكل أكثر دقة التمييز اللوجستي.

قاعدة التخصيص هي ببساطة تعيين احتمال قطع حيث يتم تخصيص الحالات التي تتجاوز هذا الاحتمال للفئة الأولى (حدث)، والحالات التي تقل عن هذا الاحتمال للفئة الصفرية (غير حدث).

يفصل نموذج التمييز اللوجستي القياسي بين الفئات بواسطة سطح خطي، أو ما يُعرف بالفرط المستوي.

حد القرار يكون دائمًا خطيًا. تحديد أفضل نقطة قطع هو أمر أساسي في التمييز اللوجستي. نقطة القطع المنطقية هي 50%، وهي القيمة الافتراضية في SAS Viya. لكن غالبًا، الطريقة الأفضل لاختيار نقطة القطع هي استخدام نسبة الأحداث في البيانات الأصلية.

لذلك، بافتراض نقطة قطع افتراضية قدرها 50%، إذا تنبأ نموذجك باحتمال حدوث حدث لشخص ما بنسبة 0.63، فسيتم التنبؤ له بحدوث الحدث لأن الاحتمال المتوقع أكبر من 0.5.

أما إذا تم التنبؤ لشخص باحتمال حدوث حدث بنسبة 0.32 من خلال نموذجك، فسيتم التنبؤ له بعدم حدوث الحدث لأن الاحتمال المتوقع أقل من 0.5.

في هذا العرض التوضيحي، ستقوم بتقييم مجموعة بيانات جديدة باستخدام كود التقييم المستخرج من نموذج الانحدار اللوجستي الذي أنشأته سابقًا.

يتيح لك ذلك إضافة التنبؤات من نموذج مدرَّب إلى مجموعة بيانات الإخراج.

انتقل إلى مجلد VST وافتح تدفق تحليل البيانات الفئوية. سنضيف عقدة برنامج إلى هذا التدفق. لا تزال في مجلد VST، انقر نقرًا مزدوجًا على scoringlogistic.sas.

ما سيفعله هذا البرنامج هو أنه سيقرأ مجموعة بيانات تسمى ScorePVA.

هذه المجموعة موجودة بالفعل في مكتبة VST، ولديها نفس المتغيرات المستقلة مثل مجموعة بيانات متبرعي PVA، لكنها لا تحتوي على قيم المتغير الهدف.

سنستخدم كود التقييم من نموذج الانحدار اللوجستي الذي أنشأناه سابقًا لتقييم هذه المجموعة. أي، لتوليد التنبؤات لكل صف في هذه المجموعة.

هذا الأمر PERCENT INCLUDES.

سيستخدم برنامج logisticscore.sas. وهذا البرنامج هو كود التقييم الذي تم توليده من نموذج الانحدار اللوجستي السابق. وعند تقييمه لمجموعة بيانات score PVA، سيحفظ التنبؤات في مجموعة بيانات إخراجية تسمى PVA scored.

لنضغط على "نسخ إلى التدفق" ونضيف ذلك إلى تحليل البيانات الفئوية.

سأقوم بحفظ هذا الآن.

وهذا يظهر الآن كبرنامج SAS 2.

سأنقر بزر الماوس الأيمن وأختار "تشغيل الآن".

لنستعرض النتائج.

يمكننا أن نرى أن هناك 96,000 صف في مجموعة بيانات الإخراج.

ويمكننا رؤية قائمة بالمتغيرات التي تم إنشاؤها والموجودة في PVA score.

المتغيرات في الإخراج تتضمن p_underscore_response، وهو القيمة المتوقعة للمتغير المسمى response.

المتغير يحتوي على قيم احتمالية التنبؤ بالاستجابة لهذه الحملة التبرعية.

أي، هو احتمال أن يقوم هذا المتبرع بالتبرع لـ PVA.

هناك أيضًا متغير يسمى i_underscore_response، والتسمية تقول "into response".

الآن دعونا ننظر إلى اختبار بيانات الإخراج.

هذا يعرض لنا المتغيرات الخاصة بـ PVA scored، وسأقوم بالتمرير حتى النهاية إلى اليمين.

لذا، هذا العمود الأخير يعرض الاحتمال المتوقع للمتغير الهدف response أن يأخذ القيمة نعم.

لذا، أول متبرع في هذا الجدول لديه فرصة حوالي 43% للتبرع.

الشخص الثاني لديه فرصة حوالي 32% للقيام بذلك.

والشخص التالي لديه فرصة حوالي 51% للتبرع.

الآن، هذا العمود I underscore response.

هذا متغير مؤشر يأخذ القيمة نعم عندما يكون احتمال الاستجابة أكبر من أو يساوي 50%، ولا خلاف ذلك.

لذا، أول متبرع الذي كان لديه فرصة 42% للتبرع لديه قيمة "لا" لهذا المؤشر.

أما المتبرع الثالث، الذي لديه فرصة تقريبية 51% للتبرع، فله قيمة "نعم"، لأن احتماله المتوقع كان 50% أو أكثر.

Question

In the previous demonstration, if you decide to have an allocation rule based on a 0.45 cutoff, which of the following cases would be predicted as a response? (Select all that apply.)

Row Number	DemMedHomeValue	P_Response
1	$114,300	0.4543596915
2	$51,100	0.4359083123
3	$65,000	0.4175748543
4	$59,200	0.6024474572

a. Row 1

b. Row 2

c. Row 3

d. Row 4

Correct.
Because the predicted probabilities (0.4543 and 0.6024) of response are greater than 0.45 (cutoff), they would be predicted as response. The other two have predicted probabilities (0.4359 and 0.4175) smaller than 0.45, thus predicted as non-response.

Incorrect.
The correct answer is a and d. Because the predicted probabilities (0.4543 and 0.6024) of response are greater than 0.45 (cutoff), they would be predicted as response. The other two have predicted probabilities (0.4359 and 0.4175) smaller than 0.45, thus predicted as non-response.

TopicTitle

What have you learned?

The goal of explanatory modeling is causal explanation. The goal of predictive modeling is empirical prediction.
After a model and allocation rule are determined (training), the model must be applied to new cases (scoring).
For scoring, SAS Viya translates the model into a format called score code, which is a SAS program.
Scoring must incorporate all data manipulation tasks done before generating the model.
Predictive modeling typically involves choices from among a set of models. These might be different types of models, or they might be different complexities of models of the same type.
Selecting model complexity involves a trade-off between bias and variance. Both bias and variance are forms of prediction error in machine learning.
An overly simple model might not be flexible enough and generally leads to underfitting. An overly complex model might be too flexible and generally leads to overfitting.
An optimal balance of bias and variance would never overfit or underfit the model.
An association exists between two categorical variables if the distribution of one variable changes when the value of the other variable changes.
Chi-square test is commonly used for feature selection in machine learning.
You use the odds ratio to measure the strength of the association between a binary predictor variable and a binary response variable.
A logistic regression model applies a logit transformation, or simply the log odds transformation, to the probabilities.
The c value is one of the most used measures of model performance.
You need to determine the best cutoff in logistic discrimination.

مثل أي نهج آخر لتحليل البيانات، يواجه التعلم الآلي العديد من الصعوبات والتحديات. تهيئك هذه الدرس لتطبيقات التعلم الآلي المستقبلية. تتعرف على الأسس الإحصائية الكامنة وراءه، مما يمكّنك من تطوير فهم أعمق لنماذج التعلم الآلي.

في هذا الدرس، تتعرف على مناهج مختلفة للتعلم الآلي وكيفية عمل التعلم الآلي، والشبكات العصبية كتطور طبيعي لنماذج الانحدار التقليدية، والفرق بين إعداد البيانات والمعالجة المسبقة للبيانات. كما تتعلم كيفية التعامل مع صعوبات البيانات، مثل تصور البيانات عالية الأبعاد، ومعالجة البيانات المليئة بالضوضاء، واكتشاف وإزالة المتغيرات غير ذات الصلة أو الزائدة، والتعامل مع التباين المميز في المدخلات، بالإضافة إلى معالجة مشكلات النمذجة، مثل التعامل الاقتصادي مع البيانات المتاحة، وضمان مرونة النموذج، وإدارة تعقيد النموذج، وإيجاد أفضل قيم للمعاملات، وجعل النماذج قابلة للتفسير. هذا الدرس مليء بالدروس الأساسية لتحقيق الاستخدام الفعال للتعلم الآلي.

اعتمادًا على طبيعة المشكلة التجارية التي يتم التعامل معها ونوع وحجم البيانات، هناك طرق مختلفة لتعلم الآلة. اثنان من أكثر أساليب تعلم الآلة استخدامًا هما التعلم الخاضع للإشراف والتعلم غير الخاضع للإشراف.

لكن هناك أيضًا طرقًا أخرى لتعلم الآلة.

تقدم هذه الدرس نظرة عامة على أكثر أنواع تعلم الآلة شيوعًا، وهي التعلم الخاضع للإشراف، والتعلم غير الخاضع للإشراف، والتعلم شبه الخاضع للإشراف، والتعلم المعزز.

يتم تدريب خوارزميات التعلم الخاضع للإشراف باستخدام أمثلة معنونة، مثل إدخال يتم فيه تحقيق الهدف المطلوب.

هنا، يتم استخدام قيمة الهدف كعلامة لملاحظة في الجدول. تتلقى خوارزمية التعلم مجموعة من المدخلات مع الأهداف الصحيحة المقابلة لها. قد يكون متغير الهدف تصنيفياً أو مستمراً. تتعلم الخوارزمية من خلال مقارنة هدفها الفعلي مع الهدف المتوقع للعثور على الأخطاء. ثم تعدل النموذج وفقاً لذلك وتنتج مصنفاً. على سبيل المثال، هنا لديك هدف ثنائي، مربعات حمراء ودوائر رمادية، ويتم تمثيل المصنف الخطي هنا بخط أخضر يميز بين المربعات الحمراء والدوائر الرمادية.

يُستخدم التعلم الخاضع للإشراف عادة في التطبيقات التي تتنبأ فيها البيانات التاريخية بالأحداث المستقبلية المحتملة. على سبيل المثال، يمكن للتعلم الخاضع للإشراف التنبؤ بموعد احتمال أن تكون معاملات بطاقة الائتمان احتيالية، أو أي عميل تأمين من المرجح أن يقدم مطالبة، أو احتياطي خسارة، وهو تقدير لمسؤولية شركة التأمين عن المطالبات المستقبلية التي سيتعين عليها دفعها.

يُستخدم التعلم غير الخاضع للإشراف مع البيانات التي لا تحتوي على تسميات تاريخية. لا يتم إخبار النظام بالإجابة الصحيحة. يجب على الخوارزمية أن تكتشف ما يتم عرضه. الهدف هو استكشاف البيانات وإيجاد بعض البنية داخلها. غالبًا ما يحاول التعلم غير الخاضع للإشراف تجميع حالات مجموعة بيانات التدريب بناءً على التشابه في المتغيرات المدخلة.

إنها طريقة لتقليل البيانات، لأن مجموعة بيانات التدريب الكاملة يمكن تمثيلها بعدد أقل من المجموعات.

تُعرف هذه التجميعات باسم العناقيد أو القطاعات، ويمكن تطبيقها على مجموعات بيانات أخرى لتصنيف الحالات الجديدة. على سبيل المثال، هنا جميع الملاحظات ممثلة بمثلثات صفراء حيث لا تتوفر تسميات.

يتم تمثيل بنية العنقود هنا بواسطة القطع الناقص الخضراء التي تجمع المثلثات الصفراء في عنقودين متنافيين.

يعمل التعلم غير الخاضع للإشراف بشكل جيد مع البيانات المعاملاتية. على سبيل المثال، يمكنه تحديد شرائح من العملاء ذوي السمات المتشابهة الذين يمكن معاملتهم بطريقة مماثلة في الحملات التسويقية.

تشمل التقنيات الشائعة الخرائط ذاتية التنظيم، وتعيين الجار الأقرب، وتجميع k-means، وتحليل القيمة المفردة. تُستخدم هذه الخوارزميات أيضًا لتقسيم مواضيع النصوص، وتوصية العناصر، وتحديد القيم الشاذة في البيانات.

يُستخدم التعلم شبه المُراقب لنفس تطبيقات التعلم المُراقب. فهو يستخدم بيانات مُعنونة وغير مُعنونة معًا أثناء التدريب، وعادةً ما يكون هناك كمية صغيرة من البيانات المُعنونة مع كمية كبيرة من البيانات غير المُعنونة لأن الحصول على البيانات غير المُعنونة أقل تكلفة ويتطلب جهدًا أقل. إنه نوع من الزواج بين التعلم المُراقب والتعلم غير المُراقب. يمكن استخدام هذا النوع من التعلم مع طرق مثل التصنيف، والانحدار، والتنبؤ. تُستخدم المتغيرات المدخلة لحساب المسافة. على سبيل المثال، هنا لديك هدف ثنائي، مربعات حمراء ودوائر رمادية متاحة لعدد صغير من الملاحظات، ومعظم الملاحظات الأخرى ممثلة بمثلثات صفراء لعدم توفر تسميات لها. بناءً على البيانات المُعنونة، يتم تمثيل مصنف غير خطي هنا بمنحنى أخضر يميز بين المربعات الحمراء والدوائر الرمادية.

يتم تمثيل بنية عنقودية هنا بواسطة إهليليات زرقاء تجمع المثلثات الصفراء في مجموعتين حصريتين متبادلتين. النقاط الموجودة على نفس البنية، والتي يُشار إليها عادةً باسم العنقود، من المرجح أن تحمل نفس التسمية. وغالبًا ما يُطلق على هذا الافتراض اسم افتراض العنقود. يكون التعلم شبه المُراقب مفيدًا عندما تكون تكلفة وضع التسميات مرتفعة جدًا بحيث لا تسمح بعملية تدريب مُعنونة بالكامل. خوارزمية التعلم شبه المُراقب لها العديد من التطبيقات، بما في ذلك تصنيف صفحات الويب، والتعرف على الصور، والتصوير الطبي، ومعالجة اللغة الطبيعية، والتعرف على الأفعال.

يُستخدم التعلم المعزز غالبًا في الروبوتات والألعاب والملاحة مثل السيارات ذاتية القيادة. من خلال التعلم المعزز، يكتشف الخوارزم عبر التجربة والخطأ أي الإجراءات تحقق أكبر قدر من المكافآت. لذلك، يُستخدم بشكل أساسي في مشكلات اتخاذ القرار المتسلسل.

TopicTitle

Reinforcement learning has three primary components: the agent (the learner or decision maker), the environment (everything the agent interacts with), and actions (what the agent can do). The objective is for the agent to choose actions that maximize the expected reward over a given amount of time. The agent will reach the goal much faster by following a good policy. So, the goal in reinforcement learning is to learn the best policy.

(See Text Version for Image)

Reinforcement learning can probably be best explained through an analogy to a video game. As a player progresses through the virtual space of a game, they learn the value of various actions under different conditions and become more familiar with the field of play. Those learned values then inform and influence a player's subsequent behavior, and their performance immediately improves based on their learning and experience.

(See Text Version for Image)

هناك العديد من الطرق المختلفة لتعلم الآلة. ما يجمع بينها جميعاً هو أنها مؤتمتة وقابلة للتكيف.

غالبًا ما يتم استلهام تقنيات تعلم الآلة من الدماغ البشري. أحب أن أستخدم مثالاً بسيطاً حول التمييز بين التفاحة والبرتقالة. إذا أردت أن أصنع فطيرة تفاح، وطلبت منك أن تحضر التفاح من السوق، يجب أن تكون قادراً على تمييز التفاحة عن البرتقالة. إذا عدت إلى المنزل ومعك برتقال، ففي أفضل الأحوال، لن يكون هناك حلوى. لحسن الحظ، يمكنك القيام بذلك بسهولة لأنك مع مرور الوقت عندما كنت طفلاً، تعلمت التمييز بين التفاحة والبرتقالة بناءً على اللون، والحجم، والرائحة، والملمس. كان هناك من يخبرك: نعم، هذه تفاحة، أو لا، هذه ليست تفاحة. هذا ما يسمى بالتعلم الخاضع للإشراف.

اللون، والحجم، والرائحة، والملمس كلها ميزات أو سمات، أو كما يحب الإحصائيون أن يسموها، متغيرات مستقلة. هذه الميزات تساعد في تحديد النتيجة. في هذه الحالة، النتيجة ثنائية. إما أنها تفاحة أو ليست تفاحة. في دماغك، يتم إعطاء أوزان مختلفة لهذه السمات. على سبيل المثال، قد يكون للملمس واللون وزن أكبر من الحجم، لأنهما أفضل في التمييز بين التفاح والبرتقال. وبالمثل، مع مستوى أعلى من التدريب، يمكنني التمييز بين تفاحة "غرانّي سميث" وتفاحة "فوجي". ومع توفر المزيد من المدخلات، مثل النعومة، ومحتوى الماء، وكمية غاز الإيثيلين المنبعث، يمكنني تحديد ليس فقط ما إذا كانت التفاحة فاسدة، بل أيضاً مدى احتمال أن تصبح فاسدة حتى قبل أن تتحول إلى اللون البني وتصبح طرية.

Question

Which of the following statements is True regarding machine learning approaches? Select all that apply.

Correct.
The input data in supervised learning is labeled whereas in unsupervised learning the data is unlabeled. Based on input associations, unsupervised learning discovers underlying data structures such as clusters, whereas based on association of inputs and target, supervised learning predicts the target. With reinforcement learning, the algorithm discovers through trial and error which actions yield the greatest rewards.

Incorrect.
The correct answer is a, b, and d. The input data in supervised learning is labeled whereas in unsupervised learning the data is unlabeled. Based on input associations, unsupervised learning discovers underlying data structures such as clusters, whereas based on association of inputs and target, supervised learning predicts the target. With reinforcement learning, the algorithm discovers through trial and error which actions yield the greatest rewards.

الشبكات العصبية، والمعروفة أيضاً باسم الشبكات العصبية الاصطناعية أو ANNs، هي جوهر التعلم الآلي. اسمها وبنيتها مستوحيان من الدماغ البشري، حيث تحاكي الطريقة التي تتواصل بها الخلايا العصبية البيولوجية مع بعضها البعض.

تتكون الشبكة العصبية من العديد من عناصر المعالجة البسيطة التي تُسمى العصبونات أو الوحدات المخفية.

كل عصبون متصل بعصبونات أخرى من خلال روابط اتصال موجهة، لكل منها وزن مرتبط بها.

العصبون ليس أكثر من مفتاح له مدخل ومخرج للمعلومات. سيتم تفعيل المفتاح إذا كان هناك ما يكفي من المحفزات من عصبونات أخرى تصل إلى مدخل المعلومات.

ثم عند مخرج المعلومات، يتم إرسال نبضة إلى العصبون الآخر.

الوحدة الأساسية للحساب في الشبكة العصبية هي العصبون، وغالباً ما يُطلق عليه الوحدة المخفية. لفهم العصبونات، دعونا ننظر إلى نماذج الانحدار الممثلة كشبكات عصبية.

من المحتمل أن تكون معادلة الانحدار الخطي الكلاسيكية معروفة لديك. فكر في معادلة انحدار خطي بسيطة مع مدخلين. يمكن تمثيل نفس الشيء في شكل شبكة عصبية.

في العصبون، عادةً ما يتم أولاً وزن كل مدخل ثم جمعها.

لمحاكاة وظيفة العتبة في العصبون، تتم إضافة قيمة انحياز إلى المجموع الموزون، مما يميل العصبون لإعطاء قيمة الخرج.

هنا، مصطلح الانحياز هو نقطة تقاطع المحور y، والوزن المرتبط بكل مدخل هو معامل ميل المدخل. الشبكة العصبية التي لا تحتوي على طبقة مخفية، وتحتوي فقط على عصبون خرج واحد ودالة خطية لـ x تحت i، تشبه نموذج الانحدار.

في هذه الحالة، يكون النموذج سهل الفهم والتطبيق، لكنه يعاني من عيب. فهو لا يمكنه إلا نمذجة العلاقات الخطية.

تم إجراء تعديل بسيط في نموذج الانحدار الخطي السابق. ممثل هنا هو نموذج الانحدار اللوجستي لمدخلين، x1 وx2، مع هدف ثنائي.

يتم استخدام دالة تفعيل للخرج لتحويل الخرج إلى مقياس مناسب للقيمة المتوقعة للهدف.

في الإحصاء، تُسمى هذه الدالة دالة الربط العكسي.

بالنسبة للأهداف الثنائية، فإن الدالة اللوجستية مناسبة لأنها تقيد الخرج ليكون بين 0 و1. لاحظ أن العصبون لا يزال خطياً، ولكن عندما نجعل هذه القيمة تمر عبر دالة غير خطية، لم يعد الناتج الكلي خطياً. لا يزال هذا النموذج بسيطاً للغاية وقد لا يتعامل مع التعقيد الكامن المفترض في العلاقة بين المدخلات والمخرجات.

يمكننا أن نخطو خطوة أخرى ونعززها جميعاً.

الميزة الأهم للشبكات العصبية هي مرونتها غير المحدودة. فالشبكة العصبية هي مقرب عام، مما يعني أنه مع عدد كافٍ من العصبونات والوقت، يمكن للشبكة العصبية نمذجة أي علاقة بين المدخلات والمخرجات مهما كانت معقدة.

دعونا نأخذ مثالاً بسيطاً بثلاثة عصبونات. كل عصبون يستقبل مزيجاً خطياً من متغيرات المدخلات، ولكن ربما بأوزان مختلفة.

الأوزان الناتجة عن التركيبات الخطية لمتغيرات المدخلات موضحة في الرسم التخطيطي.

لالتقاط المزيد من اللاخطيات تدريجياً، تمر التركيبات الخطية في كل عصبون عبر دالة تفعيل غير خطية.

تقوم دالة التفعيل بتحويل التركيبات الخطية ثم تحولها إلى وحدة أخرى يمكن استخدامها كمدخلات.

يمكن استخدام دوال تفعيل مختلفة لإنتاج دوال غير خطية مختلفة.

عندما تكون هناك طبقة مخفية واحدة فقط، يمكن اعتبار الوحدات المخفية كعمليات انحدار تُطبق على التركيبات الخطية لمتغيرات المدخلات.

في هذا المثال، تظهر معادلة لكل من الوحدات المخفية الثلاث.

في كل معادلة، المصطلح الأول w-hat هو مصطلح الانحياز، الذي لم يُمثل في الرسم التخطيطي.

المؤشر الفرعي الثاني في مصطلح الانحياز يكون دائماً صفراً.

أخيراً، يمكن اعتبار الشبكة العصبية نموذج انحدار على مجموعة من المدخلات المستخرجة تُسمى الوحدات المخفية.

الشكل الوظيفي، أو صيغة التنبؤ، لهذه الشبكة العصبية موضحة في الأعلى.

كل تركيبة خطية من متغيرات المدخلات تحتوي على أوزان إضافية ومصطلح انحياز. تذكر أن الخطوط في مخطط الشبكة العصبية تمثل الأوزان.

الأوزان الناتجة عن التركيبات الخطية لمتغيرات المدخلات والأوزان الناتجة عن الوحدات المخفية كلها موضحة الآن في الرسم التخطيطي.

على سبيل المثال، الخط الذي يربط الوحدة المخفية H1 بالمدخل X2 يمثل الوزن W-hat تحت 1، 2. والخط الذي يربط الهدف بالوحدة المخفية H1 يمثل الوزن W-hat تحت 0، 1.

يتم استخدام دالة تفعيل للخرج لتحويل الخرج إلى مقياس مناسب للقيمة المتوقعة للهدف لإنتاج نموذج غير خطي.

لتلخيص ذلك، كل عصبون في الشبكة يحول البيانات باستخدام سلسلة من العمليات الحسابية.

يضرب العصبون قيمة أولية في وزن معين، ويجمع النتائج مع قيم أخرى تدخل نفس العصبون، ثم يعدل الرقم الناتج بانحياز العصبون، ثم يقوم بتطبيع الخرج باستخدام دالة تفعيل.

يمثل هنا أكثر أنواع الشبكات العصبية استخداماً والمعروفة باسم الإدراك متعدد الطبقات، أو MLP. يتكون MLP من طبقة إدخال، وطبقة أو أكثر من الطبقات المخفية المكونة من وحدات مخفية، وطبقة إخراج.

Question

Linear regression and logistic regression models can be viewed as neural networks with no hidden layers.

Correct.
A neural network with no hidden layer, only one output neuron, and a linear function of input variables resembles a regression model.

Incorrect.
The correct answer is a. A neural network with no hidden layer, only one output neuron, and a linear function of input variables resembles a regression model.

TopicTitle

Apart from neural networks, some other machine learning algorithms are categorized into four common groups: pattern discovery, feature extraction, estimation and predictive modeling. They are described below briefly.

Common Algorithms
Pattern Discovery	Feature Extraction	Estimation	Predictive Modeling
Associations and Sequence Rules	Principal Component Analysis	Local Search Optimization	Linear Regression	Rule Induction
k-Means Clustering	Singular Value Decomposition	Kernel Density Estimation	Logistic Regression	Artificial Neural Networks
Self-Organizing Maps	Variable Clustering		Decision Trees	Gradient Boosting
Expectation Maximization	Partial Least Square Regression		Random Forests	Support Vector Machines
Nearest-Neighbor Mapping	Autoencoders		Adaptive Regression Splines	Memory Based Reasoning
			Bayesian Networks	LAR / LASSO
			Gaussian Mixture Models	Ensemble Models

Association rule discovery, or, market basket analysis, is used to analyze streams of transaction data (for example, market baskets) for combinations of items that occur (or do not occur) more (or less) commonly than expected. Retailers can use this to identify interesting combinations of purchases or as predictors of customer segments. Sequence analysis is an extension of market basket analysis to include a time dimension to the analysis. In this way, transactions data is examined for sequences of items that occur (or do not occur) more (or less) commonly than expected. A webmaster might use sequence analysis to identify patterns or problems of navigation through a website.

The k-Means Clustering algorithm is a type of unsupervised learning, which is used to categorize unlabeled data, that is, data without defined categories or groups. The algorithm works by finding groups within the data, with the number of groups represented by the variable k. It then works iteratively to assign each data point to one of k groups based on the features provided.

Self-organizing maps are unsupervised data visualization techniques that reduce dimensionality of data using self-organizing neural networks (Kohonen Network). The networks are trained to reduce dimensions of data by mapping high-dimensional data on a low-dimensional grid of neurons. They display and show the similarities among observations in the reduced dimensions by using a rectangular (eight neighbors) or hexagonal grid (six neighbors) of neurons in the output layer.

The expectation-maximization (EM) algorithm (Dempster, Laird, and Rubin 1977) is a tool that addresses problems of missing data. The EM algorithm proceeds by finding the conditional expectation of the missing data, given the observed data, treating that conditional expectation as observed data, and iterating until the model converges.

The k-Nearest-Neighbor algorithm estimates how likely a data point is to being a member of one group or another. It essentially looks at the data points around a single data point to determine what group it is actually in. For example, if one point is on a grid and the algorithm is trying to determine what group that data point is in (group A or group B, for example) it would look at the data points near it to see what group most of the points are in.

Principal Component Analysis (PCA) attempts to find a series of orthogonal vectors that better describe the directions of variation in the data than the original inputs do. A geometric interpretation of orthogonal is that the vectors are perpendicular; a statistical interpretation is that the vectors are uncorrelated. The goal is to be able to characterize most of the variation in the data with as few vectors as possible.

Singular Value Decomposition (SVD) decomposes a matrix into special matrices that are easy to manipulate and analyze. It projects high-dimensional data into a lower-dimension space that results into independent linear components. PCA skips less-significant components. You can use SVD to find PCA by truncating the less-important basis vectors in the original SVD matrix.

Variable clustering is a useful technique for data reduction because it finds the best variables for analysis. It removes collinearity, decreases variable redundancy, and helps reveal the underlying structure of the input variables in a data set in the sense that the groups of variables reveal the main dimensionalities of the data.

In partial least squares regression (PLS) modeling, model weights are chosen to simultaneously account for variability in both the target and the inputs. It generally produces meaningful predictions based on limited data (for example, when there are more inputs than modeling cases). A variable selection method named variable importance in the projection arises naturally from the PLS framework.

An autoencoder is a special form of neural network that is trained not to try to map input values to output values, but instead to map input values to themselves. Autoencoders are used to create abstractions called encoders that are created from a given set of inputs.

Local search is a heuristic method for solving computationally hard optimization problems. Local search can be used on problems that can be formulated as finding a solution maximizing a criterion among several candidate solutions. Local search optimization begins concurrently for each selected point.

Kernel density estimation is a nonparametric technique for density estimation in which a known density function (the kernel) is averaged across the observed data points to create a smooth approximation.

Linear regression is the most basic type of regression. Simple linear regression allows us to understand the relationships between two continuous variables.

Logistic regression focuses on estimating the probability of an event occurring based on the previous data provided. It is used to cover a binary dependent variable, that is where only two values, 0 and 1, represent outcomes.

A decision tree is a flow-chart-like tree structure that uses a branching method to illustrate every possible outcome of a decision. Each node within the tree represents a test on a specific variable – and each branch is the outcome of that test.

Forests or random decision forests is an ensemble learning method, combining multiple algorithms to generate better results for classification, regression and other tasks. Each individual classifier is weak, but when combined with others, can produce excellent results. The algorithm starts with a decision tree (a tree-like graph or model of decisions) and an input is entered at the top. It then travels down the tree, with data being segmented into smaller and smaller sets, based on specific variables.

Adaptive regression splines method is a nonparametric regression technique that combines both regression splines and model selection methods. It does not assume parametric model forms and does not require specification of knot values for constructing regression spline terms. Instead, it constructs spline basis functions in an adaptive way by automatically selecting appropriate knot values for different variables and obtains reduced models by applying model selection techniques.

A Bayesian network is a directed acyclic graphical model that represents probability relationships and conditional independence structure between random variables. For example, the Naïve Bayes classifier is based on Bayes' theorem and classifies every value as independent of any other value. It allows us to predict a class/category, based on a given set of features, using probability. Despite its simplicity, the classifier does surprisingly well and is often used due to the fact it outperforms more sophisticated classification methods.

The Gaussian mixture model is a probabilistic model that assumes that all the data points are generated from a mixture of Gaussian distributions; see Rasmussen (1999). In probabilistic modeling, the probability distribution over all the discovered clusters is inferred for each observation. Thus the Gaussian mixture model provides soft clustering, which is different from the hard clustering that is provided by k-means, hierarchical, and density-based spatial clustering.

Rule Induction combines decision tree and neural network models to predict nominal targets. It is intended to be used when one of the nominal target levels is rare. New cases are predicted using a combination of prediction rules (from decision trees) and a prediction formula (from a neural network, by default). Input selection and complexity optimization are described below.

An artificial neural network (ANN) is essentially many interconnected processing elements, working in unison to solve specific problems. ANNs are inspired by biological systems, such as the brain, and how they process information. ANNs also learn by example and through experience, and they are extremely useful for modelling non-linear relationships in high-dimensional data or where the relationship among the input variables is difficult to understand.

Gradient boosting is an iterative approach that creates multiple models, preferably decision trees, on the training data. The gradient boosting model improves its predictions by minimizing a specified loss function, such as average square error. The first step creates a baseline tree. Each subsequent tree is fit to the residuals of the previous tree, and the loss function is minimized. This process is repeated a specific number of times. The final model is a single function, which is an aggregation of the series of trees that can be used to predict the target value of a new observation.

Support Vector Machine algorithms are supervised learning models that analyze data used for classification and regression analysis. They essentially filter data into categories, which is achieved by providing a set of training examples, each set marked as belonging to one or the other of the two categories. The algorithm then works to build a model that assigns new values to one category or the other.

Memory Based Reasoning (MBR) is the implementation of k-nearest neighbor prediction on nominal target. Decisions are made based on the prevalence of each target level in the nearest k-cases. Most primary outcome cases results in a primary decision, and most secondary outcome cases results in a secondary decision. Complexity of the model can be adjusted by changing the number of neighbors considered for prediction.

Least angle regression was introduced by Efron et al. (2004). Not only does this algorithm provide a selection method in its own right, but with one additional modification it can be used to efficiently produce LASSO solutions. Just like the forward selection method, the LAR algorithm produces a sequence of regression models where one parameter is added at each step, terminating at the full least squares solution when all parameters have entered the model.

The ensemble approach relies on combining many relatively weak simple models to obtain a stronger ensemble prediction. Ensembling creates a new model by combining the predictions from multiple models to improve accuracy, reduce bias, reduce variance, and provide robust models in the presence of new data. The commonly observed advantage of ensemble models is that the combined model is better than the individual models that it consists of.

لذلك، ربما تتساءل الآن، ما نوع البيانات التي أحتاجها لمهام تعلم الآلة الخاصة بي؟ غالبًا ما يجب معالجة البيانات لتكون في هيكل مناسب لتحليل معين من خلال دمج برمجي. على سبيل المثال، هل يجب ترتيب بيانات البنك هذه بحيث يكون هناك عدة صفوف لكل تركيبة حساب ومنتج في شكل طويل وضيّق، أم بصف واحد لكل حساب وعدة أعمدة لكل منتج في شكل قصير وعريض؟

على سبيل المثال، يحتوي معرف الحساب 2133 على عدة صفوف في جدول طويل وضيّق. يمكن ترتيبه في شكل قصير وعريض في صف واحد، بدلاً من ذلك مع عدة أعمدة من النوع الثنائي. تتطلب طرق تعلم الآلة أن يكون هناك صف واحد لكل كيان.

غالبًا ما تُملي متطلبات العمل تجميع الحسابات من أسرة واحدة في سجل أو حالة واحدة. عادةً ما تتضمن هذه العملية إنشاء بيانات ملخصة جديدة. كيف يجب تلخيص أرقام المبيعات لعدة حسابات في أسرة واحدة؟ هل نستخدم المجموع، المتوسط، التباين، أم الثلاثة جميعًا؟

فيما يلي مثال على الدراسات المقطعية التي تُجري مقارنات في نقطة زمنية واحدة. بعد ذلك مثال على الدراسات الطولية التي تُجري مقارنات عبر الزمن. في بعض الحالات، قد يكون من الضروري تجميع البيانات الطولية في سجل واحد لكل شخص. تتبع البيانات الطولية، والتي يُشار إليها أحيانًا ببيانات اللوحة، نفس العينة في نقاط زمنية مختلفة.

على سبيل المثال، افترض أن شركة طيران ترغب في بناء نموذج تنبؤي لاستهداف المسافرين الدائمين الحاليين بعرض عضوية في نادي الركاب المهمين جدًا. هناك حاجة إلى سجل واحد لكل راكب من أجل التصنيف الخاضع للإشراف.

كيف يجب تجميع أميال الطيران إذا كان سيتم استخدامها كمؤشر على عضوية النادي؟ بالإضافة إلى التجميع، نحتاج إلى ربط عدة جداول لدمج أنواع مختلفة من البيانات. على سبيل المثال، بعد تجميع أميال الطيران كمجموع للأشهر الأربعة، يمكن ربطها مع البيانات الديموغرافية. يمكن استخدام قيمة عمود المسافر الدائم كمفتاح لمطابقة الجدولين.

كما رأيت في الأمثلة السابقة، تتطلب البيانات المستخدمة في تعلم الآلة مرحلة إعداد بيانات شاقة. إعداد البيانات هو عملية تحويل البيانات الخام إلى بيانات معدة، تُعرف عادةً بجدول الأساس التحليلي. تشير البيانات الخام إلى البيانات في شكلها الأصلي دون أي إعداد مسبق لتعلم الآلة. قد تكون هذه البيانات في شكلها الخام في بحيرة بيانات أو في شكل محول في مستودع بيانات. بالإضافة إلى ذلك، البيانات المرسلة من أنظمة البث التي تستدعي في النهاية نماذج تعلم الآلة للتنبؤات هي بيانات في شكلها الخام فقط. عادةً ما يكون جدول الأساس التحليلي جدولاً عريضًا يشير إلى مجموعة البيانات في الشكل الجاهز لمهمة تعلم الآلة الخاصة بك.

تمت معالجة مصادر البيانات وربطها ووضعها في شكل جدولي. تم تجميع البيانات وتلخيصها إلى مستوى التفاصيل المناسب. على سبيل المثال، يمثل كل صف أو عمود معرف في مجموعة البيانات عميلاً فريدًا. ويمثل كل عمود معلومات ملخصة عن العميل، مثل إجمالي الإنفاق في الشهرين الأخيرين.

في حالة مهام التعلم الخاضع للإشراف، تكون ميزة الهدف موجودة مع تاريخ الهدف، والذي يكون اختياريًا. تم حذف الأعمدة الزائدة وتصفيه السجلات غير الصالحة.

حتى عندما تصل إلى جدول البيانات التحليلية الأساسي، لم تصبح بعد مستعدًا لتطبيق نماذج التعلم الآلي. تحتاج البيانات الآن إلى معالجة مسبقة لتحقيق متطلبات معينة للنمذجة بهدف إنتاج جدول تطوير النموذج. يشير جدول تطوير النموذج إلى مجموعة البيانات التي تحتوي على البيانات المعدلة والسمات المضبوطة كما يتوقعها النموذج. تعديل البيانات هو فئة واسعة من المعالجة المسبقة. أي عملية تغير البيانات أو أدوار البيانات يمكن اعتبارها تعديلاً.

هندسة الميزات هي فئة واسعة أخرى من المعالجة المسبقة، حيث تقوم بإجراء عمليات معينة خاصة بالتعلم الآلي على الأعمدة في مجموعة البيانات المُحضرة وتُنشئ ميزات جديدة لنموذجك أثناء التدريب والتنبؤ. من أمثلة المعالجة المسبقة للبيانات: تصفية الحالات، استبدال القيم، البتر، تحويل الأعمدة الرقمية إلى قيم بين 0 و1، تقليم القيم، وترميز الميزات الفئوية بطريقة الترميز الواحد الساخن.

سيتم مناقشة المعالجة المسبقة للبيانات بالتفصيل في القسم التالي.

Question

Which of the following statements is True regarding machine learning data? (Select all that apply)

Correct.
Raw table refers to the data in its source form. Analytical base table is usually a wide table that refers to the data set in the form ready for your machine learning task. The data now need to be preprocessed for achieving certain modeling requirements to yield a model development table. Machine learning data is generally dirty and thus involves grueling preparation and processing phases.

Incorrect.
The correct answer is a, b, and c. Raw table refers to the data in its source form. Analytical base table is usually a wide table that refers to the data set in the form ready for your machine learning task. The data now need to be preprocessed for achieving certain modeling requirements to yield a model development table. Machine learning data is generally dirty and thus involves grueling preparation and processing phases.

تترجم فوائد التعلم الآلي إلى تطبيقات مبتكرة يمكن أن تحسن الطريقة التي تُنجز بها العمليات والمهام.

ومع ذلك، وعلى الرغم من فوائده العديدة، لا تزال هناك مخاطر وتحديات. فيما يلي بعض التحديات التي نواجهها في التنقيب عن البيانات والتعلم الآلي. الأربعة الأولى، وهي تصور البيانات عالية الأبعاد، معالجة البيانات المشوشة، التعامل مع عدد كبير من المتغيرات، والتعامل مع التباين والمدخلات المختلفة، ترتبط أساساً ببيانات التعلم الآلي وسيتم مناقشتها في هذا الجزء من الدرس.

أما الأربعة المتبقية، وهي استخدام البيانات المتاحة بشكل اقتصادي، معالجة مرونة وتعقيد النماذج، إيجاد أفضل قيم للمعاملات وجعل النماذج قابلة للتفسير، فهي تتعلق بالنمذجة الأساسية وسيتم مناقشتها في القسم التالي من الدرس.

لنبدأ مناقشتنا حول صعوبات البيانات بتصور البيانات الضخمة.

الصورة تساوي ألف كلمة، خاصة عندما تحاول فهم بياناتك واكتشاف الرؤى منها. من الأسهل بكثير فهم المعلومات بصريًا مقارنةً بجدول كبير يحتوي على العديد من الصفوف والأعمدة. يمكنك اختيار التصور الأنسب من خلال فهم البيانات وتركيبتها، وما هي المعلومات التي تحاول إيصالها لجمهورك، وكيفية معالجة المشاهدين للمعلومات البصرية.

تحتاج إلى تصورات بيانية فعالة أثناء استكشاف البيانات قبل ملاءمة النماذج.

وتحتاج أيضًا إلى تصورات بيانية فعالة لتشخيص النماذج بعد ملاءمتها. يمكن أن يكون تصور بياناتك ممتعًا وتحديًا في الوقت نفسه.

تجلب البيانات الضخمة تحديات جديدة للتصور بسبب سرعة وحجم وتنوع البيانات التي يجب أخذها في الاعتبار.

لإنشاء تصورات ذات مغزى لبياناتك، فكر في السؤال التالي.

هل لديك الكثير من الملاحظات أو الصفوف؟ هل لديك الكثير من المتغيرات أو الأعمدة؟ هل تحتوي متغيراتك على الكثير من القيم الفريدة؟

وجود الكثير من الملاحظات، أو الكثير من المتغيرات، أو الكثير من القيم الفريدة في متغير ما يمثل تحديًا للتصور.

الدراسات الكبيرة تكون عمومًا أكثر موثوقية من الدراسات الصغيرة، وهناك اهتمام متزايد بتحليل أحجام سكانية ضخمة تدمج معلومات من ملايين الحالات أو مصادر بيانات مختلفة، أو كليهما. يشير بُعد بياناتك إلى عدد المتغيرات المدخلة.

إذا كان لديك الكثير من المتغيرات، فإننا نسمي ذلك ارتفاع الأبعاد. الكاردينالية هي مدى تفرد القيم الموجودة في عمود معين.

الكاردينالية العالية تعني وجود نسبة كبيرة من القيم الفريدة، مثل أرقام الحسابات البنكية، لأن كل عنصر يجب أن يكون فريدًا.

الكاردينالية المنخفضة تعني أن عمود البيانات يحتوي على نسبة كبيرة من القيم المتكررة، مثل عمود الجنس.

يلعب حجم السكان، والأبعاد، وتركيب الكاردينالية دورًا مهمًا عند اختيار الرسوم البيانية لتمثيل بياناتك.

يقدم تحليل البيانات عالية الأبعاد تحديًا كبيرًا لأن الحدس البشري حول هندسة الأبعاد العالية يفشل. واحدة من أكبر التحديات في تصور البيانات هي إيجاد تمثيلات عامة للبيانات يمكنها عرض الهيكل متعدد المتغيرات لأكثر من متغيرين.

التصورات المناسبة تكون مفيدة بشكل خاص عندما تحاول إيجاد علاقات بين مئات أو آلاف المتغيرات لتحديد أهميتها النسبية، أو ما إذا كانت مهمة على الإطلاق.

السكان الضخمون للغاية للتصور يشكلون خطر بطء التنفيذ. قد تكون التصورات فوضوية ومزدحمة بعدد لا يحصى من الملاحظات. على سبيل المثال، ماذا لو كان لديك مليارات الصفوف في مجموعة بيانات وتريد إنشاء مخطط مبعثر على مقياسين؟ سيكون من المستحيل رؤية هذا العدد الكبير من نقاط البيانات، وقد لا تتمكن الأداة التي تنشئ التصور من رسم مليارات النقاط بطريقة فعالة أو في الوقت المناسب.

في مثل هذا السيناريو، ربما يمكنك استكشاف البيانات على عينة قابلة للعمل أو استخدام التجميع – أي تجميع البيانات – على كلا المحورين حتى تتمكن من تصور البيانات الضخمة بشكل فعال. عند العمل مع كميات كبيرة من البيانات، فإن القدرة على تصفية بياناتك بسرعة وسهولة أمر مهم. ماذا لو كنت تريد عرض بياناتك لمنطقة معينة فقط، أو خط إنتاج معين، أو متغير آخر؟

هناك مصدر قلق آخر مع البيانات الضخمة وهو الكاردينالية، لأن البيانات قد تحتوي على العديد من القيم الفريدة لكل عمود. إذا كان هناك الكثير من الأعمدة في مخططك الشريطي، فلن تتمكن من رؤية تسميات كل شريط ويصبح الرسم البياني أقل معنى.

قد تكون التصورات الناتجة مزدحمة وفوضوية للغاية. إذا كنت تعمل مع بيانات ذات كاردينالية عالية، فإن أحد التحديات هو عرض النتائج بطريقة لا تكون مربكة. قد تحتاج إلى دمج وتكثيف البيانات مع الاستمرار في تقديم الرسوم البيانية والمخططات التي اعتاد صناع القرار رؤيتها.

عند تحليل العلاقات بين العديد من المتغيرات الرقمية، يمكن أن تكشف المخططات النقطية ومعاملات الارتباط بسرعة عن أنماط في مجموعة فرعية من العلاقات المثيرة للاهتمام. لنفترض أنك تريد دراسة العلاقة بين تسعة متغيرات مستمرة. بالطبع، سيكون الخيار الأول هو إنشاء مصفوفة مخططات نقطية تعرض كل زوج ممكن من المقاييس المخصصة للتصور. ومع ذلك، مع زيادة عدد المتغيرات والمشاهدات، يمكن أن يصبح المخطط أكثر ازدحامًا. أيضًا، في سيناريو البيانات الضخمة، قد تستغرق الأدوات أو الخوارزميات التقليدية وقتًا طويلاً لإرجاع النتائج.

بالنظر إلى هذا المخطط النقطي، هل يمكنك تحديد قوة الارتباط بين أزواج المتغيرات؟ هل هناك طريقة فعالة لتحليل العلاقات بين هذه المتغيرات المستمرة مع مراعاة حجم البيانات وسهولة التفسير؟ نعم. هناك أدوات وتقنيات جديدة ومتطورة يمكنها معالجة التحديات المرتبطة بتصور البيانات الضخمة. المخرجات المعروضة هنا من برنامج SAS Visual Analytics الذي يستخدم الرسم البياني الذكي التلقائي لمساعدة محللي الأعمال والمستخدمين غير التقنيين على تصور بياناتهم بسهولة. لذا، بدلاً من استخدام مصفوفة المخططات النقطية التقليدية، يمكنك استخدام مخطط مصفوفة الارتباط، الذي يسهل تقييم العلاقات بين عدد كبير من المتغيرات بسرعة. كما أنه يوضح مدى قوة العلاقة بين المتغيرات.

تحدد مصفوفة الارتباط الملونة بسرعة العلاقات القوية والضعيفة بين المتغيرات. تشير المربعات الداكنة إلى وجود ارتباط قوي، وتشير المربعات الفاتحة إلى وجود ارتباط ضعيف. أيضًا، إذا قمت بتمرير مؤشر الفأرة فوق أحد المربعات، يتم عرض ملخص للعلاقة. لذلك حتى إذا كان لديك أكثر من تسعة متغيرات، يظل هذا المخطط ذا صلة. ومع ذلك، قد لا تكون مصفوفة المخططات النقطية كافية لإظهار العديد من أزواج العلاقات. فكر في سيناريو آخر حيث تريد استكشاف العلاقة بين ثلاثة متغيرات رقمية ومتغير تصنيفي. أول تقنية تصور قد تفكر فيها هي المخطط النقطي ثلاثي الأبعاد، الذي يمكن استخدامه لإظهار العلاقة بين ثلاثة متغيرات رقمية. يمكن إضافة متغير رابع من خلال مطابقة لون العلامات، كما هو موضح في هذا المخطط حيث نحاول فهم العلاقة بين منطقة الدخل الوسيط، ومنطقة قيمة المنزل الوسيط، والعمر، والجنس. ومن البديهي أن المخطط ثلاثي الأبعاد أكثر تحديًا في التفسير من المخطط ثنائي الأبعاد. أيضًا، إذا كنت بحاجة إلى إضافة المزيد من المتغيرات في هذا الاستكشاف، فلن يسمح لك المخطط النقطي ثلاثي الأبعاد بذلك.

في البيانات الضخمة، غالبًا ما تواجه مواقف تحتاج فيها إلى استكشاف العلاقات بين العديد من المتغيرات، لنقل أكثر من ثلاثة.

والخبر السار هو أن هناك تقنيات تصور فعالة لتحليل البيانات العددية متعددة المتغيرات. إحدى هذه التقنيات هي مخطط الإحداثيات المتوازية، كما هو موضح في هذا المثال. يعرض مخطط الإحداثيات المتوازية البيانات على شكل خطوط تمر عبر الفئات وتنحني عند المقاييس. يتم ترميز هذه الخطوط بالألوان وغالبًا ما تُسمى بالخطوط المتعددة. يشير سمك الخط المتعدد إلى العدد النسبي للمشاهدات في ذلك الانحناء. يمكنك تقييد الخطوط النشطة على انحناء واحد أو أكثر للتركيز فقط على البيانات التي تهمك، مما يعني أن المستخدم يمكنه التفاعل مع المخطط. يتيح لك مخطط الإحداثيات المتوازية مقارنة العديد من المتغيرات الكمية معًا، والبحث عن الأنماط والعلاقات بينها. وهي مناسبة للمقارنة المتزامنة بين عدة متغيرات رقمية عندما تكون لهذه المتغيرات مقادير أو مقاييس أو وحدات قياس مختلفة. الفكرة هي العثور على أنماط، أو تشابهات، أو تجمعات، أو علاقات إيجابية أو سلبية أو عدم وجود علاقة معينة في مجموعات البيانات متعددة الأبعاد.

والأهم من ذلك، يمكنك استكشاف العلاقة بين عدة متغيرات أثناء استخدام مخطط ثنائي الأبعاد.

TopicTitle

Let's see how a user can interact with a parallel coordinate plot and extract desired insights. To view the polylines for a single group only, you select that group on the far left. Notice that the polylines for all other groups are dimmed. Users have the flexibility of selecting multiple groups. This enables you to focus on the group of interest and find relationship among variables.

(See Text Version for Image)

Furthermore, you can adjust the range of a quantitative variable to see how those values are distributed among other variables. In this example, you see the distribution of income and home value variables for a specific age group of individuals (say 70-87 years in this case) across the levels of gender variable. You can repeat this step for multiple variables.

(See Text Version for Image)

Question

Which of these terms describes a situation with lots of unique values in a variable?

Correct.
When you have lots of unique values in a variable, it is typically termed as high cardinality. Huge population is a situation with lots of observations. High dimensionality is a situation with lots of variables. Low variability means that the values are more consistent.

Incorrect.
The correct answer is c. When you have lots of unique values in a variable, it is typically termed as high cardinality. Huge population is a situation with lots of observations. High dimensionality is a situation with lots of variables. Low variability means that the values are more consistent.

أخطاء تشفير البيانات، القيم المفقودة، والقيم الشاذة توجد عادة في البيانات المشوشة.

يظهر هنا مثال بسيط على البيانات غير النظيفة من مجال البنوك.

تم إدراج تسميات المتغيرات لسهولة الفهم. ستحتاج إليها في الأنشطة الطلابية القادمة. عدم التدقيق الكافي في البيانات هو خطأ شائع. يجب اكتشاف الأخطاء والقيم الشاذة والقيم المفقودة، والتحقق منها، وتصحيحها إذا أمكن ذلك. أدوات التدقيق الأساسية للبيانات هي القوائم الخام، ودوال التقسيم الشرطي (if then)، والرسوم الاستكشافية، والإحصاءات الوصفية مثل تكرار القيم وأقل وأعلى القيم.

Question

What do you see in the data below that looks wrong or even just out of place? There really are no wrong answers here. No matter how trivial, what should be investigated?

Banking Information
	C1	C2	C3	C4	C5	C6	C7
	cking	#cking	ADB	NSF	dirdep	SVG	bal
R1	Y	1	468.11	1	1876	Y	1208
R2	Y	1	68.75	0	0	Y	0
R3	Y	1	212.04	0	6		0
R4		.	.	0	0	Y	4301
R5	y	2	585.05	0	7218	Y	234
R6	Y	1	47.69	2	1256		238
R7		1	4687.7	0	0		0
R8	Y	.	.	1	0	Y	1208
R9		.	.	.	1598		0
R10		1	0.00	0	0		0
R11	Y	3	89981.12	0	0	Y	45662
R12	Y	2	585.05	0	7218	Y	234

Possible Answer 1: There is a lowercase y in column 1 [R5C1] versus all the uppercase Ys.

	C1	C2	C3	C4	C5	C6	C7
	cking	#cking	ADB	NSF	dirdep	SVG	bal
R1	Y	1	468.11	1	1876	Y	1208
R2	Y	1	68.75	0	0	Y	0
R3	Y	1	212.04	0	6		0
R4		.	.	0	0	Y	4301
R5	y	2	585.05	0	7218	Y	234
R6	Y	1	47.69	2	1256		238
R7		1	4687.7	0	0		0
R8	Y	.	.	1	0	Y	1208
R9		.	.	.	1598		0
R10		1	0.00	0	0		0
R11	Y	3	89981.12	0	0	Y	45662
R12	Y	2	585.05	0	7218	Y	234

Possible Answer 2: In the sixth row, values in C3-C7 are not in line with the others.

	C1	C2	C3	C4	C5	C6	C7
	cking	#cking	ADB	NSF	dirdep	SVG	bal
R1	Y	1	468.11	1	1876	Y	1208
R2	Y	1	68.75	0	0	Y	0
R3	Y	1	212.04	0	6		0
R4		.	.	0	0	Y	4301
R5	y	2	585.05	0	7218	Y	234
R6	Y	1	47.69	2	1256		238
R7		1	4687.7	0	0		0
R8	Y	.	.	1	0	Y	1208
R9		.	.	.	1598		0
R10		1	0.00	0	0		0
R11	Y	3	89981.12	0	0	Y	45662
R12	Y	2	585.05	0	7218	Y	234

Possible Answer 3: For the SVG column, a row is blank [R6C6] when its corresponding bal column has a nonzero number.

	C1	C2	C3	C4	C5	C6	C7
	cking	#cking	ADB	NSF	dirdep	SVG	bal
R1	Y	1	468.11	1	1876	Y	1208
R2	Y	1	68.75	0	0	Y	0
R3	Y	1	212.04	0	6		0
R4		.	.	0	0	Y	4301
R5	y	2	585.05	0	7218	Y	234
R6	Y	1	47.69	2	1256		238
R7		1	4687.7	0	0		0
R8	Y	.	.	1	0	Y	1208
R9		.	.	.	1598		0
R10		1	0.00	0	0		0
R11	Y	3	89981.12	0	0	Y	45662
R12	Y	2	585.05	0	7218	Y	234

Possible Answer 4: Rows 5 and 12 are the same except for the lowercase y in R5C1. Are these the same observation where someone corrected the y but forgot to remove the original row?

	C1	C2	C3	C4	C5	C6	C7
	cking	#cking	ADB	NSF	dirdep	SVG	bal
R1	Y	1	468.11	1	1876	Y	1208
R2	Y	1	68.75	0	0	Y	0
R3	Y	1	212.04	0	6		0
R4		.	.	0	0	Y	4301
R5	y	2	585.05	0	7218	Y	234
R6	Y	1	47.69	2	1256		238
R7		1	4687.7	0	0		0
R8	Y	.	.	1	0	Y	1208
R9		.	.	.	1598		0
R10		1	0.00	0	0		0
R11	Y	3	89981.12	0	0	Y	45662
R12	Y	2	585.05	0	7218	Y	234

Possible Answer 5: What does a 2 in the NSF column [R6C4] mean? Is NSF (non-sufficient funds) binary?

	C1	C2	C3	C4	C5	C6	C7
	cking	#cking	ADB	NSF	dirdep	SVG	bal
R1	Y	1	468.11	1	1876	Y	1208
R2	Y	1	68.75	0	0	Y	0
R3	Y	1	212.04	0	6		0
R4		.	.	0	0	Y	4301
R5	y	2	585.05	0	7218	Y	234
R6	Y	1	47.69	2	1256		238
R7		1	4687.7	0	0		0
R8	Y	.	.	1	0	Y	1208
R9		.	.	.	1598		0
R10		1	0.00	0	0		0
R11	Y	3	89981.12	0	0	Y	45662
R12	Y	2	585.05	0	7218	Y	234

يتطلب اكتشاف مثل هذه الأخطاء كالقيم المستحيلة، أو التركيبات المستحيلة للقيم، أو الترميز غير المتسق، أو أخطاء الترميز، أو السجلات المكررة، الإصرار والإبداع والمعرفة بالمجال. لقد شاهدت بالفعل معظم هذه الأخطاء في النشاط السابق.

في وقت سابق، لاحظت أن المتغير demographicMedianIncome كان لديه ارتفاع غير معتاد عند الصفر. من المرجح أن السبب هو استخدام الصفر كبديل للقيمة المفقودة أو غير المعروفة. من الواضح أن وجود دخل صفر يختلف كثيرًا عن وجود دخل غير معروف.

في هذا العرض التوضيحي، ستستخدم أداة float في SAS Studio لاستبدال قيمة الصفر المستخدمة كمؤشر للقيم المفقودة بمؤشر حقيقي للقيمة المفقودة.

لنبدأ تدفقًا جديدًا بالنقر على علامة الجمع بجوار أي علامة تبويب مفتوحة واختيار "تدفق".

سنضيف عقدة جدول لمجموعة بيانات متبرعي PVA. لذا قم بتوسيع قسم إدخال البيانات وإخراجها ثم انقر نقرًا مزدوجًا على "جدول". بعد ذلك، انقر على عقدة الجدول. وفي خصائص الجدول، انتقل إلى أيقونة خزانة الملفات. انقر عليها واختر VST ثم متبرعي PVA. انقر موافق.

بعد ذلك، قم بتوسيع مجموعة تحويل البيانات.

مرر للأسفل، ونريد اختيار "إعادة ترميز القيم". انقر نقرًا مزدوجًا عليها، ثم قم بتوصيل متبرعي PVA إلى "إعادة ترميز القيم".

سنقوم بإعادة ترميز القيم الصفرية كقيم مفقودة. ثم نريد حفظ هذه القيم المعاد ترميزها في مجموعة بيانات جديدة. للقيام بذلك، نحتاج إلى النقر بزر الماوس الأيمن على "إعادة ترميز القيم".

وإضافة منفذ إخراج. هذا سيسمح لنا بتوصيل هذه العقدة في التدفق بجدول إخراج.

الآن دعنا نضيف جدول الإخراج هذا بالنقر المزدوج على خطوة الجدول. ولنقم بتوصيل "إعادة ترميز القيم" بهذا الجدول.

سنسمي هذا الجدول missing underscore PVA. انقر على "جدول".

ثم انقر على خزانة الملفات تحت "المكتبة".

اختر مكتبة VST.

ثم اكتب missing underscore PVA.

واختر موافق.

بعد ذلك، انقر على عقدة "إعادة ترميز القيم".

تأكد من تحديد علامة تبويب البيانات وأننا نرى تحت "إعادة الترميز" أن المتغير الرقمي قد تم اختياره.

بجوار "المتغير المراد إعادة ترميزه"، انقر على علامة الجمع. وسنختار "الدخل الوسيط الديموغرافي".

انقر على "الدخل الوسيط الديموغرافي" واختر موافق.

ثم انتقل إلى علامة تبويب القيم.

تحت "إعادة ترميز القيم"، أدخل 0 كقيمة قديمة.

وللقيمة الجديدة، ضع نقطة واحدة فقط، وهي مؤشر القيمة المفقودة في SAS للمتغيرات الرقمية. الآن انقر على علامة تبويب الإخراج.

سنقوم باستبدال قيم الدخل الوسيط الديموغرافي. ونحتاج إلى اسم لهذه القيم المعاد ترميزها.

لذا دعنا نسميها rep underscore dem mead income للدخل الوسيط الديموغرافي المستبدل.

تأكد من تحديد خيار "الكتابة إلى مجموعة بيانات أخرى". وقد قمنا بالفعل بتوصيل هذا التدفق بـ missing PVA. لذا سيتم كتابة القيم الجديدة هناك.

أيضًا اترك المربع المحدد الذي يقول "استبدال جدول الإخراج الحالي". دعنا نحفظ هذا التدفق في مجلد VST.

سنسمي هذا التدفق "معالجة البيانات المسبقة".

تابع وقم بتشغيل التدفق.

انقر على "الكود المقدم والنتائج".

الآن لا توجد نتائج، لذا سننقر على علامة تبويب بيانات الإخراج.

مرر إلى اليمين للعثور على المتغير الذي تم إنشاؤه حديثًا.

يمكننا أن نرى أنه عندما كان الدخل الوسيط الديموغرافي بقيمة صفر، أصبح لهذا المتغير الجديد، الدخل الوسيط الديموغرافي المستبدل، نقطة، وهي مؤشر القيمة المفقودة.

لذا قمنا بإعادة ترميز القيم الإشكالية إلى مفقودة. لم ننته بعد. سنحتاج إلى استبدال تلك القيم المفقودة بقيمة بديلة معقولة. لذلك سنقوم بتقدير القيم المفقودة في العرض التوضيحي التالي.

Question

Are there any missing values?

Banking Information
	C1	C2	C3	C4	C5	C6	C7
	cking	#cking	ADB	NSF	dirdep	SVG	bal
R1	Y	1	468.11	1	1876	Y	1208
R2	Y	1	68.75	0	0	Y	0
R3	Y	1	212.04	0	6		0
R4		.	.	0	0	Y	4301
R5	y	2	585.05	0	7218	Y	234
R6	Y	1	47.69	2	1256		238
R7		1	4687.7	0	0		0
R8	Y	.	.	1	0	Y	1208
R9		.	.	.	1598		0
R10		1	0.00	0	0		0
R11	Y	3	89981.12	0	0	Y	45662
R12	Y	2	585.05	0	7218	Y	234

تقريباً جميع البيانات في العالم الحقيقي تحتوي على قيم مفقودة، والتعامل مع القيم المفقودة أو الملاحظات غير المكتملة أمر بالغ الأهمية في أي تحليل للتنقيب عن البيانات أو تعلم الآلة. يُعرَّف مصطلح البيانات المفقودة هنا كمشكلة إحصائية تتميز بمصفوفة بيانات غير مكتملة حيث توجد متغيرات واحدة أو متعددة تفتقد بعض الملاحظات لهذه المتغيرات. من المهم أن نفهم ما هي مشاكل البيانات المفقودة، وكيفية التعامل مع القيم المفقودة، وما هي أنواع الفقدان، ولماذا بياناتك مفقودة؟ يمكنك تعلم النقطتين الأخيرتين في قسم الدراسة الذاتية من هذا الدرس.

Question

(See Text Version for Image)

Depending on whether the probability of missing depend on data, there could be different mechanisms or distribution patterns of missing data. Missing data can be classified in three types: MCAR, MAR, and MNAR.

Missing completely at random (MCAR)
Missing at random (MAR)
Missing not at random (MNAR)

Finding out which category the missing values fall into can significantly narrow the set of solutions that you can apply. There are big differences between each missingness type, and blindly implementing a random solution might impact the next stages of your analytic workflow.

(See Text Version for Image)

Missing completely at random (MCAR) indicates that the missingness is unrelated to any of the variables in the analysis. This means that neither the values that are missing nor the other variables associated with those observations are related to the missingness. Missing data are almost never missing completely randomly. Here a line represents the relationship between two variables. Under MCAR, missingness is not related to X or to Y (Schafer and Graham 2002).

As an example, consider a simple case of two input variables X and Y plotted on a scatter plot. The variable Y plotted on the Y axis, has some values missing. Missingness is represented by a binary variable that captures whether data are missing for the Y variable. Here missing values are represented by blue rings and nonmissing values are represented by orange dots. The other input variable X is observed completely and plotted on the X axis. Therefore, blue rings and orange dots jointly represent the X values (Nakagawa and Freckleton 2008).

As you can see, there is no significant difference between the distributions of observed and missing values. Blue rings and orange dots are spread in the same way. In this case, even if you ignore the observations that have missing values, it should not produce a biased model.

(See Text Version for Image)

Data can also be missing at random (MAR), where the missing variable value is random and unrelated to the missingness, but the missingness is related to the other variables in the analysis. Under MAR, missingness is related to X (that is, one can predict whether Y is missing based on observed values of X), but missingness is not related to Y after X is controlled. Each line represents the relationship between two variables (Schafer and Graham 2002).

In a scatter plot, the blue rings (that is, the missing values in the Y-variable) are located more often on the left side of the plot. That means missingness depend on the X variable. When X is less than a certain value Y, values are missing, or else they are nonmissing (Nakagawa and Freckleton, 2008).

(See Text Version for Image)

In some cases, the data is missing not at random (MNAR) and the missingness could provide information that is useful to prediction. MNAR data is non-ignorable and must be addressed or your model will be biased. Under MNAR, missingness is related to Y itself (that is, related to the missing values of Y), even after X is controlled (Schafer and Graham 2002).

In a scatter plot, missing data in the Y variable (missingness) depend on the Y variable itself. When Y is less than a certain value, its values are missing, or else they are nonmissing (Nakagawa and Freckleton 2008).

Let us continue with the previous example of a scatter plot and extend this to a bivariate regression. Let us discuss missing data bias and error problems for the three missingness mechanisms (Nakagawa and Freckleton 2008).

Use the following questions to test your understanding of the information above.

Questions

There was a survey sent out in the mail asking participants about their physical activity levels. Some of the surveys from a certain region were lost in the mail. In this case, which do you consider the missing data to be?

missing completely at random (MCAR)
missing at random (MAR)
missing not at random (MNAR)
none of the above

If a survey asks a sensitive question about a person's weight, a higher proportion of people with a heavier weight might withhold that information. Which of the following statements are true?(More than one statement can be true.)

This will not create any bias within the missing data.
Heavy is always light.
One possible solution is to check whether missingness has a relationship with heavy weights.
This could be the case of missing not at random (MNAR).

المشكلتان الرئيسيتان الناتجتان عن فقدان البيانات هما تحيز المعامل وخطأ الاستدلال. يشير التحيز إلى الزيادة أو النقصان المنهجي في تقدير أحد المعاملات، مثل متوسط أو ارتباط أو معامل انحدار تم تقديره بأقل من قيمته الحقيقية. يحدث تحيز البيانات المفقودة عادةً عندما يكون سبب الفقدان منهجيًا أو غير عشوائي، أي تحت فرضية البيانات المفقودة بشكل معتمد على الملاحظة أو غير معتمد على الملاحظة. أما الخطأ فيشير إلى خطأ التنبؤ أو أخطاء اختبار الفرضيات في الاستدلال، مثل الخطأ من النوع الأول، والذي يُسمى أيضًا الإيجابي الكاذب، والخطأ من النوع الثاني، أو انخفاض القوة الإحصائية، والذي يُسمى أيضًا السلبي الكاذب.

Question

Let's continue with the previous example of scatter plot and extend this to a bivariate regression. Let's discuss missing data bias and error problems for the three missingness mechanisms (Nakagawa and Freckleton, 2008).

(See Text Version for Image)

In MCAR, the slope is unbiased and the expected R² is the same as for the original data.
In MAR, the expected slope is unbiased as missingness depends on X, with the result that covariance between X and Y is reduced by the same amount as the reduction in standard deviation of X. However, the R² would be reduced.
In MNAR, the slope is biased as missingness is determined by Y and R² is reduced.

Question

It is often impossible in practice to determine whether data are MNAR, because doing so would require comparing observed Y values to missing Y values, and you do not have access to the missing Y values.

True
False

TopicTitle

Missing values arise for a variety of reasons.

One might be due to no match on merge. In business data, we're often merging tables together. Well, if we've got a customer that exists in one data table, but she does not exist in the other data table, when we merge the data together, that customer is going to have missing information about some of the variables.

Another reason we might encounter missingness is non-disclosed measurement. Some information like age, income, and net wealth, people don't want to self-report that information. So, if we're expecting customers to provide that information for us and they don't, again, we're going to have missing values.

And another reason we might encounter missingness is due to something that doesn't apply. This is referred to as a non-applicable measurement. For example, asking "Have you ever been pregnant?" to a male patient or asking "Is this your first VIP purchase?" to a customer who is not enrolled in the VIP program.

Question

How missing values in a numeric variable are represented in SAS?

Correct.
In SAS, numeric missing values are represented by a period (.), whereas character missing values are represented by a blank (' ').

Incorrect.
The correct answer is b. In SAS, numeric missing values are represented by a period (.), whereas character missing values are represented by a blank (' ').

هناك ثلاث استراتيجيات تحليلية رئيسية للتعامل مع القيم المفقودة.

أبسط استراتيجية هي عدم القيام بأي شيء عند مواجهة القيم المفقودة. ومع ذلك، يمكن أن تكون القيم المفقودة مشكلة نظرية وعملية للعديد من نماذج التعلم الآلي مثل الشبكات العصبية أو الانحدار أو SVM. سيؤدي ذلك إلى استخدام الحالات التي تحتوي على سجلات كاملة فقط في التحليل، والمعروفة عادةً بتحليل الحالات الكاملة. الصعوبة الرئيسية في هذه الاستراتيجية هي عملية.

حتى الكمية الصغيرة من القيم المفقودة في مجموعة بيانات عالية الأبعاد يمكن أن تسبب انخفاضًا كارثيًا في البيانات. على سبيل المثال، فقط 13 من أصل 144 قيمة، أي 9% مفقودة، لكن تحليل الحالات الكاملة سيستخدم أربع حالات فقط، أي ثلث مجموعة البيانات فقط. إذا كان هناك عدد قليل جدًا من الحالات ذات القيم المفقودة، فهذا خيار قابل للتطبيق. هناك مشكلة أخرى تتعلق بنشر النموذج.

كيف يمكن لنموذج تم بناؤه على الحالات الكاملة أن يقيم حالة جديدة إذا كان لديها قيمة مفقودة؟ إذا كان هناك فقدان في بيانات التدريب الخاصة بك، فمن المحتمل جدًا أن تحتوي بيانات التقييم أو البيانات الجديدة أيضًا، ويفضل أن يكون ذلك من نفس نوع الفقدان ولكن بكمية محدودة. وبالتالي، فإن قابلية التقييم غير فعالة. قد يؤدي رفض جميع الملاحظات غير المكتملة أيضًا إلى تحيز العينة لأن الملاحظات التي تحتوي على قيم مفقودة قد يكون لديها أشياء أخرى مشتركة أيضًا. على سبيل المثال، إذا كان الفقدان مرتبطًا بالمدخلات أو بالهدف، فإن تجاهل القيم المفقودة يمكن أن يؤدي إلى تحيز النتائج. عادةً ما يؤدي حذف المصطلح المفقود من المعادلة البارامترية إلى إنتاج توقع متحيز للغاية. ومع ذلك، يمكن لبعض نماذج التعلم الآلي الأخرى، مثل شجرة القرار والغابة والتعزيز التدريجي، استخدام القيم المفقودة لصالحها. على سبيل المثال، يمكن التعامل مع القيم المفقودة كقيم شرعية أثناء تدريب هذه النماذج. لذا، فإن الفقدان ليس دائمًا أمرًا محرجًا. العلاج الأساسي للقيم المفقودة في معظم نماذج التعلم الآلي هو استراتيجية استبدال القيم المفقودة المعروفة بالتعويض. املأ القيم المفقودة بقيمة معقولة ثم قم بإجراء التحليل على البيانات المكتملة. التعويض هو جانب مهم من معالجة البيانات المسبقة وله القدرة على إنجاح أو إفشال نموذجك. الهدف من التعويض هو استبدال القيم المفقودة بقيم قريبة مما كان يمكن أن تكون عليه القيمة المفقودة. إذا نجحت، سيكون لديك المزيد من البيانات التي يمكن للنموذج التعلم منها. ومع ذلك، قد تُدخل تحيزًا خطيرًا وتجعل التعلم أكثر صعوبة. الخلاصة هي أن ما إذا كان يجب عليك استخدام التعويض للقيم المفقودة يعتمد كليًا على بياناتك وما تمثله القيمة المفقودة. كن دقيقًا. تقع استراتيجيات استبدال القيم المفقودة في واحدة من ثلاث فئات: التعويض بقيمة ثابتة، التعويض بقيمة مخصصة، والتعويض العنقودي.

أبسط أنواع طرق التعويض تملأ القيم المفقودة بقيمة ثابتة. على سبيل المثال، يمكنك تعويض القيم المفقودة في استبيان بفئة "لم يتم الإجابة". أي، استخدم نهجًا موحدًا للتعامل مع القيم المفقودة. التعويض بقيمة ثابتة هو طريقة عامة تعمل مع جميع أنواع البيانات ويتكون من استبدال القيمة المفقودة بقيمة ثابتة. كمثال، ضع في اعتبارك المتغير في العمود الأول. من بين 12 قيمة، هناك قيمتان مفقودتان. عند أخذ متغير واحد في كل مرة، هناك 10 ملاحظات كاملة. أبسط أنواع طرق التعويض تملأ القيم المفقودة بمتوسط الحالات الكاملة. وبالتالي، يتم استبدال القيمتين المفقودتين بالمتوسط الحسابي المحسوب على هذه الملاحظات العشر. في أي حالة، مع قياس مدخل مفقود، يتم استبدال القيمة المفقودة برقم ثابت. ونتيجة لذلك، سيزداد الكتلة النقطية عند الرقم الثابت المختار في التوزيع الاصطناعي. لذا، فإن اختيار القيمة الثابتة ليس عشوائيًا. من الناحية المثالية، يجب اختيارها لتقليل تأثيرها على حجم ارتباط المدخل بالهدف. مع العديد من طرق النمذجة، يمكن تحقيق ذلك من خلال وضع الكتلة النقطية عند متوسط قيمة المدخل. إذا قررت أن التعويض قد يكون مفيدًا لبياناتك، فهناك عدة خيارات للاختيار من بينها. لن ندخل في تفاصيل أنواع التعويض المتاحة لأن النوع الذي ستستخدمه يعتمد بشكل كبير على بياناتك وأهدافك. الأمثلة المدرجة هنا تعطيك لمحة عن الإمكانيات. يمكن التعامل مع القيم المفقودة للمتغيرات الفئوية كفئة منفصلة.

على سبيل المثال، قد يتم ترميز نوع السكن كالتالي: منزل خاص، شراء منزل، استئجار منزل، استئجار شقة، العيش مع الوالدين، منزل متنقل، وغير معروف. ستكون هذه الطريقة مفضلة إذا كان الفقدان نفسه مؤشرًا على الهدف.

Question

Age and Income are two variables that have missing values. You can use either mean or median imputation, but each only once. Variable distributions are given below. Which one you would use and why?

(See Text Version for Image)

Question

If in the stock exchange a minimum price has been reached and the exchange process has been stopped, the missing stock exchange price can be replaced with which of the following?

Correct.
If you know that the data must fit a given range, and if the measuring system stops recording and the signal saturates beyond one of such boundaries, you can use either minimum or maximum as the replacement value for missing values. The missing stock exchange price can be replaced with the minimum value of the law's exchange boundary.

Incorrect.
The correct answer is c. If you know that the data must fit a given range, and if the measuring system stops recording and the signal saturates beyond one of such boundaries, you can use either minimum or maximum as the replacement value for missing values. The missing stock exchange price can be replaced with the minimum value of the law's exchange boundary.

يمكن تحسين تعويض القيم المفقودة بالمتوسط من خلال استخدام المتوسط داخل مجموعات متجانسة من البيانات.

تعويض المتوسط العنقودي هو بديل عملي إلى حد ما، وهو عملية من ثلاث خطوات. الخطوة الأولى، تجميع الحالات في مجموعات متجانسة نسبياً. الخطوة الثانية، إجراء تعويض المتوسط داخل كل مجموعة. الخطوة الثالثة، للحالات الجديدة التي تحتوي على قيم مفقودة متعددة، يتم استخدام متوسط المجموعة الأقرب في جميع الأبعاد غير المفقودة. يمكن لهذه الطريقة استيعاب الفقدان الذي يعتمد على المتغيرات المدخلة الأخرى.

يتم تعويض قيم مختلفة لمجموعات مختلفة. ومع ذلك، فإن القيم المعوضة تكون نفسها أو ثابتة داخل كل مجموعة.

في كثير من الأحيان، قد نرغب في تجنب نهج المقاس الواحد للجميع وتقديم تعويضات مخصصة لكل حالة تحتوي على قيم مفقودة. يُطلق على هذا النهج اسم تعويض القيم المصمم خصيصًا.

مرة أخرى، ضع في اعتبارك المتغير في العمود الأول. سيتم استخدام المدخلات المتبقية في طريقة التعويض هذه، إذا لم تُستخدم جميعها.

على سبيل المثال، من بين 11 مدخلاً متبقياً، قد يتم استخدام 6 منها بناءً على بعض المعايير.

تعويض المتوسط يستخدم المتوسط غير المشروط للمتغير.

وبالمثل، يستخدم تعويض متوسط التجمع المتوسط غير المشروط للمتغير داخل كل شريحة.

امتداد جذاب سيكون استخدام المتوسط الشرطي بناءً على المدخلات الأخرى. أي، اعتبار مشكلة القيم المفقودة كمشكلة تنبؤ. عندما تكون قيمة أحد المدخلات غير معروفة، يمكنك استخدام هذا النموذج للتنبؤ أو تقدير القيمة المفقودة غير المعروفة. يُشار إلى ذلك باسم تعويض القيم المصمم خصيصًا. على وجه التحديد، يمكن بناء k نموذجًا، واحد لكل متغير إدخال، باستخدام المدخلات الأخرى كمؤشرات.

من المفترض أن يؤدي ذلك إلى تعويضات أفضل وأن يكون قادرًا على التعامل مع القيم المفقودة التي تعتمد على قيم المدخلات الأخرى.

ومع ذلك، فإن أحد تعقيدات تعويض القيم المصمم خصيصًا هو أن المدخلات الأخرى قد تحتوي أيضًا على قيم مفقودة.

وبالتالي، يجب أن تستوعب نماذج التعويض k أيضًا القيم المفقودة.

بالنسبة لأشجار القرار، فإن القيم المفقودة ليست مشكلة، ولهذا السبب تُعتبر أشجار القرار هي النماذج المفضلة لهذا الغرض.

Question

If you need to accommodate missingness that depends on the other input variables, which of the following imputation methods you can use? (Select all that apply)

Correct.
In cluster imputation, clusters are created using other input variables and then using customized imputations within each cluster. Tailored-value imputation accommodates more customization by providing estimated imputations for each case with missing values using other input variables. However, fixed-value imputation does not consider other input variables at all.

Incorrect.
The correct answer is b and c. In cluster imputation, clusters are created using other input variables and then using customized imputations within each cluster. Tailored-value imputation accommodates more customization by providing estimated imputations for each case with missing values using other input variables. However, fixed-value imputation does not consider other input variables at all.

هناك حالات يكون فيها المتغير يحتوي على الكثير من القيم المفقودة.

دعونا نأخذ في الاعتبار المتغير الذي يحتوي على أكبر عدد من القيم المفقودة في هذا الجدول.

ثلثا القيم مفقودة في هذا المتغير. يمكن حذف المتغير من التحليل بسبب احتمالية التسبب في انحياز كبير في تحليلك.

من غير المنطقي بالتأكيد تعويض 67% من القيم المفقودة استنادًا إلى 33% فقط من القيم المتاحة.

كقاعدة عامة، عندما تكون البيانات مفقودة بنسبة تتراوح بين 60% إلى 70% من متغير ما، يجب أن تفكر في حذف هذا المتغير.

إذا كان المتغير يعتبر مؤشرًا مهمًا جدًا للمتغير الهدف، فقد يكون استبدال المتغير بمتغير آخر خيارًا ممكنًا.

يجب عليك تحديد الحد الأدنى لرفض المدخلات التي تحتوي على قيم مفقودة.

عادةً ما يتم تعيين هذا مسبقًا أثناء تعريف البيانات الوصفية.

يتم رفض المدخل إذا كان يحتوي على نسبة مئوية من القيم المفقودة أعلى من الحد الأقصى المحدد. الحد الافتراضي للقيم المفقودة في معظم حلول SAS هو 50%.

إذا كانت نسبة كبيرة جدًا من القيم مفقودة، فقد تتم معالجة المتغير بحذفه من التحليل أو بإنشاء مؤشر ثنائي فقط لوجود القيم المفقودة. يكون مؤشر القيم المفقودة 1 عندما تكون القيمة المدخلة المقابلة مفقودة و0 في غير ذلك من الحالات.

كل مؤشر للقيم المفقودة يصبح مدخلاً للنموذج. غالبًا ما تحتوي الحالات على قيم مفقودة لسبب ما.

إذا كان سبب القيمة المفقودة مرتبطًا بطريقة ما بالمتغير الهدف، فإن معلومات تنبؤية مفيدة تُفقد.

قد يبدو الأمر غريبًا، لكن أحيانًا مجرد معرفة وجود القيم المفقودة، أي مجرد معرفة ما إذا كان المتغير الأصلي مفقودًا أم لا، يمكن أن يحسن من القدرات التنبؤية للنموذج.

هذه الاستراتيجية بسيطة نوعًا ما، ومع ذلك تلبي اثنين من أهم الاعتبارات في النمذجة التنبؤية، وهما التقاط العلاقة بين القيم المفقودة والمتغير الهدف، وسهولة حساب الدرجات بكفاءة. يمكن تقييم الحالة الجديدة بسهولة. أولاً، استبدل القيم المفقودة بأي قيمة مناسبة ومقدرة، مثل الوسيط من بيانات التطوير.

ثم طبق نموذج التنبؤ. إذا كانت نسبة صغيرة جدًا من القيم مفقودة، أقل من 0.1%، فمن المحتمل أن يكون مؤشر القيم المفقودة ذا قيمة ضئيلة.

في هذا العرض التوضيحي، تعلمت كيفية معالجة القيم المفقودة في مجموعة بيانات PVA المفقودة. تحتوي مجموعة البيانات على عدد كبير من المتغيرات ذات القيم المفقودة.

ومع ذلك، من أجل الإيجاز، دعنا نركز على متغير الدخل الوسيط الديموغرافي الذي تم استبداله. استخدم عقدة الإكمال في التدفق لإكمال القيم الاصطناعية للبيانات. انتقل إلى مجلد VST وافتح تدفق معالجة البيانات المسبقة. ثم انتقل إلى قائمة الخطوات.

ابحث عن المجموعة المعنونة "تحضير البيانات".

قم بتوسيعها ثم انقر نقراً مزدوجاً على خطوة الإكمال.

الآن نريد ربط PVA المفقودة بمنفذ الإدخال في هذه الخطوة من الإكمال.

الآن، في خطوة الإكمال هذه، انقر بزر الماوس الأيمن.

واختر "إضافة منفذ إخراج". سنقوم بإكمال القيم المفقودة، ونريد حفظها في مجموعة بيانات الإخراج.

لذا، عد إلى خطوات SAS، ضمن إدخال البيانات وإخراجها، وانقر نقراً مزدوجاً على TAIL.

دعنا نربط الآن منفذ الإخراج من الإكمال بهذا الجدول.

يمكنك النقر على "ترتيب الملاحظات".

الآن، بالنقر على الجدول، انتقل إلى خصائص الجدول والمكتبات.

سننتقل إلى مكتبة VST وسنسمي هذا الجدول imputed_underscore_PVA.

اكتب ذلك وانقر موافق.

الآن انقر على عقدة الإكمال. وسننظر تحت المتغيرات الفاصلة. وسننظر إلى الحقل المعنون "استبدال القيم المفقودة بالمتوسط". لذا انقر على علامة الجمع هنا.

وسنبحث عن المتغير الذي أنشأناه في العرض التوضيحي السابق، وهو الدخل الوسيط الديموغرافي المستبدل.

انقر عليه واختر موافق.

هناك حقول أخرى، إذا قمنا بالتمرير لأسفل، إذا أردنا استبدال القيم المفقودة بشيء آخر غير المتوسط.

يمكنك أن ترى أن هناك حقلاً لاستبدال القيم المفقودة بالوسيط أو استبدال القيم المفقودة برقم عشوائي. سيكمل هذا الحقل الأخير القيم العشوائية التي يتم توزيعها بشكل منتظم بين الحد الأدنى والحد الأقصى لقيمة ذلك المتغير. الآن انقر على علامة التبويب "الإخراج".

تأكد من تحديد "حفظ البيانات المكتملة"، و"استبدال جدول الإخراج الحالي". ثم قم بتضمين المتغيرات من جدول إدخال CAS. اختر جميع المتغيرات. تابع واحفظ التدفق.

ثم انقر على "تشغيل".

انقر على "الكود المقدم" و"النتائج".

ويمكنك أن ترى أنه يخبرنا بأنه قام للتو بإكمال المتوسط لمتغير واحد. وكان المتغير هو REPDEMMEADINCOME. لقد أكمل المتوسط. والمتغير الذي تم إنشاؤه في مجموعة بيانات الإخراج والذي يحتوي على القيم المكتملة له نفس اسم المتغير الأصلي، بالإضافة إلى البادئة IM underscore. لذا يمكننا أن نرى المتغير الأصلي، وتخبرنا هذه البادئة IM underscore أن هذا هو المتغير الذي يحتوي الآن على معلومات كاملة لأننا أكملنا القيم. كان هناك 2,357 قيمة مفقودة تم إكمالها. والقيمة التي تم وضعها بدلاً من مؤشر القيمة المفقودة هي 53,513.5.

If the mean of an input variable in training data is 35 and the mean for the same variable in validation data is 39, which one would you use for missing value imputation? (Select all that apply.)

Correct.
The validation data is prepared exactly the same way as the training data to prevent information leakage. Validation data represents the unseen scoring data. In statistics and machine learning, leakage is the use of information in the model training process, which would not be expected to be available at prediction time, causing the predictive scores to overestimate the model's utility when run in a production environment.

Making the missing value imputation process part of the modeling process allays the modified distribution concern. Any modifications made to the training data are also made to the validation data and the remainder of the modeling population.

Incorrect.
The correct answer is b and d. The validation data is prepared exactly the same way as the training data to prevent information leakage. Validation data represents the unseen scoring data. In statistics and machine learning, leakage is the use of information in the model training process, which would not be expected to be available at prediction time, causing the predictive scores to overestimate the model's utility when run in a production environment.

Making the missing value imputation process part of the modeling process allays the modified distribution concern. Any modifications made to the training data are also made to the validation data and the remainder of the modeling population.

Question

Outliers are anomalous data values. Are there any outliers here?

Banking Information
	C1	C2	C3	C4	C5	C6	C7
	cking	#cking	ADB	NSF	dirdep	SVG	bal
R1	Y	1	468.11	1	1876	Y	1208
R2	Y	1	68.75	0	0	Y	0
R3	Y	1	212.04	0	6		0
R4		.	.	0	0	Y	4301
R5	y	2	585.05	0	7218	Y	234
R6	Y	1	47.69	2	1256		238
R7		1	4687.7	0	0		0
R8	Y	.	.	1	0	Y	1208
R9		.	.	.	1598		0
R10		1	0.00	0	0		0
R11	Y	3	89981.12	0	0	Y	45662
R12	Y	2	585.05	0	7218	Y	234

في الإحصاء، القيم الشاذة هي نقاط الملاحظة التي تكون بعيدة عن باقي الملاحظات.

أي أن القيم الشاذة هي تلك التي تبدو غريبة أو مختلفة عن البقية.

على سبيل المثال، إذا كان لديك متغير بسيط مثل حجم السمكة، كما هو موضح هنا، فإن أكبر سمكة تبدو كقيمة شاذة، لأنها أكبر بكثير من جميع الأسماك الأخرى.

لا توجد طريقة واحدة للكشف عن القيم الشاذة. ومع ذلك، يمكنك الكشف عنها باستخدام تقنيات التصوير البياني، مثل مخططات الصندوق والنقاط، أو باستخدام دوال رياضية مثل المدى الربيعي ودرجات Z.

لتحديد ما إذا كانت القيمة شاذة، يجب عليك استشارة خبير في المجال.

القيم الشاذة تكون عادةً مصدر قلق.

ومع ذلك، قد لا تكون مشكلة لجميع نماذج تعلم الآلة.

بعض نماذج تعلم الآلة معرضة للإحصاءات وتوزيع متغير الإدخال.

عادةً ما تنخفض دقة النمذجة مع زيادة نسبة القيم الشاذة وحجمها.

نماذج الانحدار حساسة للقيم المتطرفة أو الشاذة في مساحة الإدخال.

يمكن اختيار المدخلات ذات التوزيعات المنحرفة أو ذات الكورتوز العالي على المدخلات التي تحقق تنبؤاً أفضل بشكل عام.

كيف تقوم بتقييم الحالات ذات القيم غير المعتادة؟

تقدم نماذج الانحدار أفضل تنبؤاتها للحالات القريبة من مركز توزيع المدخلات.

إذا كان بإمكان أحد المدخلات أن يحتوي، في حالات نادرة، على قيم متطرفة أو شاذة، فقد لا يستجيب نموذج الانحدار بشكل مناسب.

النماذج مثل الشبكات العصبية تتأثر أيضاً بالقيم المتطرفة أو غير المعتادة. وذلك لأن بعض دوال التنشيط التي لا تضغط الناتج ضمن نطاقات معينة، خاصية الضغط، تؤدي إلى خسائر كبيرة في الدقة عند وجود القيم الشاذة.

في النماذج الخاضعة للإشراف، يمكن أن تضلل القيم الشاذة عملية التدريب، مما يؤدي إلى إطالة أوقات التدريب أو تطوير نماذج أقل دقة.

ليس من الضروري أن تكون القيم الشاذة دائماً محرجة أو مؤشر على وجود مشكلة.

في بعض الأحيان، يمكن أن تكون القيم الشاذة مؤشرات مفيدة.

على سبيل المثال، في بعض تطبيقات تحليل البيانات مثل كشف الاحتيال.

يصبح اكتشاف الشذوذ، كما يسمى أحياناً، مهماً لأن الاستثناء وليس القاعدة قد يكون موضع الاهتمام.

وصف بيانات دعم المتجهات، SVDD، هو تقنية شائعة في تعلم الآلة لاكتشاف الشذوذ.

القيم الشاذة هي نقاط بيانات تختلف عن الاتجاه العام للبيانات أكثر مما هو متوقع. قد تكون القيمة الشاذة نقطة بيانات خاطئة أو غير نمطية مقارنة ببقية البيانات. إذا كان هناك احتمال أن القيمة الشاذة لن تؤثر بشكل كبير على النتيجة، يمكنك قبولها كما هي.

من السهل إزالة القيم الشاذة تمامًا من مجموعة البيانات لمنعها من تشويه تحليلك. ومع ذلك، في بعض الأحيان يكون هذا الإغراء هو الخيار الخاطئ.

يجب أن تقتصر الحذف فقط على نقاط البيانات التي ثبت أنها خاطئة بالتأكيد. على سبيل المثال، إذا اكتشفت أن المعدات في المختبر كانت غير معايرة بشكل صحيح.

فقط حذف قيمة شاذة من بيانات التدريب يؤدي إلى نموذج متحيز. على سبيل المثال، لن يكون النموذج قابلاً للتطبيق على أكبر سمكة إذا تم حذفها.

ماذا يحدث عندما تظهر هذه النوعية من أكبر الأسماك في بيانات التقييم؟ بالتأكيد، قد لا تكون الدرجات التنبؤية الناتجة دقيقة في مثل هذه الحالات. تذكر أن حذف القيم الشاذة يجب أن يكون الملاذ الأخير، وليس الخيار الأول.

هناك طريقة أخرى للتعامل مع القيم الشاذة الحقيقية وهي تحديد حد أقصى لها. على سبيل المثال، إذا كنت تستخدم العمر، قد تجد أن الأشخاص فوق عمر معين يتصرفون بنفس طريقة من هم أصغر سنًا. في هذه الحالة، يمكنك وضع حد أعلى لقيمة العمر بحيث يبقى هذا السلوك ثابتًا.

دعونا نرى كيف سيبدو تحديد حد للقيم الشاذة في مثال الأسماك لدينا.

إذا كانت أكبر سمكة، وهي قيمة شاذة، تتصرف مثل ثاني أكبر سمكة، يمكنك تحديد حجم السمكة عند هذا الحد.

عامل جميع الأسماك الكبيرة التي تتجاوز حجمًا معينًا كما لو كانت أسماكًا أصغر.

ماذا لو بدت القيمة الشاذة ناتجة عن خطأ في بياناتك؟ في هذه الحالة، تعامل معها كقيمة مفقودة.

ثم حاول تعويضها بقيمة جديدة. تشمل طرق التعويض الشائعة استخدام متوسط المتغير أو الاستعانة بنموذج تقديري للتنبؤ بالقيمة المفقودة. التقسيم إلى فئات (Binning) هو طريقة فعالة أخرى لتقليل تأثير القيم الشاذة.

يتم تقسيم القيم الأصلية إلى فترات صغيرة تُعرف بالفئات (bins)، ثم يتم استبدالها بقيمة عامة محسوبة لتلك الفئة، مثل الرتب.

التقسيم إلى فئات مفيد أيضًا لتصنيف القيم المفقودة، وتوليد متغيرات لاكتشاف التأثيرات غير الخطية، وتقليل المتغيرات الفئوية التي تحتوي على عدد كبير من المستويات إلى شيء أكثر قابلية للإدارة.

التقسيم إلى فئات متساوية التكرار (Equal frequency binning)، والتقسيم إلى فئات متساوية العرض (Equal width binning)، أو تقسيم الدلو (bucket binning)، هي طريقتان شائعتان للتقسيم إلى فئات.

تقسيم الدلو يقسم الملاحظات إلى دلاء متساوية الطول. داخل المتغير، يكون لكل فئة نفس الفاصل الزمني.

التقسيم إلى فئات الكوانتايل (Quantile binning) يقسم الملاحظات إلى فئات متساوية الحجم تقريبًا باستخدام الكوانتايلات التقريبية. نهج مختلف للتعامل مع القيم الشاذة الحقيقية هو محاولة إنشاء تحويل للبيانات بدلاً من استخدام البيانات نفسها.

على سبيل المثال، جرب إنشاء لوغاريتم لحجم السمكة والعمل مع هذا الحقل الجديد بدلاً من الحقل الأصلي.

يتم تقليل تأثير أكبر سمكة إلى حد كبير باستخدام تحويل مناسب.

عندما تكون البيانات منحرفة أو تحتوي على قيم شاذة، قد يؤدي تحويل البيانات إلى تصحيح المشكلة. ولكن كيف؟ سنناقش ذلك لاحقًا.

دعونا نأخذ في الاعتبار تحليل الانحدار الكلاسيكي الذي لا يفترض أي افتراضات حول توزيع المدخلات.

الافتراض الوحيد هو أن القيمة المتوقعة للهدف هي مزيج خطي من قياسات المدخلات.

لماذا يجب أن تقلق بشأن توزيعات المدخلات المتطرفة؟ هناك سببان مقنعان على الأقل. أولاً، في معظم التطبيقات الواقعية، العلاقة بين القيمة المتوقعة للهدف وقيمة المدخلات لا تزداد بلا حدود.

بل إنها عادة ما تتناقص تدريجياً حتى تصل إلى خط أفقي مقارب.

نماذج الانحدار القياسية غير قادرة على استيعاب مثل هذه العلاقة.

لاحظ أن الملاحظة المتطرفة هي نقطة ذات تأثير كبير فقط على محور المدخلات، وليست نقطة شاذة على محور الهدف.

ثانياً، كلما ابتعدت نقطة عن المتوسط العام للتوزيع، زاد تأثيرها على ملاءمة النموذج.

النماذج المبنية على مدخلات ذات توزيعات متطرفة تحاول تحسين الملاءمة للنقاط الأكثر تطرفاً على حساب ملاءمة غالبية البيانات، والتي تكون عادة بالقرب من متوسط المدخلات.

قد يؤدي ذلك إلى المبالغة أو التقليل من ارتباط المدخلات بالهدف.

لاحظ أن الملاحظة المتطرفة هنا هي نقطة شاذة على محور الهدف، بالإضافة إلى كونها نقطة ذات تأثير كبير على محور المدخلات.

لاحظ أن المشكلة الأولى يمكن معالجتها بالتخلي عن نماذج الانحدار القياسية لصالح نماذج تعلم آلي أكثر مرونة.

غالباً ما يتم التخلي عن نماذج الانحدار القياسية على حساب قابلية تفسير النموذج، والأهم من ذلك، أن الفشل في معالجة المشكلة الثانية المتعلقة بالتأثير الكبير للنقاط المتطرفة قد يحدث.

النهج الأبسط وربما الأكثر فعالية هو تحويل أو تنظيم المدخلات المسببة للمشاكل من أجل إزالة القيم المتطرفة.

بعد ذلك، يمكن ملاءمة نموذج انحدار قياسي بدقة باستخدام المدخلات المحوّلة بدلاً من المدخلات الأصلية. غالباً ما يمكن أن يحل هذا كلا المشكلتين المذكورتين سابقاً. فهذا لا يقلل فقط من تأثير الحالات المتطرفة، بل يخلق أيضاً العلاقة التقاربية المرغوبة بين المدخل والهدف على مقياس المدخل الأصلي.

فائدة هذا النهج هي تحسين أداء النموذج. أما التكلفة، فهي بالطبع زيادة صعوبة تفسير النموذج.

قد تتساءل، أي تحويل يجب أن أستخدم؟ حسنًا، هذا هو سؤال المليون دولار، ولكن مثل غيره من القضايا التحليلية، لا توجد إجابة قاطعة لهذا أيضًا.

عندما تكون البيانات منحرفة إلى اليمين أو منحرفة إيجابيًا، فإن التحويل اللوغاريتمي هو الأكثر استخدامًا عادةً.

يمكن تعديل قوة هذا التحويل إلى حد ما بناءً على قاعدة اللوغاريتم. لا يمكن استخدامه مع الأرقام السالبة أو الأصفار.

هناك تحويل آخر وهو أخذ الجذر للمتغير.

هذا هو أضعف تحويل. إذا كان التحويل الذي تختاره قويًا جدًا، ستنتهي ببيانات منحرفة في الاتجاه الآخر.

أقوى تحويل هو أخذ المقلوب للمتغير. يزداد هذا التحويل قوة مع زيادة الأس.

إذا كانت بياناتك منحرفة إلى اليسار أو منحرفة سلبيًا، يمكنك استخدام التحويلات التربيعية والأسية. يمكن جعل التحويل التربيعي أقوى باستخدام أس أعلى. وبالمثل، سيصبح التحويل الأسي أقوى مع زيادة القاعدة.

عادةً ما تكون انحرافات الذيل عن التوزيع الطبيعي أقل أهمية من الانحراف، وقد لا تحتاج إلى تحويل في النهاية.

ومع ذلك، ماذا لو كنت لا تزال تريد تحويل البيانات ذات الذيل الخفيف أو الثقيل؟ كيف يمكنك القيام بذلك؟

أولاً، اطرح نقاط البيانات من الوسيط لجعل وسيط بياناتك 0.5.

ثم استخدم التحويل المناسب للبيانات المنحرفة على الانحرافات المطلقة من الصفر على كلا الجانبين.

بالنسبة للبيانات ذات الذيل الثقيل، استخدم التحويلات الخاصة بالبيانات المنحرفة إلى اليمين لجذب البيانات نحو الوسيط.

أما بالنسبة للبيانات ذات الذيل الخفيف، فاستخدم التحويلات الخاصة بالبيانات المنحرفة إلى اليسار لدفع البيانات بعيدًا عن الوسيط.

لاحظ أن المدخلات الفئوية تستدعي أيضًا تحويلات مناسبة. ومع ذلك، لن يتم مناقشة ذلك في هذه الدورة.

Question

Which statement below is true about transformations of input variables in a regression analysis?

Correct.
Transformations are useful when you want to improve the fit of a model to the data. For example, transformations can be used to stabilize variances, remove nonlinearity, improve additivity, and correct nonnormality in variables, thereby reducing the bias in model predictions.

Incorrect.
The correct answer is c. Transformations are useful when you want to improve the fit of a model to the data. For example, transformations can be used to stabilize variances, remove nonlinearity, improve additivity, and correct nonnormality in variables, thereby reducing the bias in model predictions.

تحويل المدخلات يمكن أن يحسن أحيانًا مدى توافق النموذج مع البيانات. تذكر أنه في مجموعة بياناتنا، لدينا عدة متغيرات مرتبطة بالهدايا وهي منحرفة بشكل كبير.

في هذا العرض التوضيحي، تعلمت كيفية تحويل مثل هذه المتغيرات باستخدام خطوة تحويل الأعمدة لتسوية توزيعها.

اختصارًا، سننظر فقط في أحد المتغيرات المتعلقة بالهدايا.

انتقل إلى مجلد VST وافتح تدفق معالجة البيانات.

يمكنك تشغيل هذا التدفق ثم الانتقال إلى قائمة الخطوات. وستقوم بتوسيع مجموعة إعداد البيانات.

تحت إعداد البيانات، انقر مرتين على تحويل الأعمدة.

دعونا نتابع ونربط متغير PVA بعد الإكمال إلى تحويل الأعمدة.

الآن، بمجرد تحويل متغير، سنحتاج إلى حفظ النسخة المحولة من المتغير في مجموعة بيانات الإخراج. لذا قم بتوسيع البيانات وانقر مرتين على جدول. ولنربط تحويل الأعمدة بذلك الجدول الجديد.

بالنسبة لهذا الجدول، انقر على خزانة الملفات للمكتبات.

VST وسنسمي هذا الإخراج "PVA donors final".

ونسخة من مجموعة البيانات هذه متوفرة بالفعل.

لذا انقر على مجموعة البيانات هذه واختر موافق.

الآن انقر على تحويل الأعمدة.

وتحت علامة تبويب البيانات، اختر خادم CAS.

يتم تخزين بياناتنا في الذاكرة عبر الأجهزة في شبكة Viya الخاصة بنا. وعندما نقوم بتحويل الأعمدة على بيانات في الذاكرة، سنستخدم خادم CAS. إذا أردنا تحويل الأعمدة على مجموعات بيانات مخزنة في مكتبات SAS 9، سنستخدم خادم الحوسبة.

الآن قم بالتمرير للأسفل تحت تحويل 1. بجانب المتغير 1، انقر على علامة الجمع. سنختار أول متغير، GIFCount36.

هناك عدة تحويلات مدمجة يمكننا استخدامها. يمكنك رؤية المربع العكسي، العكسي، الجذر التربيعي العكسي، اللوغاريتم الطبيعي، وغيرها. نود إجراء تحويل لوغاريتم طبيعي، ولكن مع خطوة إضافية واحدة. لذا سأختار تحديد تحويل مخصص.

في هذا الحقل، سأكتب التحويل الذي أريده.

كلمة log تشير إلى اللوغاريتم الطبيعي. إذا أردت لوغاريتم للأساس 10، سأكتب log10. ثم بين قوسين، سأكتب اسم المتغير giftcount36 زائد 1.

فلماذا أضفت واحدًا إلى هذا المتغير قبل تحويل اللوغاريتم؟

بعض المتبرعين في هذه المجموعة لم يتبرعوا خلال الـ 36 شهرًا الماضية، لذا لديهم قيمة GiftCount36 تساوي 0. اللوغاريتم الطبيعي للصفر غير معرف، لذا إضافة 1 إلى GiftCount36 يمنع التحويل من توليد قيم مفقودة عندما تكون GiftCount36 تساوي 0.

بعد ذلك، انقر على علامة تبويب الإخراج.

تأكد من أن خيار استبدال جدول الإخراج الحالي مفعل، ثم تحت تحديد البيانات لعرضها في علامة تبويب النتائج...

على عدد محدد من المشاهدات وسنترك القيمة الافتراضية وهي عرض 10 صفوف في الإخراج.

تابع وشغل التدفق واطلع على النتائج.

الجزء السفلي من علامة تبويب النتائج يعرض أول 10 صفوف من مجموعة بيانات الإخراج، PVA Donors Final.

قم بالتمرير إلى اليمين.

وسنرى النسخة المحولة من gift count 36.

عندما تم إنشاء هذا المتغير، أخذ اسم المتغير GIFCount36، وأضاف بادئة TR1 تحت المتغير الأول الذي تم تحويله.

في المستقبل، قد ترغب في استخدام هذا المتغير المحول باللوغاريتم بدلاً من المتغير الأصلي.

هناك ميل طبيعي للاعتقاد بأنه كلما زادت الميزات التي تملكها لوصف الملاحظات في بياناتك، زادت المعلومات التي لديك عن تلك الملاحظات. وبالتالي، يجب أن تكون نماذجك أكثر دقة.

ومع ذلك، هذا صحيح فقط إلى حد معين لأن وجود المزيد من الأعمدة ليس دائمًا مفيدًا. عندما يكون عدد المتغيرات المدخلة المحتملة كبيرًا، يمكن أن يكون بعض هذه المدخلات متكررًا.

المدخلات المتكررة تعقد بناء النموذج.

إحدى نتائج تكرار المدخلات قد تكون عدم استقرار النموذج.

هنا، المدخل 1 والمدخل 2 مرتبطان، وبالتالي هما متكرران.

معرفة قيمة المدخل 1 تعطيك فكرة جيدة عن قيمة المدخل 2.

بشكل عام، لن يكون هناك أي فائدة من وجود كليهما في النموذج. تم مناقشة التكرار في درس سابق.

تظهر عدم الصلة عندما يكون لديك العديد من المتغيرات المدخلة.

المدخل غير المرتبط لا يوفر معلومات عن الهدف، وبالتالي لا يساهم في النموذج.

إضافة ميزات غير مرتبطة تعقد وتزيد من تكلفة تدريب النماذج دون داعٍ. هنا، تتغير التنبؤات مع المدخل 2، ولكن بدرجة أقل بكثير مع المدخل 3، وبالتالي فإن المدخل 3 غير مرتبط.

لن يكون هناك أي فائدة من إضافة المدخل 3 إلى النموذج.

تمت مناقشة الصلة في درس سابق.

البعد يشير إلى عدد المتغيرات المدخلة، أي درجات الحرية للمدخلات فعليًا.

نواجه عادة أعدادًا كبيرة من المتغيرات المدخلة في تعلم الآلة.

عدد المتغيرات غالبًا ما يكون له تأثير أكبر على الأداء الحاسوبي من عدد الحالات.

البعد العكسي يعني أن عدد الأبعاد مرتفع بشكل مذهل، لدرجة أن العمليات الحسابية تصبح صعبة للغاية، ويمكن أن يتجاوز عدد الميزات عدد الملاحظات.

فكر في مثال بسيط للعثور على الخراف الأكثر قتامة. الميزة الوحيدة المتاحة هي لون الخروف. من السهل جدًا عليك اختيار ربما أكثر ثلاثة خراف رمادية.

هنا، كثافة البيانات عالية جدًا، وبالتالي لن تواجه أي صعوبة في تتبع هذه الخراف.

إذا أضفت ميزة أخرى، مثل حجم الخروف، إلى لونه، فإن تعقيد مجموعة البيانات يزداد.

إذا احتجت إلى العثور على الخراف الأكثر قتامة والأكبر حجمًا، ستستغرق وقتًا أطول قليلاً مقارنة بالسيناريو السابق.

ربما تختار خروفين في هذه الحالة. وبالتالي، يحد البعد العالي من القدرة على استكشاف ونمذجة العلاقات بين المتغيرات.

إذا أضفت ميزة أخرى، مثل كثافة الصوف، إلى الحجم واللون، فإن تعقيد مجموعة البيانات يزداد بسرعة مع زيادة الأبعاد. بريمان وآخرون، 1984.

إذا احتجت إلى العثور على الخراف الأكثر قتامة والأكبر حجمًا والتي تتمتع بكثافة صوف عالية، ستستغرق وقتًا أطول قليلاً مقارنة بالسيناريو السابق. ربما ترغب في اختيار خروف واحد في هذه الحالة. هذا البعد الإضافي يحد أكثر من قدرتك على استكشاف ونمذجة العلاقات بين المتغيرات.

تشير الندرة إلى ما يسمى بلعنة البعدية، والتي تخبرنا أنه كلما أضفت ميزات، فإنك تدخل ندرة أكبر في ملاحظاتك ضمن فضاء الميزات.

الندرة تشير إلى مصفوفة من الأرقام تحتوي على العديد من الأصفار أو القيم التي لن تؤثر بشكل كبير على العمليات الحسابية.

في هذا المثال البسيط، حيث في بعد واحد لديك الفضاء مغطى جيدًا بـ 8 نقاط بيانات تغطي 80% من الفضاء، عندما نضيف بعدًا آخر، نفس نقاط البيانات الثمانية تغطي نسبة أصغر بكثير من فضاء الميزات، فقط 8%.

تنمو هذه الندرة بشكل أسي مع كل ميزة تضاف. المعنى العملي للندرة هو أن هناك مساحة كبيرة بين نقاط البيانات في الفضاء عالي الأبعاد الذي تم بناؤه بواسطة جميع المتغيرات المدخلة المستخدمة.

نقاط البيانات بعيدة عن جيرانها، أي أنها وحيدة. العديد من المتغيرات تتكون من قيمة أو قيمتين فقط، على سبيل المثال 0 أو 1. هذا مصدر مشاكل للعديد من طرق تعلم الآلة، حيث أن مثل هذه المصفوفات مكلفة حسابيًا.

المصفوفات الكبيرة والنادرة شائعة في تعلم الآلة التطبيقي، مثل البيانات التي تحتوي على عدادات، أو ترميزات البيانات التي تربط الفئات بالعدادات، وحتى في معالجة اللغة الطبيعية.

الحل لتمثيل والعمل مع المصفوفات النادرة هو استخدام بنية بيانات بديلة لتمثيل البيانات النادرة. يحدث الإفراط في التكيّف عندما يتناسب النموذج مع بيانات التدريب بشكل جيد جدًا ولكنه لا يستطيع التعميم على مجموعات بيانات غير مرئية.

تمت مناقشة الإفراط في التكيّف في الدرس السابق.

سيتم مناقشة الإفراط في التكيّف بشكل أوسع في القسم التالي.

جزء حاسم من نجاح مشروع تعلم الآلة هو إنتاج مجموعة جيدة من الميزات للتدريب عليها.

تحتاج إلى تضمين ميزات لوصف الملاحظات، ولكن من المهم أن تكون انتقائيًا بشأن الميزات التي تختار دمجها في عملية النمذجة الخاصة بك.

على سبيل المثال، مع لعنة البعدية، فإن كمية البيانات التي ستحتاج إلى جمعها للحصول على نموذج تنبؤي ذي معنى ستكون هائلة.

لذلك، هناك حاجة إلى طرق لتحويل البيانات من هذا الفضاء عالي الأبعاد إلى أبعاد أقل. هندسة الميزات هي عملية تحديد أفضل مجموعة من المدخلات لاستخدامها في بناء النماذج التنبؤية. في سياق دورة حياة التحليلات الكاملة، عادةً ما يتم تنفيذ هندسة الميزات كجزء من معالجة البيانات المسبقة التي تسبق النمذجة. إنها جزء كبير من الوقت الذي يُقال إنه يشكل 80% من المشروع ويُنفق في التحضير للنمذجة.

وهي خطوة مهمة جدًا يمكن أن تحدث فرقًا كبيرًا في دقة وفعالية نموذجك.

تحتاج إلى ميزات رائعة تصف البنى الكامنة في بياناتك.

يمكن أن يؤدي تقليل أبعاد مجموعة البيانات إلى نماذج أبسط وأكثر دقة وتدريبها في وقت أقل.

بشكل عام، ينقسم هندسة الميزات إلى ثلاث فئات رئيسية: إنشاء الميزات، واختيارها، واستخلاصها.

في تطبيقات التعلم الآلي، نادراً ما تأتي المتغيرات ذات الصلة بالتحليل جاهزة مسبقاً.

لذلك، يجب إنشاؤها. هذا ليس تطبيقاً لتقنيات تحليلية بقدر ما هو تقييم يدوي للميزات الموجودة، مع التأكد من فهم واضح للمشكلة التي يتم معالجتها، ثم تعزيز مجموعة البيانات عن طريق تجميع الميزات الحالية في ميزات أقل وربما أكثر تمثيلاً، أو حتى تفكيك ميزة واحدة إلى عدة ميزات تمثل المشكلة بشكل أفضل.

على سبيل المثال، قد لا يكون تاريخ وقوع حادث سيارة وتاريخ تقديم مطالبة التأمين متنبئين مفيدين للاحتيال. المتغيرات المشتقة مثل التأخير، أي الوقت بين حدثين، قد تكون أكثر فائدة. وبالمثل، فإن الموسم وما إذا كان الوقت مظلماً أثناء وقوع الحادث سيساهمان بشكل أكبر في التحقق من شرعية مطالبة التأمين.

تشير هندسة الميزات أساساً إلى تطبيق تقنيات لتقليل مجموعة الميزات.

اختيار الميزات، أي تقليل عدد المدخلات، هو الطريقة الواضحة لمواجهة لعنة الأبعاد.

لسوء الحظ، فإن تقليل الأبعاد هو أيضاً وسيلة سهلة لتجاهل معلومات مهمة.

السببين الرئيسيين لإزالة متغير هما التكرار وعدم الصلة.

المدخل المتكرر لا يقدم أي معلومات جديدة لم يتم شرحها بالفعل بواسطة مدخلات أخرى.

عندما لا تقدم ميزة ذات صلة معلومات عن الهدف.

يمكن استخدام معايير مختلفة لتصفية مجموعة الميزات إلى الأكثر أهمية.

موضح هنا مثال بسيط لحملة تسويق مباشر حيث يكون الاستجابة للبريد المباشر هو الهدف الثنائي.

في هذا المثال، الدخل الأسري وقيمة المنزل هما ميزتان متكررتان بشكل واضح. معرفة الدخل الأسري تعطيك فكرة جيدة عن قيمة المنزل، لذا يجب اختيار واحدة فقط منهما.

بالإضافة إلى ذلك، تتغير التنبؤات مع ميزة "الطلبات السابقة"، ولكن ليس مع مقاس الحذاء.

مقاس الحذاء لا يوفر معلومات عن الهدف، لذا يجب اختيار "الطلبات السابقة".

استخلاص الميزات هو تقنية أخرى لتقليل حجم الميزات.

يحول استخلاص الميزات البيانات بطريقة يمكن من خلالها استخدام أعمدة أقل لتمثيل معظم المعلومات الموجودة في الميزات الأصلية.

يستخلص استخلاص الميزات ميزات جديدة، مما يؤدي إلى تمثيل منخفض الأبعاد لمعلومات الميزات. مع تقنيات استخلاص الميزات، لا يمكن تفسير الميزات الجديدة في سياق المشكلة الأصلية. ومع ذلك، غالباً ما يتم قبول ذلك كطبقة إضافية في النموذج، تمثل العلاقات بين المدخلات والمخرجات، ويمكن أن تكون الفوائد النهائية كبيرة.

تحليل المكونات الرئيسية (PCA) هو طريقة شائعة لاستخلاص الميزات في التعلم الآلي.

عملياً، يحول PCA مصفوفة الميزات الأصلية إلى مجموعة بيانات جديدة تحتوي على ميزات أقل.

ينشئ PCA العديد من الميزات الجديدة، تُسمى المكونات الرئيسية، بعدد يساوي عدد المتغيرات المدخلة.

ومع ذلك، غالباً ما يتم اختيار أول عدد قليل فقط من المكونات الرئيسية لتمثيل بياناتك.

أي أنه يقلل عدد الميزات من خلال إنشاء عدد جديد وأقل من المتغيرات التي تلتقط جزءاً كبيراً من المعلومات الموجودة في الميزات الأصلية.

هنا، يتم تمثيل ثلاث ميزات بواسطة أول مكون رئيسي، ويفسر هذا المكون 87% من التغير في فضاء المدخلات الأصلي.

تحليل القيمة المفردة والمشفرات التلقائية هي بعض الطرق الأخرى لاستخلاص الميزات.

Question

The key difference between 'selection' and 'extraction' is that feature selection keeps a subset of the original features and feature extraction creates brand new ones.

Correct.
Some variable reduction methods (like decision trees, regressions) use the original features as inputs into subsequent models (feature selection). Others (like principal component analysis) use combinations of the original features as inputs into subsequent models (feature extraction).

Incorrect.
The correct answer is a. Some variable reduction methods (like decision trees, regressions) use the original features as inputs into subsequent models (feature selection). Others (like principal component analysis) use combinations of the original features as inputs into subsequent models (feature extraction).

إزالة المدخلات الزائدة وغير ذات الصلة من مجموعة بيانات التدريب غالبًا ما يحسن أداء النموذج.

في هذا العرض التوضيحي، ستستخدم خطوة اختيار المتغيرات لتحديد الميزات التي قد تكون مفيدة. افتح تدفق معالجة البيانات المسبقة من مجلد VST. ثم انتقل إلى قائمة الخطوات.

وتحت البيانات المُعدة.

انقر نقرًا مزدوجًا على اختيار المتغيرات.

قم بتوصيل مجموعة بيانات المتبرعين النهائية الخاصة بـ PVA بعقد اختيار المتغيرات، ثم انقر على عقد اختيار المتغيرات.

ضمن علامة تبويب البيانات، تأكد من اختيار اختيار المتغيرات غير الخاضع للإشراف.

اختيار المتغيرات غير الخاضع للإشراف هو اختيار متغيرات لا يتضمن المتغير الهدف. هذا النهج سيقوم بإزالة المتغيرات الزائدة. تحت المتغيرات التفسيرية، انقر على علامة الجمع بجوار المتغيرات المستمرة. سنختار معظم المتغيرات. للقيام بذلك، دعنا ننقر على أول متغير.

ثم اضغط مع الاستمرار على مفتاح Shift وانقر على آخر متغير.

الآن قمنا بتحديد جميع المتغيرات، لكننا سنزيل بعضًا منها من هذه القائمة.

تمت إزالة عدد صور GIF 36. لدينا نسخة محولة من هذا المتغير في الأسفل ضمن القائمة.

ثم قم بالتمرير لأسفل وأزل status cat star all.

هذا متغير فئوي.

لإزالة بعض المتغيرات الأخرى.

قم بإلغاء تحديد الدخل الوسيط الديموغرافي.

لدينا نسخة أخرى من هذا المتغير في الأسفل ضمن هذه القائمة. وقم بإلغاء تحديد مبلغ التبرع، وهو أحد متغيرات الهدف لدينا.

قم بإلغاء تحديد الدخل الوسيط الديموغرافي المستبدل.

لأن لدينا هذا المتغير الآخر، النسخة المقدرة، محددة بالفعل.

ثم انقر موافق.

قم بالتمرير لأسفل إلى حقل متغيرات التصنيف.

ثم انقر على علامة الجمع.

بجوار متغيرات التصنيف.

هنا سنختار متغيرات status cat، والجنس الديموغرافي، ومالك المنزل الديموغرافي.

انقر موافق.

عند النقر على علامة تبويب النموذج، يمكننا أن نرى أن نموذج التأثيرات الرئيسية محدد وسنحتفظ بهذا الإعداد الافتراضي.

وانقر على الخيارات. سنترك الإعداد الافتراضي لاختيار المتغيرات بناءً على الارتباطات، ومعايير التوقف مضبوطة على 0.9.

هذا يعني أنه سيتم إضافة المتغيرات إلى هذه القائمة من المتغيرات التي سنحتفظ بها حتى تفسر المتغيرات ضمن هذه القائمة 90% من التباين عبر جميع هذه المدخلات التي اخترناها بالفعل.

سنحتفظ بهذا الإعداد الافتراضي، باستخدام ما يصل إلى 200 تأثير محدد. ثم سنقوم بتحديد خيار تحديد الحد الأدنى للزيادة في التباين المفسر.

فقط تحقق من أن القيمة المختارة هي 0.001. يجب أن يفسر المتغير على الأقل هذا القدر من التباين قبل إضافته إلى قائمة المتغيرات التي سنحتفظ بها.

قم بالتمرير لأسفل إلى الرسوم البيانية وحدد مخططات التكرار.

عادةً، نرغب في وضع منفذ إخراج على عقدة اختيار المتغيرات، ثم إرفاق عقدة جدول في هذا التدفق. وبهذه الطريقة، سنحفظ هذا الجدول الذي يحتوي على مجموعة فرعية من المتغيرات التي نرغب في استخدامها لنماذج تعلم الآلة. توفيرًا للوقت، هنا، سنقوم فقط بالنقر بزر الماوس الأيمن على عقدة اختيار المتغيرات واختيار تشغيل العقدة لعرض قائمة المتغيرات في النتائج.

انقر على الكود المقدم والنتائج.

يمكننا أن نرى في أعلى تقريرنا أن خوارزمية اختيار المتغيرات استخدمت فقط 5908 ملاحظة من إجمالي 9686 ملاحظة. ويرجع ذلك إلى وجود العديد من القيم المفقودة.

تذكر، لقد قمنا فقط بتقدير القيم المفقودة لأحد المتغيرات، لذا لا يزال هناك العديد من المتغيرات في مجموعة البيانات هذه تحتوي على قيم مفقودة. في الممارسة العملية، يجب عليك تقدير القيم المفقودة في جميع المتغيرات قبل تنفيذ اختيار المتغيرات.

جدول ملخص الاختيار يسرد المتغيرات حسب ترتيب الاختيار. يتم اختيار المتغير الذي يفسر معظم التباين في فضاء المدخلات أولاً.

في هذا التقرير، يمكننا أن نرى أن هذا المتغير هو عدد العروض الترويجية المطفأة.

مدرج كـ PROM COUNTALL. ويمكنك أن ترى أنه يفسر حوالي 20% من التباين، وهو الأعلى بين جميع المدخلات.

الآن، تمت إضافة المتغيرات إلى هذه القائمة واحدًا تلو الآخر، وتوقفوا بعد 17 خطوة. ويمكننا أن نرى السبب عندما ننظر إلى عمود نسبة التباين المفسر. عندما حدثت الخطوة السابعة عشرة وأضيف GIF time last إلى هذه القائمة، زاد إضافة هذا المتغير من نسبة التباين المفسر إلى حوالي 92%. وبما أن هذا يتجاوز حد 90%، توقف اختيار المتغيرات غير الخاضع للإشراف.

عند التمرير لأسفل، يمكننا رؤية جدول التأثيرات المختارة.

يوفر هذا ملخصًا للمتغيرات المختارة.

هذه هي المتغيرات الاثنا عشر التي قد ترغب في استخدامها كميزات في أي خوارزمية تعلم آلي خاضعة للإشراف تالية.

عند التمرير لأسفل أكثر في نافذة النتائج، ترى مخطط التكرار الذي يلخص التباين المتزايد المفسر عند إضافة متغير في كل تكرار.

هذا في الأساس مخطط شريطي مجمع متزايد الحجم، حيث تمثل الأشرطة الزرقاء القيمة الأساسية للتباين المفسر وتمثل الأشرطة الصفراء القيمة المتزايدة.

بعد ذلك، سنواصل مناقشتنا حول صعوبة البيانات.

دعونا نتناول كيفية التعامل مع المتغيرات ذات المقاييس المختلفة بوضوح.

ضمان أن تكون الخصائص ضمن نطاق مقياس متشابه أمر ضروري. ومع ذلك، غالبًا ما تحتوي مجموعة بياناتك على خصائص تختلف بشكل كبير في القيم، والوحدات، والمدى.

العديد من خوارزميات التعلم الآلي تكون حساسة عندما لا تكون البيانات متوازنة في القياس. قد يؤدي ذلك إلى بطء في أوقات التدريب، وتقديرات غير دقيقة للمعاملات، ونماذج غير مستقرة.

الخصائص ذات القيم الكبيرة سيكون لها وزن أكبر بكثير في حساب المسافات مقارنة بالخصائص ذات القيم الصغيرة.

للتقليل من هذا التأثير، نحتاج إلى جعل جميع الخصائص على نفس مستوى الحجم. يمكن تحقيق ذلك من خلال عملية القياس.

تخيل أنك مكلف بتحليل مراحل بناء تمثال الوحدة في الهند مقارنة بتمثال الحرية في الولايات المتحدة.

كل ما عليك تذكره هو أن التمثالين ليسا بنفس الارتفاع. تمثال الوحدة يبلغ ارتفاعه 182 متراً، بينما تمثال الحرية يبلغ 93 متراً.

لا يمكنك مقارنة مراحل البناء المتعلقة بهما، مثل مدة البناء أو كمية الفولاذ والخرسانة المستخدمة، إلا إذا جعلتهما متساويين في الارتفاع.

تتأثر استقرارية النموذج ودقة تقدير المعاملات أثناء التحليل متعدد المتغيرات عند استخدام متغيرات متعددة المقاييس.

على سبيل المثال، في اكتشاف الحدود، المتغير الذي يتراوح بين 0 و100 سيكون له وزن أكبر من المتغير الذي يتراوح بين 0 و1.

استخدام المتغيرات دون توحيد القياس يمكن أن يمنح المتغيرات ذات النطاقات الأكبر أهمية أكبر في التحليل.

إعادة تحجيم البيانات إلى مقاييس قابلة للمقارنة يمكن أن يمنع هذه المشكلة.

هناك العديد من طرق إعادة التحجيم المتاحة. فيما يلي الطرق الأكثر استخداماً في تعلم الآلة.

التوحيد القياسي هو طريقة لإعادة تحجيم بياناتك بحيث يكون المتوسط 0 والانحراف المعياري 1.

يُطلق أحياناً على المتغير الموحد اسم درجة z أو الدرجة القياسية. إليك المعادلة لتوحيد بياناتك، حيث x تحت i هي القيمة الأصلية، x بار هو متوسط المتغير، و s هو الانحراف المعياري للمتغير.

القيمة المطلقة لـ Z تحت i تمثل المسافة بين الدرجة الخام وبين متوسط المجتمع بوحدات الانحراف المعياري. يكون Z تحت i سالباً عندما تكون القيمة الأصلية أقل من المتوسط، وموجباً عندما تكون أعلى.

تكون قيمة sub i بين سالب ثلاثة وثلاثة لمعظم البيانات.

التطبيع هو طريقة أخرى لإعادة التحجيم وله معانٍ عديدة في الإحصاء والتطبيقات الإحصائية.

غالباً ما يكون التطبيع هو إعادة تحجيم البيانات الرقمية بين 0 و1 باستخدام المعادلة الموضحة هنا، حيث x تحت min هي القيمة الدنيا للمتغير، والمدى هو الفرق بين القيمة العظمى والدنيا للمتغير.

التطبيع، أو توحيد المدى، هو الأساس لنوع آخر من التوحيد القياسي يُعرف باسم منتصف المدى.

يُحسب منتصف المدى كالتالي: x تحت max زائد x تحت min مقسومة على 2. تحويل منتصف المدى يغير المتغير بحيث يكون المدى من سالب 1 إلى 1، وقيمة منتصف المدى تساوي 0. بعض خوارزميات تعلم الآلة حساسة لتحجيم السمات، بينما البعض الآخر لا يتأثر تقريباً بذلك. خوارزميات تعلم الآلة مثل الشبكات العصبية وأحياناً الانحدار الخطي والانحدار اللوجستي وغيرها التي تستخدم انحدار التدرج كطريقة تحسين، تتطلب تحجيم البيانات. عند إجراء تحليل الانحدار، يمكن أن يساعد توحيد المتغيرات متعددة المقاييس في تقليل مشكلات التعددية الخطية للنماذج التي تحتوي على مصطلحات تفاعلية.

توحيد المتغيرات التنبؤية المستمرة في الشبكة العصبية أمر بالغ الأهمية.

وجود السمات على مقياس متشابه يمكن أن يساعد انحدار التدرج على التقارب بسرعة أكبر نحو القيم الدنيا. لاحظ أنه إذا كنت ترغب في تشغيل انحدار خطي أو لوجستي على بيانات ضخمة لا يمكن تحميلها في الذاكرة، يمكن تحسين المعاملات باستخدام انحدار التدرج. خوارزميات المسافة مثل أقرب الجيران k، وk-means، وآلات الدعم الناقل تتأثر بشكل كبير بنطاق السمات.

وذلك لأن هذه الخوارزميات تستخدم المسافات بين نقاط البيانات لتحديد مدى التشابه بينها.

لذلك، نقوم بتحجيم بياناتنا قبل تطبيق خوارزمية تعتمد على المسافة حتى تساهم جميع السمات بشكل متساوٍ في النتيجة.

توحيد أو تطبيع البيانات مهم أيضاً في تحليل المكونات الرئيسية لأنه يسقط بياناتك على اتجاهات متعامدة تعظم التباين.

ومع ذلك، فإن التحليلات المعتمدة على الأشجار ليست حساسة للقيم المتطرفة ولا تتطلب تحويل المتغيرات.

وبالتالي، فإن توحيد البيانات متعددة المقاييس ليس ضرورياً لخوارزميات شجرة القرار أو الغابة العشوائية أو تعزيز التدرج.

Question

Suppose you are tasked with creating a neural network model on the PVA_DONORS data using the three variables shown below.

(See Text Version for Image)

Which feature scaling method would you use to correct disproportionate scales, if any?

(See Text Version for Image)

Question

Why do some of machine learning algorithms require you to scale a set of features in your data?

Correct.
Many machine learning algorithms are sensitive when the data are not scaled evenly. The features with high magnitudes will weigh in a lot more in the distance calculations than features with low magnitudes. To suppress this effect, we need to bring all features to the same level of magnitude. This can be achieved by scaling.

Incorrect.
The correct answer is d. Many machine learning algorithms are sensitive when the data are not scaled evenly. The features with high magnitudes will weigh in a lot more in the distance calculations than features with low magnitudes. To suppress this effect, we need to bring all features to the same level of magnitude. This can be achieved by scaling.

طوال هذا الدرس، كنا نناقش صعوبات البيانات ومشاكل النمذجة.

دعونا نناقش تحدياً آخر.

ماذا لو لم يكن لديك الكثير من البيانات ذات الصلة...

كيف يمكنك استخدام البيانات المتاحة بحكمة؟

على الرغم من وجود ميل كبير نحو التعلم الآلي، قد لا يكون لديك بيانات كافية. نماذج التعلم الآلي تتطلب عادةً كميات كبيرة من البيانات، وتعتمد أداؤها بشكل كبير على حجم بيانات التدريب المتوفرة. في كثير من الحالات، يصعب الحصول على مجموعات بيانات تدريبية كبيرة بما فيه الكفاية. على سبيل المثال، قد لا يكون لديك أي بيانات متاحة لمنتج تم إطلاقه حديثاً.

على الرغم من صعوبة تقييم الحد الأدنى من البيانات المطلوبة، إلا أن طبيعة مشروعك نفسها ستؤثر على كمية البيانات التي ستحتاجها.

على سبيل المثال، تدريب النماذج على التعرف على النصوص أو الصور أو الفيديوهات يتطلب عادةً المزيد من البيانات.

المشكلة الحقيقية في قلة البيانات تكمن في أن التباين يزداد مع قلة البيانات.

ارتفاع التباين في النماذج يعني أن النموذج سيتناسب تماماً مع بيانات التدريب، لكنه سيتوقف عن العمل بمجرد إدخال بيانات جديدة إليه.

بناء نماذج إحصائية تقليدية مثل الانحدار أو نماذج تعلم آلي أبسط مثل أشجار القرار القصيرة هو أحد أكثر الأساليب شيوعاً التي يمكن أن تساعد في بناء نماذج تنبؤية من مجموعات بيانات صغيرة.

بشكل عام، كلما كان الخوارزم أبسط، كان تعلمه من البيانات الصغيرة أفضل.

من منظور التعلم الآلي، البيانات الصغيرة تتطلب نماذج ذات تعقيد منخفض أو انحياز مرتفع، لتجنب الإفراط في ملاءمة النموذج للبيانات.

أكثر من حجم البيانات، أهمية البيانات أمر ضروري.

في بعض الأحيان، يكون لديك بيانات كافية، لكن تلك البيانات قد لا تكون ذات صلة كافية. النمذجون المبتدئون الذين ينجذبون إلى عالم الخوارزميات المعقدة غالباً ما يقعون في فخ الاعتقاد بأن الحاسوب يمكنه حل أي مشكلة إذا توفرت له الوقت والبيانات الكافية. ومع ذلك، فكر في مشكلة التنبؤ بالنتيجة التالية لرمي النرد في كازينو في لاس فيغاس.

قد يكون لديك مليون نقطة بيانات من رميات النرد السابقة، ولن يكون لديك فرصة أفضل للتنبؤ بالنتيجة التالية مما لو لم يكن لديك أي بيانات.

عند بناء نموذج، تفترض أن بياناتك تتكون من جزأين: الإشارة والضوضاء. يمكنك اعتبار الإشارة هي النمط الحقيقي الكامن الذي تريد تعلمه من البيانات. الإشارة هي العملية القابلة للتكرار التي تأمل في التقاطها ووصفها. إنها المعلومات التي تهتم بها. الإشارة هي ما يسمح للنموذج بالتعميم على الحالات الجديدة.

أما الضوضاء، فهي تشير إلى المعلومات غير ذات الصلة أو العشوائية في البيانات.

الأخطاء العشوائية تُسمى ضوضاء. الضوضاء، إذن، أمر لا مفر منه ولا يمكن التنبؤ به. وهي تعادل الجزء غير المفسر في نموذجك الإحصائي. نسبة الإشارة إلى الضوضاء هي مقياس لكمية الضوضاء الخلفية بالنسبة إلى إشارة الإدخال الأساسية.

يوضح هذا الرسم الحالة التي تكون فيها الإشارة نقية. في هذه الحالة، يمكن فصل بيانات التدريب تماماً إلى نتائج أساسية أو ثانوية باستخدام حد قرار خطي.

نادراً ما تتوقع رؤية ذلك في العالم الحقيقي. للأسف، بعض الأشخاص الجدد في النمذجة التنبؤية يصابون بخيبة أمل عندما لا تصنف الطرق النتائج بدقة تامة من هذا النوع.

على الطرف الآخر، هناك حالة الضوضاء النقية.

في هذه الحالة، تبدو بيانات التدريب بلا أنماط يمكن بناء نموذج عليها لفصل النتائج الأساسية عن الثانوية.

هذا الوضع أكثر شيوعاً مما قد ترغب. على الرغم من أن الإشارة النقية نادرة جداً، إلا أن الضوضاء النقية يمكن أن تحدث فعلاً في الواقع.

الحالة الأكثر شيوعاً في الممارسة العملية هي مزيج من الإشارة والضوضاء.

يمكنك التنبؤ بدقة أفضل من التخمين العشوائي. مدى دقة تنبؤك يعتمد على ما إذا كانت البيانات يغلب عليها التغير المنهجي أو التغير العشوائي.

الخطوط الثلاثة للمصنفين في الرسم تمثل ثلاث حلول ممكنة مختلفة.

أحياناً، لا تتفوق نماذج التعلم الآلي مثل الشبكات العصبية على النماذج الأبسط والأسهل في التنفيذ مثل الانحدار. السبب في ذلك، في بعض الحالات، يكمن في نسبة الإشارة إلى الضوضاء.

البيانات المليئة بالضوضاء تؤثر على النماذج، بما في ذلك نماذج التعلم الآلي. للتوضيح، في اللوحة اليسرى من الرسم أعلاه، النموذج غير الخطي الذي تنتجه الشبكة العصبية سيعطي ملاءمة أفضل بكثير للبيانات، مقارنة بالملاءمة التي ينتجها نموذج الانحدار الخطي.

هناك نمط إشارة قوي بالنسبة لكمية التغير، الضوضاء، حول النمط.

نسبة الإشارة إلى الضوضاء مرتفعة.

الوضع في اللوحة اليمنى مختلف. نسبة الإشارة إلى الضوضاء منخفضة. من المرجح أن يقدم كل من نماذج الانحدار والشبكات العصبية ملاءمة متقاربة للبيانات. لذلك، لن يكون هناك ميزة لاستخدام الشبكة العصبية الأكثر تعقيداً.

Question

The true underlying pattern that you want to learn from the data is called "noise" whereas the irrelevant information or randomness in a data set is called "signal".

Correct.
The true underlying pattern that you want to learn from the data is called "signal" whereas the irrelevant information or randomness in a data set is called "noise".

Incorrect.
The correct answer is b. The true underlying pattern that you want to learn from the data is called "signal" whereas the irrelevant information or randomness in a data set is called "noise".

في التعلم الخاضع للإشراف، غالبًا ما يكون الحدث محل الاهتمام نادرًا. وبالتالي، في حالة وجود هدف ثنائي، تكون فئة الحدث في الأقلية. على سبيل المثال، قد تمتلك شركة خدمات مرافق تيرابايتات من بيانات استخدام العملاء ورغبة في اكتشاف الاحتيال، لكنها لا تعرف أي الحالات احتيالية. البيانات وفيرة، لكن لا يوجد منها ما هو خاضع للإشراف.

مثال آخر هو بيانات الرعاية الصحية، حيث تكون النتيجة محل الاهتمام هي تطور حالة معينة عبر الزمن. لكن فقط جزء صغير جدًا من المرضى تم تقييمهم في أكثر من نقطة زمنية واحدة.

التسويق المباشر. إذا كانت بيانات تاريخ العميل وخصائصه الديموغرافية متوفرة، لكن لا توجد معلومات عن استجابته لاستدراج معين محل اهتمام، غالبًا ما يتم استخدام إرسال تجريبي للحصول على بيانات خاضعة للإشراف. التخلف عن سداد القروض، عدم الحضور في شركات الطيران، فقدان العملاء، التهديدات الأمنية للحواسيب، التحميل الزائد على الكهرباء ودوائر الاتصالات هي أمثلة أخرى على الأحداث النادرة المستهدفة.

الحدث محل الاهتمام، أو المستوى المحرج، للمتغير الهدف نادر، وبالتالي غالبًا ما يكون البحث عن الهدف صعبًا. إنه كالبحث عن إبرة في كومة قش. يتعلم خوارزم الذكاء الاصطناعي أكثر من المجموعة الكبرى ويمكنه بسهولة تصنيف الحدث الصغير بشكل خاطئ.

مع الأحداث النادرة، يكون حجم العينة الفعلي لبناء نموذج تنبؤي موثوق أقرب إلى ثلاثة أضعاف عدد حالات الحدث منه إلى الحجم الاسمي لمجموعة البيانات. في مثل هذا السيناريو، هل لدينا حالات كافية للنمذجة؟ هناك بعض الأساليب المختلفة للتعامل مع مجموعات البيانات ذات الأحداث النادرة.

التقليل من العينة والتكثير منها هما شكلان من أشكال أخذ العينات بناءً على الحدث والتي أنت على دراية بها بالفعل.

تمت مناقشة أخذ العينات بناءً على الحدث سابقًا في الدورة.

من أجل الحصول على أحداث كافية، فإن إنشاء حالات اصطناعية هو أسلوب آخر.

تقنية التكثير الاصطناعي للأقلية، SMOTE، هي تقنية تولد حالات اصطناعية.

ببساطة، تأخذ SMOTE نقاط بيانات الحدث النادر وتخلق نقاط بيانات جديدة تقع بين أي نقطتين متجاورتين متصلتين بخط مستقيم.

تحسب الخوارزمية المسافة بين نقطتي بيانات في فضاء الميزات، وتضرب المسافة في رقم عشوائي بين 0 و1، وتضع نقطة البيانات الجديدة على هذه المسافة الجديدة من إحدى النقطتين المستخدمتين في حساب المسافة.

عندما لا تمتلك البيانات القدرة على حل المشكلة، يجب إعادة صياغة المشكلة. على سبيل المثال، هناك أساليب غير خاضعة للإشراف لاكتشاف البيانات الشاذة قد تكون مفيدة للتحقيق في الاحتيال المحتمل. هناك بعض الأساليب المتخصصة في تعلم الآلة متوفرة لتحسين تصنيف الأحداث النادرة. على سبيل المثال، استنتاج القواعد.

استنتاج القواعد ينشئ قواعد تنبؤية من نوع إذا-إلا-فإن من مجموعة متغيرات الإدخال والمتغير الهدف.

الفكرة هنا هي في البداية توليد قواعد تنبؤية لغير الأحداث، ثم الانتقال تدريجيًا نحو قواعد أكثر تعقيدًا يمكنها التنبؤ بالأحداث النادرة.

مع مجموعات البيانات متوسطة الحجم، يكون تقسيم البيانات غير فعال. يمكن أن يؤدي تقليل حجم العينة بشكل كبير إلى تدهور ملاءمة النموذج.

تم تطوير طرق إعادة أخذ العينات المكثفة حاسوبيًا بحيث يمكن استخدام جميع البيانات في كل من التلاؤم والتقييم النزيه.

تشير إعادة أخذ العينات إلى طرق لاستخدام مجموعة البيانات المتاحة اقتصاديًا لتقييم أداء النموذج بشكل قوي وبالتالي تحسين دقة النموذج.

بشكل أساسي، يتم استخدام مجموعة فرعية من العينات لبناء نموذج وتستخدم العينات المتبقية لتقدير فعالية النموذج. تتكرر هذه العملية عدة مرات ويتم تجميع النتائج وتلخيصها.

تتمحور الفروق في التقنيات عادة حول الطريقة التي يتم بها اختيار العينات الفرعية. رغم أن الطريقة تبدو معقدة، إلا أن الرياضيات المتضمنة بسيطة نسبيًا.

إعادة أخذ العينات هي مجموعة من الأساليب إما لتقدير دقة إحصائية باستخدام التحقق المتقاطع أو تكرار أخذ العينات من عينة معينة تُعرف باسم البوتستراب.

وهكذا، فإن أكثر طريقتين شيوعًا لإعادة أخذ العينات قد تصادفهما هما التحقق المتقاطع والبوتستراب. تقسيم البيانات إلى أجزاء، أحدها للتدريب والآخر للتحقق، هو أسلوب بسيط لكنه مكلف لأن جزءًا كبيرًا من البيانات يُستبعد للاختبار.

عندما تكون مجموعة الاختبار صغيرة، قد تكون مقاييس الأداء غير موثوقة بسبب التغير العالي.

لحسن الحظ، هناك حل فعال لهذه المشكلة. بالنسبة لمجموعات البيانات الصغيرة والمتوسطة، فإن التحقق المتقاطع بطريقة K-fold هو استراتيجية أفضل.

التحقق المتقاطع بطريقة K-fold هو إجراء إعادة أخذ عينات يُستخدم لتقييم نماذج تعلم الآلة على عينة بيانات محدودة.

يعمل التحقق المتقاطع على تعظيم توافر بيانات التدريب عن طريق تقسيم البيانات إلى مجموعات فرعية متعددة لاستخدام مجموعات مختلفة من البيانات لتدريب النموذج واختباره.

يتضمن التحقق المتقاطع بطريقة K-fold تقسيم البيانات إلى K مجموعات فرعية.

تأخذ مجموعة فرعية واحدة وتعتبرها مجموعة اختبار للنموذج. وتحتفظ بالمجموعات الفرعية K-1 لتدريب النموذج. تكرر العملية K مرات، مع تدوير مجموعة التحقق.

يتم اختيار K بناءً على حجم مجموعة البيانات. هذا يضمن أن نموذجنا يتدرب ويُختبر على بيانات جديدة في كل خطوة جديدة.

فيما يلي مثال على التحقق المتقاطع بخمس طيات. سيتم تقسيم البيانات إلى خمسة أقسام متساوية.

سيتم إعادة تنفيذ عملية النمذجة بالكامل على كل أربعة أخماس من البيانات، مع استخدام الخمس المتبقي للتقييم.

بعد ذلك، سيتم حساب متوسط التقييمات الخمسة. وبهذه الطريقة، يتم استخدام جميع البيانات لأغراض التدريب والتحقق، مما يقلل بشكل كبير من الخطأ المحتمل، مثل الإفراط في التكيف، الذي قد يحدث عند الاعتماد على تقسيم ثابت بين بيانات التدريب والتحقق.

التشغيل الذاتي هو نوع من إعادة أخذ العينات حيث يتم سحب أعداد كبيرة من العينات الصغيرة بنفس الحجم بشكل متكرر، مع الاستبدال، من عينة أصلية واحدة.

غالبًا ما يُستخدم كوسيلة لقياس عدم اليقين المرتبط بنموذج تعلم الآلة. دعونا نلقي نظرة على مثال بسيط.

من مجموعة بيانات تدريبية تحتوي على ست حالات، الخطوة الأولى هي سحب أربع عينات تشغيل ذاتي.

كل عينة تحتوي على ست حالات.

عينة التشغيل الذاتي هي عينة عشوائية من مجموعة بيانات تدريبية. بالنسبة للتجميع، يتم سحب عينة التشغيل الذاتي مع الاستبدال.

هذا يعني أن بعض الحالات قد تُترك خارج العينة، وبعض الحالات قد تظهر أكثر من مرة. على سبيل المثال، في أول عينة تشغيل ذاتي، تظهر الحالات 3 و5 مرتين، وتظهر الحالات 1 و6 مرة واحدة، ولا تظهر الحالات 2 و4 على الإطلاق.

بعد استخراج عدد معين من عينات التشغيل الذاتي المتساوية الحجم من مجموعة البيانات.

يتم تطبيق خوارزمية تعلم الآلة على كل من هذه العينات للحصول على عدة نماذج.

ثم يتم دمج توقعاتهم لإنشاء نموذج تجميعي. يُعرف هذا عادةً باسم تجميع التشغيل الذاتي أو التجميع.

الفكرة هي أن يتم متوسط العديد من النماذج الصاخبة ولكن غير منحازة تقريبًا لتقليل تباين دالة التنبؤ المقدرة.

يعتمد النهج التجميعي على دمج العديد من النماذج البسيطة الضعيفة نسبيًا للحصول على توقع تجميعي أقوى.

سيؤدي ذلك إلى تحسين الدقة، وتقليل الانحياز، وتقليل التباين، وتوفير نماذج قوية في وجود بيانات جديدة.

الميزة الملحوظة عادةً للنموذج التجميعي هي أن النموذج المدمج أفضل من النماذج الفردية التي يتكون منها.

من المهم ملاحظة أن النموذج التجميعي يمكن أن يكون أكثر دقة من النماذج الفردية فقط إذا كانت النماذج الفردية تختلف عن بعضها البعض.

Question

Cross validation is another method of honest assessment that can be used when data size is small, and you do not have a luxury of holding out data separately for validation or testing, or both.

Correct.
Data partitioning is a simple but costly technique because a huge portion of data is held out for validation and testing. Alternatively, k-fold cross validation, which is a resampling procedure, can be used for honest assessment to evaluate machine learning models on a limited data sample.

Incorrect.
The correct answer is a. Data partitioning is a simple but costly technique because a huge portion of data is held out for validation and testing. Alternatively, k-fold cross validation, which is a resampling procedure, can be used for honest assessment to evaluate machine learning models on a limited data sample.

بعد ذلك، دعونا نتحدث عن التحديات المتعلقة بملاءمة النموذج، وكيفية تعديل مرونة وتعقيد النموذج الخاص بك.

في الإحصاء، تشير ملاءمة النموذج إلى مدى جودة تقريبك لدالة الهدف.

وهذا ينطبق أيضًا في تعلم الآلة، لأن خوارزميات تعلم الآلة الخاضعة للإشراف تسعى لتقريب دالة الربط المجهولة للهدف بناءً على متغير الإدخال.

لذا، تشير ملاءمة النموذج إلى مدى قدرة نموذج تعلم الآلة على التعميم على بيانات مشابهة لتلك التي تم تدريبه عليها.

النموذج الملائم بشكل جيد ينتج نتائج أكثر دقة.

ملاءمة النموذج مرتبطة ارتباطًا وثيقًا بتعقيد أو مرونة النموذج وبمقايضة الانحياز-التباين ذات الصلة.

ما إذا كنا نبالغ في الملاءمة أو نقلل منها يمكن أن يعتمد على تعقيد أو مرونة النموذج الخاص بك.

عندما يكون النموذج معقدًا جدًا، يمكن أن يبدأ في تعلم الضوضاء أو المعلومات غير ذات الصلة. عندما يحفظ النموذج الضوضاء ويتناسب بشكل وثيق جدًا مع مجموعة بيانات التدريب، يصبح النموذج مبالغًا في الملاءمة، كما هو موضح بالمنحنى الأحمر.

ويصبح غير قادر على التعميم بشكل جيد على بيانات جديدة.

إذا لم يستطع النموذج التعميم بشكل جيد على بيانات جديدة، فلن يكون قادرًا على أداء مهام التصنيف أو التنبؤ التي صُمم من أجلها. النموذج الذي يكون مبالغًا في الملاءمة يتطابق مع بيانات التدريب بشكل وثيق جدًا. أما النموذج الذي يكون ناقص الملاءمة فلا يتطابق بشكل كافٍ.

عندما يكون النموذج بسيطًا جدًا أو أقل مرونة، يصبح النموذج ناقص الملاءمة، كما هو موضح بالمنحنى الأزرق.

هنا، من المهم ملاحظة أن ليس كل خوارزميات تعلم الآلة تصبح مبالغًا في الملاءمة عند وجود العديد من المدخلات.

وهذا يمثل مشكلة خاصة للنماذج التي تعني فيها المتغيرات الإضافية أنه يجب تقدير معلمات إضافية.

أمثلة على هذه النماذج هي نماذج الانحدار والشبكات العصبية.

ما يشكل تحديدًا تعقيد أو مرونة النموذج هو أمر معقد. هناك العديد من العوامل التي تحدد ما إذا كان النموذج سيعمم بشكل جيد. على سبيل المثال، قد يُعتبر نموذج الانحدار الذي يحتوي على المزيد من المعلمات أو التأثيرات أكثر تعقيدًا.

شجرة القرار التي تحتوي على المزيد من الأوراق ونموذج التعزيز التدريجي الذي يحتوي على المزيد من الأشجار قد يكون أكثر تعقيدًا.

وبالمثل، فإن عدد أكبر من المتجهات الداعمة في آلات المتجهات الداعمة يشير إلى مرونة عالية.

غالبًا، مع الشبكات العصبية، نعتبر النموذج الذي يحتاج إلى المزيد من دورات التدريب أكثر تعقيدًا، والنموذج الذي يخضع للإيقاف المبكر أو عدد أقل من دورات التدريب أقل تعقيدًا.

لذا قد يكون من الصعب مقارنة التعقيد بين أعضاء من فئات نماذج مختلفة بشكل كبير.

في الوقت الحالي، قاعدة بسيطة مفيدة جدًا. النموذج الذي يمكنه تفسير الحقائق العشوائية أو الضوضاء بسهولة هو ما يعتبره الإحصائيون معقدًا.

أما النموذج الذي يمتلك قدرة تعبيرية محدودة أو إشارة محدودة، ومع ذلك ينجح في تفسير البيانات بشكل جيد، فهو على الأرجح أكثر قابلية للتعميم وأقرب إلى الحقيقة.

Question

Which of the following statements are true? Select all that apply.

Correct.
Model fitting is closely related to the model complexity, or flexibility, and the related bias-variance trade-off. When the model is too complex, it can start to learn the "noise," or irrelevant information. Whether you overfit or underfit, it can depend on the complexity or flexibility of your model.

Incorrect.
The correct answer is a and d. Model fitting is closely related to the model complexity, or flexibility, and the related bias-variance trade-off. When the model is too complex, it can start to learn the "noise," or irrelevant information. Whether you overfit or underfit, it can depend on the complexity or flexibility of your model.

العديد من خوارزميات التعلم الآلي لا تمتلك قدرة مدمجة على اختيار المتغيرات.

وبالتالي، فهي تبني النماذج باستخدام جميع المدخلات المتوفرة.

أثناء بناء نموذج تعلم آلي، يمكن للنموذج أن يكون معرضًا بسهولة للمبالغة في التكيّف أو التقليل منه.

في النماذج البارامترية، مثل الانحدار والشبكات العصبية، يؤثر حجم المعاملات على تعقيد النموذج. ولتبسيط الأمور، دعونا نأخذ حالة الانحدار الخطي البسيط.

Y هو متغير الاستجابة و X هو متغير التنبؤ.

في أبسط أشكاله، يحاول هذا النموذج رسم خط مستقيم يتناسب مع مجموعة بياناتك. هناك معاملان. بيتا صفر هو معامل التقاطع، وبيتا واحد هو معامل الميل.

تشير المعادلة إلى أنه مقابل كل زيادة بمقدار وحدة واحدة في x، هناك زيادة بمقدار بيتا واحد في القيمة المتوقعة لـ y. دعونا نرى ماذا يحدث عندما يصبح المعامل أكبر. على سبيل المثال، إذا تضاعف الميل، يصبح خط الانحدار أكثر انحدارًا. الآن تشير المعادلة إلى أنه مقابل كل زيادة بمقدار وحدة واحدة في x، تزداد القيمة المتوقعة لـ y بمقدار ضعفي بيتا واحد.

إذا تضاعف الميل ثلاث مرات، تشير المعادلة إلى أنه مقابل كل زيادة بمقدار وحدة واحدة في x، هناك زيادة بمقدار ثلاثة أضعاف بيتا واحد في القيمة المتوقعة لـ y.

عندما يكون ميل الخط حادًا، تصبح التنبؤات لـ y حساسة جدًا للتغيرات الصغيرة نسبيًا في x.

عندما يكون الميل صغيرًا، فإن كل زيادة بمقدار وحدة واحدة في x تؤدي إلى زيادة طفيفة جدًا في التنبؤ بـ y.

بمعنى آخر، عندما يكون ميل الخط صغيرًا، تكون التنبؤات لـ y أقل حساسية بكثير للتغيرات في x.

لتجنب الإفراط في التكيّف أو ضعف التكيّف، غالبًا ما يتحدث علماء البيانات والإحصائيون عن العقوبة أو الانكماش أو إزالة التحسس أو التنظيم.

تشير كل هذه المصطلحات إلى مجموعة واسعة من التقنيات التي تُستخدم لإجبار النموذج بشكل مصطنع على أن يكون بسيطًا.

يمكننا تطبيق عقوبة على معلمات الإدخال ذات المعاملات الأكبر، مما يحد لاحقًا من مقدار التباين في النموذج.

يمكن اعتبار الانكماش كعقوبة على التعقيد.

إذا قمنا بتعيين بعض معلمات النموذج إلى الصفر تمامًا، فإن النموذج يتم تقليصه فعليًا ليصبح أقل بعدًا وأقل تعقيدًا.

إضافة القدر المناسب من التحيز إلى النموذج يمكن أن يساعد في تقديم تنبؤات أكثر دقة عن طريق إزالة تحسسه تجاه بعض الضوضاء في بيانات التدريب.

التنظيم هو مصطلح أوسع يُستخدم عادة في تعلم الآلة لضبط النموذج بشكل مناسب على بيانات التحقق.

ستعتمد طريقة التنظيم على نوع النموذج الذي تستخدمه. على سبيل المثال، يمكنك تقليم شجرة القرار، أو استخدام الإسقاط في الشبكات العصبية، أو إضافة معلمة عقوبة إلى دالة التكلفة في الانحدار. في كثير من الأحيان، تكون طريقة التنظيم أيضًا معلمة فائقة، مما يعني أنه يمكن ضبطها من خلال التحقق المتقاطع. التنظيم يوازن بشكل أساسي بين التعقيد في نماذج تعلم الآلة. يشير التنظيم إلى التقنيات التي تُستخدم لمعايرة نماذج تعلم الآلة لمنع الإفراط في التكيّف أو ضعف التكيّف.

كيف يعاقب التنظيم أو يقلص المعاملات؟ نسمي نموذج الانحدار الخطي البسيط الذي يأخذ الشكل الموضح أعلاه في الرسم البياني على اليمين.

هنا، يشير y-hat إلى الاستجابة المتوقعة، و beta-hat تشير إلى تقدير المعامل.

يتم تقدير قيم هذه المعاملات باستخدام طريقة المربعات الصغرى العادية التي تقلل مجموع المربعات المتبقية. التنظيم هو شكل من أشكال الانحدار الذي يقيد أو ينظم تقديرات المعاملات لتقليصها نحو الصفر. في أبسط أشكاله، يضيف التنظيم عقوبة إلى معلمات النموذج، باستثناء الثوابت. بحيث يعمم النموذج البيانات بشكل جيد. أو على عكس المربعات الصغرى العادية، يقلل الانكماش أو التنظيم مجموع المربعات المتبقية المعاقب عليه.

وبالتالي، يتم تقدير المعاملات عن طريق تقليل كمية مختلفة قليلاً عند تطبيق التنظيم.

يتم إضافة عقوبة التنظيم إلى مجموع المربعات المتبقية.

الفكرة الرئيسية وراء طرق الانكماش هي إيجاد خط جديد لا يتناسب مع بيانات التدريب بشكل جيد. لذا ندخل كمية صغيرة من التحيز في كيفية ملاءمة الخط الجديد للبيانات.

في مقابل تلك الكمية الصغيرة من التحيز، نحصل على انخفاض كبير في التباين. بعبارة أخرى، من خلال البدء بملاءمة أسوأ قليلاً، يمكن أن يوفر التنظيم تنبؤات مستقرة على المدى الطويل.

في مثالنا، نرى أن عقوبة التنظيم نتج عنها خط، الخط الأزرق، ذو ميل أصغر، مما يعني أن التنبؤات باستخدام هذا الخط أقل حساسية لتغيرات قيم x مقارنة بخط المربعات الصغرى، الخط الأصفر.

ثلاثة أنواع من عقوبات التنظيم تُستخدم غالبًا في نماذج تعلم الآلة.

تنظيم L1 أو لاسو.

يستخدم L1 آلية انكماش لتصفير بعض المعلمات ويختار عينة فرعية من التغذية الراجعة.

تنظيم L2 أو ريدج.

يضيف L2 عقوبة على المعلمات ويستخدم نموذجًا أبسط. تنظيم L12 أو الشبكة المرنة.

L1-2 هو توازن بين تنظيم L2 وL1 وله عقوبة هي مزيج من معيار L1 وL2. يمكنه أداء وظيفة اختيار الميزات دون التخلص من العديد من الميزات.

لاسو، ريدج، والشبكة المرنة كلها جزء من عائلة الانحدار الخطي حيث يُفترض أن العلاقة بين X (المدخلات) و Y (المخرجات) خطية.

تقدّر المربعات الصغرى العادية معلمات الدالة الخطية بمبدأ أقل المربعات. وبالتالي، فإن دالة التكلفة ببساطة هي تقليل مجموع المربعات المتبقية.

معاملات المربعات الصغرى العادية هي حل لمشكلة التحسين غير المقيدة.

لاسو هو تعديل للانحدار الخطي.

لاحظ أن دالة التكلفة تحتوي على عامل إضافي مضاف إلى مجموع المربعات المتبقية وهو عبارة عن حد عقوبة من معيار L1، كما هو موضح في الشكل البيضاوي. يُعاقب النموذج على مجموع القيم المطلقة للأوزان. وبالتالي، فإن القيم المطلقة للأوزان ستقل بشكل عام، والعديد منها سيميل إلى الصفر.

معلمة الضبط، لامبدا، تضاعف حد العقوبة، مما يسمح بالتحكم في مقدار العقوبة. زيادة قيمة لامبدا تزيد من مقدار الانكماش في المعلمات. هذا يعادل شكلًا مقيدًا من المربعات الصغرى العادية، حيث نقيد مجموع القيم المطلقة لمعاملات الانحدار بحيث تكون أصغر من لامبدا.

إذا كانت معلمة لامبدا صغيرة، فبعض معاملات الانحدار تكون صفرية. وبسبب ميلها القوي لجعل بعض المعلمات صفرية، غالبًا ما تُستخدم لاختيار الميزات عندما نعلم أن بعض الميزات نادرة جدًا.

ريدج يذهب خطوة أبعد ويضيف عقوبة من معيار L2 على معاملات بيتا، كما هو موضح في الشكل البيضاوي.

يُعاقب النموذج على مجموع القيم المربعة للوزن.

وبالتالي، لا تميل الأوزان فقط إلى أن تكون ذات قيم مطلقة أصغر، بل تميل أيضًا إلى معاقبة القيم المتطرفة للأوزان، مما يؤدي إلى مجموعة من الأوزان موزعة بشكل أكثر تساويًا.

هنا أيضًا، تتحكم معلمة الضبط لامبدا في مقدار العقوبة.

كما هو الحال مع المربعات الصغرى، يسعى انحدار ريدج إلى تقديرات معاملات تناسب البيانات جيدًا عن طريق جعل مجموع المربعات المتبقية صغيرًا. ومع ذلك، فإن عقوبة الانكماش تكون صغيرة عندما تكون معاملات بيتا قريبة من الصفر. لذا، فإن لها تأثير تقليص تقديرات بيتا جي نحو الصفر، ولكنها لا تصل أبدًا إلى الصفر.

يقلل مجموع المربعات المعاقب عليه، وهو ما يعادل تقليل دوال هدف المربعات الصغرى العادية مع تقييد مجموع المربعات للمعاملات بحيث تكون أصغر من لامبدا. وبالتالي، فإن معاملات ريدج هي حل لمشكلة التحسين المقيدة.

الشبكة المرنة هي مزيج من لاسو وريدج.

حيث يتم تضمين كل من العقوبة على القيم المطلقة والعقوبة على القيم المربعة.

تنظيم الشبكة المرنة هو توازن بين تنظيم L1 وL2 وله عقوبة هي مزيج من معياري L1 وL2.

يمكنه أداء وظيفة اختيار الميزات، دون فرض ندرة كبيرة جدًا على الميزات أو التخلص من العديد منها، عن طريق فرض مزيج من تنظيم L1 وL2 على معلمة بيتا.

اختيار العقوبات المختلفة يعتمد على المشكلة المطروحة. مع وجود العديد من المتنبئين، تكون الإشارات نادرة حقًا. لذا يمكن استخدام عقوبة L1 أو L12 لاختيار الإشارات المخفية من البيانات المليئة بالضوضاء، على الرغم من أنه من شبه المستحيل أن يستعيد L2 الإشارة النادرة بالكامل.

يميل L1 وL12 إلى إعطاء أوزان نادرة، معظمها أصفار، لأن تنظيم L1 يهتم بنفس القدر بتقليل الأوزان الكبيرة إلى صغيرة أو دفع الأوزان الصغيرة إلى الصفر.

إذا كان لديك العديد من المتنبئين، أو الميزات، وتشك في أن جميعها ليست مهمة، فقد يكون من الجيد البدء بـ L1 وL12.

في المشكلات التي تحتوي على عدد أقل من المتنبئين، تكون الميزات غير نادرة على الإطلاق، لذا غالبًا ما يتفوق تنظيم L2 على تنظيم L1.

يميل L2 إلى إعطاء أوزان صغيرة ولكن موزعة جيدًا لأن تنظيم L2 يهتم أكثر بتقليل الأوزان الكبيرة إلى أوزان صغيرة بدلاً من دفع الأوزان الصغيرة إلى الصفر.

إذا كان لديك عدد قليل فقط من المتنبئين، وتثق في أن جميعها ذات صلة بالتنبؤات، فإن L2 هو طريقة التنظيم المفضلة.

في تطبيقات التنبؤ، يكون انحدار ريدج مع L2 أكثر شيوعًا وغالبًا ما يُوصى به. ومع ذلك، في الحالة التي يكون لديك فيها العديد من الميزات وتريد تقليل تعقيد النموذج عن طريق استبعاد بعض الميزات، قد ترغب في فرض عقوبة L1 أو اختيار نهج أكثر توازنًا مثل الشبكة المرنة. ستحتاج إلى مقياس بياناتك قبل استخدام هذه الطرق المنظمة للانحدار الخطي.

TopicTitle

L1 versus L2
L1 (Lasso)	L2 (Ridge)
Penalizes the sum of absolute value of weights	Penalizes the sum of squares of weights
Change is constant	Change is proportional
Performs feature selection	No feature selection
Generates sparse and more interpretable models	Generates dense and less interpretable models

In the case of L1, the sum of the absolute values of the weights is imposed as a penalty, and in the case of L2, the sum of the squared values of weights is imposed as a penalty.

In L1 regularization, the weights shrink by a constant amount toward 0. In L2 regularization, the weights shrink by an amount that is proportional to square of weight. And so, when a particular weight has a large magnitude, L1 regularization shrinks the weight much less than L2 regularization does. By contrast, when weight is small, L1 regularization shrinks the weight much more than L2 regularization.

The L1 penalty has the effect of forcing some of the coefficient estimates to be exactly zero when the tuning parameter λ is sufficiently large. Therefore, the lasso method also performs variable selection and is said to yield sparse models. L2 regularization shrinks the coefficients for less important predictors, very close to zero, but not exactly to zero. Hence, it generates a dense model (having all predictors) that makes it less interpretable. On the other hand, L1 penalty has the effect of forcing some of the coefficient estimates to be exactly equal to zero, thereby resulting in a simple and interpretable model. Therefore, the lasso method also performs feature selection.

Question

Which of the following statements is True regarding regularization methods?

Correct.
All of the above are true regarding regularization methods.

Incorrect.
The correct answer is d. All of the above are true regarding regularization methods.

يستخدم خوارزمية تعلم الآلة طريقة تحسين عددية تقوم بتحديدها لتقليل دالة الخطأ.

لذا من المهم فهم عملية التعلم وضبط نماذج تعلم الآلة. يتضمن تعلم الآلة استخدام خوارزمية لحل مشكلة رياضية، والتعميم من البيانات التاريخية من أجل إجراء تنبؤات على بيانات جديدة. يُطلق على ذلك عادةً تعلم نموذج. يمكن صياغة جميع خوارزميات تعلم الآلة تقريبًا كعملية تحسين.

يأتي مصطلح التحسين من نفس أصل كلمة "أمثل"، والتي تعني الأفضل. عندما تقوم بتحسين شيء ما، فإنك تجعله الأفضل ضمن قيود معينة.

يشير التعلم إلى عملية تحسين حيث تقوم معلمات النموذج بتحديث نفسها باستخدام دالة رياضية في كل تكرار من التدريب. تُسمى هذه الدالة الرياضية عادةً دالة الهدف.

ثم تصبح مشكلة التحسين هي إيجاد القيمة القصوى أو الدنيا لهذه الدالة الهدف.

رياضيًا، حل مشكلة تحسين دالة هو في الأساس مسألة تقريب دالة التحويل لرسم خريطة للمدخلات إلى الهدف. تحدد خوارزمية تعلم الآلة دالة تحويل ذات معلمات، على سبيل المثال، مجموع مدخلات موزونة. وتُستخدم خوارزمية تحسين لإيجاد قيم المعلمات، على سبيل المثال، التي تقلل من خطأ الدالة. يعمل تقريب الدوال على التعميم من أمثلة محددة إلى دوال تحويل قابلة لإعادة الاستخدام ترسم المدخلات إلى الهدف لإجراء التنبؤات على أمثلة جديدة.

يُعد بناء النماذج وإنشاء دوال هدف معقولة الخطوة الأولى في طرق تعلم الآلة. مع تحديد دالة الهدف، يتم عادةً استخدام طرق تحسين عددية مناسبة لحل مشكلة التحسين.

تذكر أن المهمة الأساسية في نموذج الانحدار هي الحصول على تقديرات للمعلمات، أو في حالة الشبكة العصبية، تقديرات للأوزان، تؤدي إلى تنبؤ دقيق.

على سبيل المثال، في نموذج الانحدار الخطي، يتم اختيار تقديرات نقطة التقاطع والمعلمات لتقليل الخطأ التربيعي بين القيم المتوقعة والقيم الفعلية المستهدفة. وبالتالي، من أجل إيجاد الحل الأمثل، نحتاج إلى طريقة ما لقياس جودة أي حل.

يتم اختيار هذه التقديرات بشكل أفضل من خلال تحسين معيار تقدير، يُعرف باسم دالة الهدف.

تأخذ هذه الدالة البيانات ومعلمات النموذج كوسائط، ويمكن تقييمها لإرجاع رقم. تحتوي أي مشكلة معينة على بعض المعلمات التي يمكن تغييرها. هدفنا هو إيجاد قيم لهذه المعلمات إما لتعظيم أو تقليل هذا الرقم. عند تقليل معيار التقدير، يمكنك أيضًا تسميته دالة الخطأ، أو دالة الانحراف، أو دالة الفقد، أو دالة التكلفة. هذه المصطلحات متقاربة المعنى تقريبًا. جميعها تتلاقى عند نفس فكرة تقليل الفرق بين ما هو ملاحظ في مجموعة البيانات وما يتنبأ به النموذج. تُستخدم دالة التكلفة أكثر في مشاكل التحسين، وتُستخدم دالة الفقد في تقدير المعلمات.

يبدأ التحسين بمرحلة النمذجة، حيث يجب صياغة المشكلة المعطاة من حيث دالة الهدف، ومتغيرات القرار، والقيود. دالة الهدف هي القيمة التي تحاول تحسينها.

متغيرات القرار هي مدخلات لمشكلتك يُسمح للمحسّن بتغييرها لمحاولة تحسين قيمة دالة الهدف. القيود هي الشروط التي يجب أن تحققها متغيرات القرار حتى يكون القرار مقبولًا. هذا يسمح لنا بتوصيف المشكلة، والأهم من ذلك، حلها.

بشكل عام، ليس من الممكن حساب حل مشكلة التحسين مباشرةً من صياغتها.

بدلاً من ذلك، تتبع جميع خوارزميات التحسين العددية تقريبًا أسلوبًا تكراريًا.

يتم إعطاء نقطة حالية تمثل التقريب الحالي للحل. تحاول عملية التحسين التحرك نحو حل أفضل محتمل للوصول في النهاية إلى حل أمثل. لذا يجب أن يكون لدى الخوارزمية طريقة تحاول من خلالها حساب حل تقريبي للمشكلة.

من خلال تحليل هذه الطريقة، غالبًا ما يكون من الممكن تحديد مدى سرعة الطريقة في الاقتراب من الحل. على سبيل المثال، يُعد النزول التدرجي أحد أكثر خوارزميات التحسين عموميةً وقادرة على إيجاد حلول مثلى لمجموعة واسعة من المشكلات.

التدرج يعني انحدار المنحدر. الفكرة العامة للنزول التدرجي هي تعديل المعلمات بشكل تكراري من أجل تقليل دالة التكلفة.

يقيس التدرج المحلي لدالة الخطأ. ويتجه في اتجاه التدرج الهابط.

حجم الخطوة التي يجب اتخاذها يتحكم فيه معدل التعلم. يحدد معدل التعلم حجم الخطوة في تحسين النزول التدرجي. عندما يكون التدرج صفرًا، تكون قد وصلت إلى الحد الأدنى. تبدأ بقيم عشوائية. يُسمى هذا التهيئة العشوائية. ثم تقوم بتحسينها تدريجيًا، خطوة صغيرة في كل مرة، كل خطوة تحاول تقليل دالة التكلفة حتى تتقارب الخوارزمية إلى الحد الأدنى.

ونتيجة لذلك، يكون لكل تكرار مجموعة مختلفة من المعلمات المقدرة. على سبيل المثال، في حالة الشبكة العصبية، يتم إنشاء نموذج شبكة عصبية مختلف في كل تكرار.

في جوهر جميع خوارزميات تعلم الآلة تقريبًا توجد خوارزمية تحسين.

على سبيل المثال، تُستخدم خوارزمية تحسين بحث عالمي في نموذج الشبكة العصبية لتقدير الأوزان والانحرافات.

تُسمى هذه الأوزان والانحرافات عادةً معلمات. المعلمات الموضحة هنا مظللة باللون الأخضر.

لذا، المعلمات هي القيم التي يتم تعلمها من خلال البيانات أثناء عملية التدريب.

وهي الجزء من النموذج الذي يتم تعلمه من البيانات التاريخية. مثال آخر على المعلمات يشمل الميل ونقطة التقاطع في نموذج الانحدار الخطي. بالإضافة إلى ذلك، تتضمن عملية معالجة مشكلة تعلم الآلة اختيار فرط المعلمات للنموذج. فرط المعلمة هو المعلمة التي يتم تعيين قيمتها قبل مشكلة التدريب.

لا يمكن تعلمها من خلال ملاءمة النموذج للبيانات.

فرط المعلمات لا تتأثر بالتدريب. بعبارة أخرى، التدريب لا يؤدي إلى تغيير فرط المعلمات. بل تؤثر فرط المعلمات على جودة وسرعة التدريب. لذا، بطريقة ما، هذه المعلمات تقع خارج أو فوق عملية التدريب، ومن هنا جاءت تسميتها بفرط المعلمات.

على سبيل المثال، في نموذج الشبكة العصبية، يمكنك تحديد القيم لعدد الطبقات المخفية، وعدد الخلايا العصبية في كل طبقة، ومعدل التعلم أو تنظيم L1، L2، وما إلى ذلك، وهذه القيم لا يمكن تقديرها من خلال بيانات التدريب. وبالتالي، فهي فرط معلمات.

عند بناء نموذج، يمكنك تعيين قيمة فرط المعلمات للنموذج. يتم تحديد القيم المثلى باستخدام عملية تجريبية من خلال تعديل أو تكييف قيمها لمهمة تعلم آلة معينة.

تُسمى عملية تحديد قيم فرط المعلمات بضبط فرط المعلمات.

ومع ذلك، قد يكون وجود العديد من الخيارات أمرًا مربكًا. فكيف تختار أفضل القيم لهذه الفرط معلمات، خاصةً بالنظر إلى تأثيرها المتنوع على مجموعات البيانات المختلفة؟

تقوم منصة SAS Viya بأتمتة اختيار قيم فرط المعلمات باستخدام منهجية ذكية.

يمكن أن تعمل هذه الإمكانية على تحسين دقة النموذج الناتج بشكل كبير دون أي جهد إضافي من المصمم. تستخدم ميزة الضبط التلقائي خوارزميات التحسين لاختيار فرط المعلمات المثلى.

TopicTitle

Parameters versus Hyperparameters
Parameters	Hyperparameters
Estimated while training the model using optimization algorithms.	Specified before training of the model or autotuned using optimization algorithms.
These are learned by the model by itself and thus they are part of the model.	These are set manually or can be autotuned and thus are external to the model.
Parameters are essential for making predictions.	Hyperparameters are essential for controlling the training process.
Parameters are greatly affected by the values of hyperparameters.	Hyperparameters are not at all affected by the values of parameters.

We've discussed the definitions of model parameters and hyperparameters - and the difference between them. In brief, model parameters are internal to the model and estimated from data automatically. Hyperparameters are set manually, are used in the optimization of the model, and help in estimating the model parameters.

TopicTitle

If your predictions are totally off, your loss function will output a higher number. If they're pretty good, it'll output a lower number. As you change pieces of your algorithm to try to improve your model, your loss function will tell you if you're getting anywhere.

The error function is always a deviance function. An error function measures the deviation of an observable value from a prediction, whereas a loss function operates on the error to quantify the negative consequence of an error. Here it might be reasonable to posit that there is squared error loss, where the negative consequence of an error is quantified as being proportional to the square of the error. In other contexts, you might be more negatively affected by an error in a particular direction (for example, false positive versus false negative), and, thus, you might adopt a non-symmetric loss function. The error function is a purely statistical object, whereas the loss function is a decision-theoretic object that you are bringing in to quantify the negative consequences of error. The loss function is a value that is calculated at every instance. The cost function is usually more general. The cost function is calculated as an average of loss functions over your training set. In short, we can say that the loss function is a part of the cost function.

Question

Which of the following terms would you use for the following description?
The difference between what is observed in the data set and what is predicted by your model.

Correct.
The word 'error' is used in specified sense in statistics. It doesn't mean the same thing as a 'mistake'.
Mistake means wrong calculation or use of inappropriate method in the collection or analysis of data.
Error means the difference between the true value and the estimated value.
Random initialization can be described as starting an optimization process with random values of weights.
Iterations are the steps that the machine learning model takes while optimizing the model.

Incorrect.
The correct answer is c. The word 'error' is used in specified sense in statistics. It doesn't mean the same thing as a 'mistake'.
Mistake means wrong calculation or use of inappropriate method in the collection or analysis of data.
Error means the difference between the true value and the estimated value.
Random initialization can be described as starting an optimization process with random values of weights.
Iterations are the steps that the machine learning model takes while optimizing the model.

Question

Which of the following is true for finding the parameter values for neural networks?

Correct.
For some simple regression models, explicit formulas for the optimal estimates can be determined. Finding the parameter values for neural networks, however, is more difficult. Iterative numerical optimization methods are used. First, starting values are chosen. The starting values are equivalent to an initial guess at the parameter values. These values are updated to improve the estimates and reduce the error function. The updates continue until the estimates converge (in other words, there is no further progress).

Incorrect.
The correct answer is b. For some simple regression models, explicit formulas for the optimal estimates can be determined. Finding the parameter values for neural networks, however, is more difficult. Iterative numerical optimization methods are used. First, starting values are chosen. The starting values are equivalent to an initial guess at the parameter values. These values are updated to improve the estimates and reduce the error function. The updates continue until the estimates converge (in other words, there is no further progress).

في هذا العرض التوضيحي، استخدم خوارزمية تعلم آلي خاضعة للإشراف لتدريب نموذج شبكة عصبية.

باستخدام خطوة الشبكة العصبية، تقوم أيضًا بتقسيم البيانات لإجراء تقييم نزيه. وأخيرًا، تقوم بضبط قيم المعاملات الفائقة لتحسين أداء النموذج. تابع وافتح تدفقًا جديدًا. انقر على علامة الزائد بجانب أي علامة تبويب مفتوحة واختر "تدفق".

ثم من مكتبة VST، انقر على "PVA Donors Final" واسحبها وأفلتها في التدفق الجديد. ثم انتقل إلى قائمة الخطوات.

قم بالتمرير حتى ترى "التعلم الآلي". قم بتوسيع تلك المجموعة وانقر نقرًا مزدوجًا على "الشبكة العصبية".

تابع وقم بتوصيل "PVA Donors Final" بعقدة الشبكة العصبية. ثم انقر على "الشبكة العصبية".

سوف نقوم بتقسيم البيانات في "PVA Donors Final" إلى بيانات تدريب لتدريب النموذج وبيانات تحقق لتقييم النموذج. لذا في علامة التبويب "البيانات"، وتحت "تقسيم البيانات"، ضع علامة على "تضمين بيانات التحقق".

سنترك الخيار الافتراضي "تحديد نسبة العينة". ولكن إذا كان لدينا بالفعل بيانات مقسمة وكان لدينا متغير يشير إلى البيانات التي ستُستخدم للتدريب وتلك التي ستُستخدم للتحقق، كان بإمكاننا اختيار قيمة متغير التقسيم. لكن هنا، سنقوم بتقسيم بياناتنا عشوائيًا. لذا لنسبة حالات التحقق، أدخل 0.5. وهذا سيحفظ نصف البيانات للتدريب والنصف الآخر للتحقق. انقر على "بذرة الرقم العشوائي" وأدخل الرقم 1, 2, 3, 4, 5.

من الجيد عمومًا استخدام بذرة عشوائية في أي وقت تستخدم فيه الكمبيوتر لتوليد بيانات عشوائية. الهدف هنا هو السماح لك بتكرار نتائجك في أي وقت تشغل فيه هذا الكود. ولكن هناك ملاحظة هنا تقول إن تحديد بذرة رقم عشوائي قد لا يكرر النتائج في بيئة الحوسبة الموزعة. بسبب طريقة تخزين البيانات في شبكة Viya الخاصة بنا، قد لا نحصل على نفس النتائج تمامًا عند إعادة تشغيل هذا التدفق.

قم بالتمرير إلى حقل الهدف، وتأكد من تحديد "استخدام هدف اسمي". سنختار الهدف الاسمي المسمى "Response"، لذا انقر على علامة الزائد، واختر المتغير "Response"، ثم انقر موافق.

تحت المدخلات، سنحدد ثلاثة مدخلات متدرجة الفاصل. انقر على علامة الزائد بجانب كلمة "مدخلات الفاصل". سنختار "Gift Average 36"، و"Promotional Count All"، و"Promotional Count 36".

واختر موافق.

بالنسبة للمدخلات الاسمية، انقر على علامة الزائد، وسنختار "StatusCat96MK"، و"DemGender"، و"DemHomeOwner"، ثم اختر موافق.

بعد ذلك، انتقل إلى علامة التبويب "الخيارات". في علامة التبويب "الخيارات"، سننظر إلى الخيارات المحددة.

لاحظ الخيارات الافتراضية. نحن لا نستخدم الضبط التلقائي. وإذا قمنا بالتمرير للأسفل، يمكننا أن نرى أن طريقة التوحيد القياسي هي "التوحيد القياسي للمدى المتوسط". سيؤدي ذلك إلى تحويل جميع المتغيرات بحيث يكون لها قيمة دنيا -1 وقيمة قصوى 1. تتضمن هذه الشبكة العصبية طبقات مخفية. هناك طبقة مخفية واحدة ممثلة في هذا الصف. ويمكننا أن نرى أن هناك 50 عصبونًا أو وحدة مخفية في هذه الطبقة المخفية وأن دالة التفعيل المستخدمة هي "ظل التمام الزائدي". تحت تفاصيل التدريب، نرى أن خيار "إيقاف مبكر" محدد. وإذا قمنا بتوسيع قسم التحسين، يمكننا أن نرى أن طريقة "Broyden Fletcher Goldfarb Shano" ذات الذاكرة المحدودة تُستخدم للتحسين. هذا هو النهج الافتراضي. هناك أيضًا حقول لإدراج التنظيم L1 والتنظيم L2. وسنبدأ بترك هذه القيم الافتراضية.

سأحفظ هذا التدفق باسم "الشبكة العصبية" في مجلد VST.

ثم سأشغل التدفق. الآن، من الناحية المثالية، كنا نرغب في استخدام جميع الميزات التي أنتجتها عقدة اختيار المتغيرات التي استخدمناها في العرض التوضيحي السابق. لكن في هذا العرض، ومن أجل الاختصار فقط، نستخدم أفضل ست ميزات أو مدخلات فقط. انقر على "الكود المقدم والنتائج"، ولنلق نظرة على النتائج.

تتضمن علامة تبويب "معلومات النموذج" معلومات حول عدد المشاهدات المستخدمة لتدريب النموذج، وعدد الطبقات المخفية، والعقد المخفية، وعدد المعاملات المقدرة.

على سبيل المثال، يمكننا أن نرى عدد معاملات الأوزان، وهي الميل في نموذج الانحدار. هناك 750 ميلًا أو معامل انحدار يتم تقديرها. ثم عدد معاملات الانحياز، وهي نفس الأشياء مثل الثوابت. لذا هناك 52 ثابتًا يتم تقديرها في هذا النموذج. معدل الخطأ في التصنيف لهذا النموذج حوالي 49%.

يمكننا أن نرى جدول تاريخ التكرار الذي يُظهر أنه استغرق تسع خطوات لتلائم هذا النموذج. يمكننا أن نرى أن خطأ التحقق بدأ عند حوالي 0.51، ثم انخفض، ثم ارتفع مرة أخرى. وما يتم الإبلاغ عنه لنا هو النموذج الذي لديه أفضل خطأ تحقق. ويرجع ذلك إلى اختيار الإيقاف المبكر. قد نتمكن من تحسين أداء هذا النموذج، أي الحصول على معدل خطأ تصنيف أقل، عن طريق ضبط بعض المعاملات الفائقة. لذا سنعود إلى التدفق ونضبط معامل التنظيم L2. لذا انتقل مرة أخرى إلى التدفق وانقر على "الشبكة العصبية". وتحت علامة التبويب "الخيارات"، قم بالتمرير لأسفل.

إلى حقل التحسين وقم بتوسيعه.

سنغير هذا التنظيم L2 من 0.1 إلى 0.001.

ثم دعونا نشغل هذا التدفق المحدث ونعرض النتائج. تخبرنا علامة تبويب "معلومات النموذج" أن معدل الخطأ في التصنيف لمجموعة بيانات التحقق قد انخفض، وأصبح الآن حوالي 44%. هذا أقل قليلاً من النموذج السابق. استغرق الأمر عددًا أكبر بكثير من التكرارات لتلائم هذا النموذج. عند التمرير لأسفل، يمكننا أن نرى أن هناك 48 تكرارًا في المجموع.

لذا فإن ضبط المعاملات الفائقة هو إحدى الطرق التي يمكننا بها تحسين نموذج الشبكة العصبية. هناك شيء آخر يمكننا تجربته وهو تغيير المتغيرات التي أدرجناها، ربما بالعودة إلى عقدة اختيار المتغيرات واستخدام جميع المتنبئات التي اقترحتها في نموذج الشبكة العصبية هذا. النتائج التي تنتجها شبكتنا العصبية ليست قابلة للتفسير مثل نماذج الانحدار التي رأيناها سابقًا في الفصل. وغالبًا ما يُشار إلى هذا كأحد قيود نماذج التعلم الآلي. وسنتحدث عن هذا الموضوع في القسم التالي من الدورة.

دعونا نناقش كيفية جعل النماذج قابلة للتفسير، بدءًا من نموذج الصندوق الأبيض.

النماذج القابلة للتفسير بطبيعتها، والتي تُسمى أيضًا النماذج القابلة للتفسير، تدمج قابلية التفسير مباشرة في بنية النموذج، وبالتالي فهي تفسر نفسها بنفسها. أحد أنواع النماذج القابلة للتفسير شيوعًا هو النموذج الخطي المعمم (GLM)، والذي يشمل الانحدار الخطي والانحدار اللوجستي. تعكس تقديرات معاملات GLM مساهمات الميزات بشكل مباشر.

لذلك، يمكن تفسير هذه النماذج من خلال هذه المعاملات. بعض نماذج التعلم الآلي بسيطة وسهلة الفهم. على سبيل المثال، تعتبر شجرة القرار نموذجًا شفافًا أو نموذج صندوق أبيض لأنك تعرف كيف سيؤثر تغيير المدخلات على النتيجة المتوقعة ويمكنك تبرير كل توقع. تحقق النماذج القابلة للتفسير بطبيعتها قابلية التفسير غالبًا من خلال فرض قيود على ميزات

التنبؤ. يمكن أن تجعل القيود المفروضة على الميزات النماذج المعقدة أبسط وتزيد من قابلية فهم النموذج للمستخدمين.

ومع ذلك، فإن فرض هذه القيود يمكن أن يقلل أيضًا من قدرة النموذج التنبؤية مقارنة بالنموذج غير المقيد.

يمكن لخوارزميات التعلم الآلي الحديثة أن تقدم توقعات دقيقة من خلال نمذجة العلاقة المعقدة بين المدخلات والمخرجات.

ومع ذلك، يمكن أن تكون النماذج الناتجة معقدة بنفس القدر، مما يجعل من الصعب فهم العلاقة بين المدخلات والمخرجات. بسبب تعقيدها، تعتبر العديد من نماذج التعلم الآلي نماذج صندوق أسود، حيث تقدم توقعات دون شرح سبب وكيفية حدوثها. أحد أمثلة نماذج التعلم الآلي الصندوق الأسود هو نموذج الشبكة العصبية مع طبقة أو طبقتين مخفيتين. على الرغم من أنه يمكنك كتابة المعادلات التي تربط كل مدخل في النموذج بكل مخرج، إلا أنك قد لا تتمكن من فهم معنى هذه الروابط بمجرد فحص المعادلة.

هذا لا يتعلق بقصور النماذج بقدر ما يتعلق بقصور الإدراك البشري. غالبًا، كلما زادت دقة النموذج التنبؤية، أصبح من الأصعب تفسير آلية عمله الداخلية.

لذا، فإن كيفية إنشاء الخوارزمية للنموذج هي مشكلة أساسية.

شفافية الخوارزمية تتعلق بكيفية تعلم الخوارزمية للنموذج من البيانات ونوع العلاقات التي يمكن أن تتعلمها.

تتطلب شفافية الخوارزمية فقط معرفة الخوارزمية وليس البيانات أو النموذج المتعلم.

هنا تأتي تقنيات التفسير لتوفر عدسة يمكنك من خلالها رؤية هذه النماذج المعقدة.

على الرغم من أنه من الصحيح أن القليل من الفهم يمكن اكتسابه من خلال تحليل المعاملات الفعلية للشبكات العصبية والنماذج المرنة المماثلة، إلا أنه يمكن اكتساب الكثير من خلال تحليل التوقعات الناتجة. يمكن إنشاء نموذج بديل أبيض باستخدام التوقعات التي ينتجها النموذج العصبي المدرب مسبقًا كهدف. على سبيل المثال، يمكنك تقريب توقعات نموذج غير قابل للفهم بنموذج انحدار أو قرار. على سبيل المثال، يمكنك تقريب توقعات نموذج غير قابل للفهم بنموذج انحدار

يقوم هذا النموذج البديل بتقريب سلوك نموذج الصندوق الأسود، لكنه أسهل بكثير في الشرح من خلال فحص معاملات الانحدار. لا يجب أن يعمل هذا النموذج البديل بدقة عالية جدًا، الخط الأحمر المستقيم، لكنه يجب أن يقارب سلوك حدود قرار النموذج المدرب مسبقًا، الخط الأبيض المنحني، مع بعض فقدان العمومية.

الفكرة وراء النموذج البديل هي بناء نموذج سهل الفهم يصف مناطق القرار. بهذه الطريقة، يمكن فهم الخصائص التي استخدمتها الشبكة العصبية لاتخاذ القرار الأساسي، حتى لو لم يكن من الممكن فهم نموذج الشبكة العصبية نفسه. يمكن أن يوفر النموذج البديل تفسيرًا للنموذج، لكن لا يجب أبدًا الافتراض أن النموذج البديل يفسر الطبيعة الحقيقية لكيفية قيام النموذج الأصلي بالتنبؤات.

فكرة إنشاء نموذج بديل هي جوهر العديد من أساليب التفسير المستقلة عن النموذج والتي تُستخدم لشرح النماذج المدربة للتعلم الآلي الخاضع للإشراف، مثل الأشجار المعززة، والغابات، والشبكات العصبية. تشرح هذه التقنيات اللاحقة التوقعات لهذه النماذج من خلال التعامل مع النماذج كصناديق سوداء ثم توليد تفسيرات دون فحص معاملات النموذج الداخلية.

تتيح تقنيات التفسير المستقلة عن النموذج المتوفرة في SAS Viya تفسير النماذج المعقدة بالكامل إما بشكل عالمي أو محلي. يوفر التفسير العالمي شروحات حول السلوك العام للنموذج على مستوى جميع البيانات.

على سبيل المثال، قد يشرح التفسير العالمي أي المتغيرات لعبت دورًا مهمًا في بناء النموذج أو يصف تأثير كل ميزة على التنبؤ العام للنموذج.

مخططات أهمية المتغيرات ومخططات الاعتماد الجزئي هي تقنيات تفسير عالمية.

على النقيض من ذلك، تعزز التفسيرات المحلية فهم نقطة بيانات واحدة أو منطقة صغيرة من التوزيع، مثل مجموعة من سجلات الإدخال وتوقعاتها المقابلة، أو عشرية من التوقعات وسجلات الإدخال المقابلة لها.

نظرًا لأن الأقسام الصغيرة من التوزيع الشرطي من المرجح أن تكون خطية، يمكن أن تكون التفسيرات المحلية أكثر دقة من التفسيرات العالمية.

يمكنك التركيز على حالة واحدة وفحص ما يتوقعه النموذج لهذا الإدخال وشرح السبب.

يمكن تطبيق الطرق العالمية من خلال أخذ مجموعة من الحالات، والتعامل معها كما لو كانت المجموعة هي مجموعة البيانات الكاملة، واستخدام الطرق العالمية مع هذه العينة.

مرحبا بكم في الدورة *

تعرف على مدربيك *

الممارسة في هذا المقرر (إلزامي) *

SAS Viya in a Virtual Lab

Accessing SAS Viya from the Virtual Lab

Assigning Libraries and Loading Course Data

قاموس البيانات *

نظرة عامة على الدرس *

البيانات والاقتصادات الرقمية *

ما هي البيانات الضخمة؟ *

سؤال: البيانات الضخمة *

البيانات الضخمة أنتجت تطبيقات ذكية *

سؤال: رؤية الحاسوب *

معرفة الإحصائيات (1) *

عرض توضيحي: التعلم الآلي الآلي في SAS Studio *

معرفة الإحصائيات (2) *

أهمية الإحصاء في البيانات الضخمة *

المزيد عن أهمية الإحصاء في البيانات الضخمة *

Replicability

Stability

Heterogeneity

Causality

Uncertainty

الانتقال إلى عالم التعلم الآلي *

تحليل البيانات *

النمذجة الإحصائية: الثقافتان *

سؤال: ثقافات النمذجة *

مناهج النمذجة *

لماذا تعتبر الإحصاء مهمة في تعلم الآلة؟ *

رحلة من الإحصاء إلى التعلم الآلي *

المزيد عن الرحلة من الإحصاء إلى التعلم الآلي *

المصطلحات الأساسية *

سؤال: المصطلحات الأساسية (1) *

سؤال: المصطلحات الأساسية (2) *

نوع المتغير ومستوى القياس *

سؤال: مقاييس القياس *

نمذجة المفردات *

سؤال: نمذجة المفردات *

مقدمة عن SAS فييا *

خوادم SAS Viya *

المزيد عن SAS فييا *

CAS Sessions

SAS Viya Architecture

Front Ends

Processing

Accessing Data and Data Sources

Architecture: Single Machine

Architecture: Distributed Environment

SAS Cloud Analytic Services (CAS)

مقدمة عن تدفقات SAS Studio و SAS Studio *

سؤال: SAS Viya *

ملخص الدرس *

What have you learned?

نظرة عامة على الدرس *

التجمعات والعينات *

عملية التحليل الإحصائي *

سؤال: عينات *

العينات *

طرق أخذ العينات *

المزيد عن العينات *

Probability Sampling

Nonprobability Sampling

سؤال: طرق أخذ العينات *

أخذ عينات قائمة على الأحداث *

أخذ عينات زائدة وناقص العينة: المزايا والعيوب *

سؤال: أخذ عينات قائمة على الأحداث *

بيانات التحليل *

أهداف التحليل *

عرض توضيحي: قائمة الملاحظات *

وصف بياناتك *

مقاييس الميل المركزي *

مقاييس الموقف *

سؤال: الميل المركزي *

مقاييس التشتت *

سؤال: التشتت *

سؤال: إحصائيات ملخصة *

تصور التوزيعات *

المخططات التكرارية *

التوزيع الطبيعي (الغاوسي) *

فائدة التوزيع الطبيعي في تعلم الآلة *