مستقل شرطی

در نظریه احتمال، استقلال شرطی شرایطی را توصیف می‌کند که در هنگام ارزیابی قطعیت یک فرضیه یک مشاهده بی‌ربط یا اضافی است. استقلال شرطی معمولاً بر حسب احتمال شرطی نوشته می‌شود، به عنوان یک مورد خاص که در آن احتمال رخداد یک رویداد با توجه به یک مشاهده غیر اطلاعاتی برابر با احتمال رخداد بدون آن مشاهده است. اگر $A$ رخداد مورد نظر ما باشد و $B$ و $C$ مشاهدات باشند، استقلال شرطی را می‌توان به صورت زیر بیان کرد:

$P(A|B,C)=P(A|C)$

که $P(A|B,C)$ احتمال $A$ پس از مشاهده $B$ و $C$ است. از آنجایی که احتمال رخداد $A$ به شرط $C$ همان احتمال $A$ با توجه به هر دو مشاهده $B$ و $C$ است، این برابری بیانگر آن است که $B$ هیچ کمکی به قطعیت $A$ نمی‌کند. در این مورد، گفته می‌شود که $A$ و $B$ مشروط به C مستقل هستند، به صورت نمادین نوشته شده‌است: $(A\perp \perp B|C)$ .

مفهوم استقلال شرطی برای نظریه‌های استنتاج آماری مبتنی بر گراف ضروری است، زیرا یک رابطه ریاضی بین مجموعه‌ای از گزاره‌های شرطی و یک گرافوئید برقرار می‌کند.

استقلال شرطی رویدادها

اجازه دهید $A$ ، $B$ ، و $C$ رویداد هایمان باشد. گفته می‌شود که A و B مشروط به C مستقل هستند اگر و تنها اگر $P(C)>0$ و:

$P(A\mid B,C)=P(A\mid C)$

این ویژگی اغلب نوشته می‌شود: $(A\perp \perp B\mid C)$ .

به‌طور معادل، استقلال شرطی ممکن است به صورت زیر بیان شود:

$P(A,B|C)=P(A|C)P(B|C)$

جایی که $P(A,B|C)$ احتمال مشترک $A$ و $B$ به شرط $C$ است. این فرمول جایگزین بیان می‌کند که $A$ به شرط C و $B$ به شرط C رویدادهای مستقل هستند.

اثبات تعریف معادل ارائه شده

$P(A,B\mid C)=P(A\mid C)P(B\mid C)$

$\frac{P(A,B,C)}{P(C)}=\left(\frac{P(A,C)}{P(C)}\right)\left(\frac{P(B,C)}{P(C)}\right)$ (تعریف احتمال شرطی)

$P(A,B,C)=\frac{P(A,C)P(B,C)}{P(C)}$ ($P(C)$ را در هر دو طرف ضرب کنید)

$\frac{P(A,B,C)}{P(B,C)}=\frac{P(A,C)}{P(C)}$ ($P(B,C)$ را در هر دو طرف تقسیم کنید)

$P(A\mid B,C)=P(A\mid C)$ (تعریف احتمال شرطی) $\therefore$

جعبه‌های رنگی

هر سلول میتواند در گروه رویداد های مختلفی قرار بگیرد که رنگ آن را مشخص میکنند. رویداد $R$ ، $B$ و $Y$ به ترتیب با نواحی سایه دار الگو:قلم رنگ، الگو:قلم رنگ و الگو:قلم رنگ نشان داده می‌شوند. همپوشانی بین رویدادها $R$ و $B$ الگو:قلم رنگ سایه دار شده‌است.

احتمال این رویدادها نسبت ناحیه سایه دار هر کدام به کل مساحت است. در هر دو مثال $R$ و $B$ به شرط $Y$ مستقل داده شده‌اند زیرا:

$\mathrm{Pr}(R,B\mid Y)=\mathrm{Pr}(R\mid Y)\mathrm{Pr}(B\mid Y)$

اما به شرط $\left[\text{not }Y\right]$ مستقل نیستند زیرا:

$\mathrm{Pr}(R,B\mid \text{not }Y)=\mathrm{Pr}(R\mid \text{not }Y)\mathrm{Pr}(B\mid \text{not }Y)$

آب و هوا و تأخیر

فرض کنید دو رویداد A و B این باشند که دو نفر به موقع برای شام به خانه برسند و سومین رویداد درنوردید شهر توسط یک طوفان برفی باشد. در حالی که هر دو فرد در صورت وقوع طوفان به احتمال کمتری به موقع برای شام به خانه می‌رسند، این دو رویداد (A و B) همچنان مستقل از یکدیگر خواهند بود؛ یعنی دانستن اینکه اولی دیر رسیده‌است به شما نمی‌گوید که آیا فرد دیگر دیر خواهد رسید یا نه. البته در اینجا فرض شده‌است آنها در محله‌های مختلف زندگی کنند، مسافت‌های مختلفی را طی کنند و از روش‌های مختلف حمل و نقل استفاده کنند و اگر بدانیم آنها در یک محله زندگی می‌کنند، از حمل و نقل یکسان استفاده می‌کنند و در یک مکان کار می‌کنند، آنگاه این دو رویداد به صورت شرطی مستقل نیستند.

ریختن تاس

استقلال شرطی به ماهیت رویداد سوم بستگی دارد. اگر دو تاس بیندازید، ممکن است فرض شود که دو تاس مستقل از یکدیگر رفتار می‌کنند. با نگاه کردن به نتایج یک تاس نمی‌توانید در مورد نتیجه دومی صحبت کنید. (یعنی دو تاس مستقل هستند) با این حال، اگر نتیجه اولین تاس ۳ باشد، و شخصی در مورد رویداد سوم به شما بگوید - که مجموع دو نتیجه زوج است - در این صورت این واحد اطلاعات اضافی گزینه‌های نتیجه دوم را به یک عدد فرد محدود می‌کند. به عبارت دیگر، دو رویداد می‌توانند مستقل باشند، اما به‌طور مشروط مستقل نیستند.

قد و دایره لغات

قد و دایره لغات وابسته هستند زیرا افراد بسیار کوچک معمولاً کودک هستند و به خاطر واژگان اولیه خود شناخته می‌شوند. اما دانستن اینکه دو نفر ۱۹ ساله هستند (یعنی مشروط به سن) دلیلی وجود ندارد که فکر کنیم دایره لغات یک نفر بزرگتر است اگر به ما گفته شود قد آنها بلندتر است.

سنسور ضد حریق

یک سنسور ضد حریق را در نظر بگیرید که در صورت وجود دود در یک اتاق هشدار می‌دهد. حال رویداد A را هشدار دادن دستگاه، رویداد B را وجود آتش در اتاق و رویداد C را وجود دود در اتاق در نظر بگیرید. آیا رویداد A و B مستقل‌اند؟ خیر؛ زیرا در صورت دانستن رخداد هر کدام، احتمال رخ دادن دیگری افزایش پیدا می‌کند.

فرض کنید به ما گفته شود که رویداد C رخ داده‌است. حال آیا رویداد A و B مستقل‌اند؟ بله؛ زیرا در صورت دانستن رخداد هر کدام، احتمال رخ دادن دیگری تغییری نمی‌کند.

استقلال شرطی متغیرهای تصادفی

دو متغیر تصادفی

$X$

و

$Y$

با توجه به سومین متغیر تصادفی گسسته

$Z$

، به صورت شرطی مستقل هستند اگر و تنها اگر آنها در توزیع احتمال شرطی خود به شرط

$Z$

مستقل باشند. به این معنا که،

$X$

و

$Y$

به شرط

$Z$

مستقل هستند اگر و فقط اگر، با توجه به هر مقدار از

$Z$

، توزیع احتمال

$X$

برای همه مقادیر

$Y$

و توزیع احتمال

$Y$

برای همه مقادیر

$X$

باشند؛ یعنی:

جایی که

$F_{X,Y\mid Z=z}(x,y)=\mathrm{Pr}(X\le x,Y\le y\mid Z=z)$

تابع توزیع تجمعی

$X$

و

$Y$

به شرط

$Z$

است.

دو رویداد $R$ و $B$ با توجه به جبر σ $\mathrm{\Sigma }$ به صورت شرطی مستقل هستند اگر

$\mathrm{Pr}(R,B\mid \mathrm{\Sigma })=\mathrm{Pr}(R\mid \mathrm{\Sigma })\mathrm{Pr}(B\mid \mathrm{\Sigma })\text{ a.s.}$

جایی که $\mathrm{Pr}(A\mid \mathrm{\Sigma })$ نشان دهنده انتظار مشروط تابع شاخص رویداد است $A$ ، ${\chi }_A$ ، با توجه به جبر سیگما $\mathrm{\Sigma }$ . به این معنا که،

$\mathrm{Pr}(A\mid \mathrm{\Sigma }):=\mathrm{E}[{\chi }_A\mid \mathrm{\Sigma }].$

دو متغیر تصادفی $X$ و $Y$ با توجه به جبر σ یا $\mathrm{\Sigma }$ به صورت شرطی مستقل هستند اگر معادله بالا برای به ازای هر $R$ که در $\sigma (X)$ و $B$ که در $\sigma (Y)$ صدق کند.

دو متغیر تصادفی $X$ و $Y$ با توجه به یک متغیر تصادفی، مشروط به $W$ مستقل هستند اگر آنها به شرط (W)σ مستقل باشند که (W)σ جبر σ تولید شده توسط W است؛ یعنی:

$X\perp \perp Y\mid W$ یا $X\perp Y\mid W$

این خوانده می‌شود " $X$ مستقل از $Y$ است به شرط $W$ "؛ شرطی شدن برای کل رویداد به صورت زیر اعمال می‌شود: "($X$ مستقل از $Y$) به شرط $W$ ".

$(X\perp \perp Y)\mid W$

اگر $W$ مجموعه ای از مقادیر قابل شمارش را فرض شود، این معادل استقلال شرطی X و Y برای رویدادهای به شکل $[W=w]$ است. استقلال شرطی بیش از دو رویداد یا بیش از دو متغیر تصادفی به‌طور مشابه تعریف می‌شود.

دو مثال زیر این را نشان می‌دهد $X\perp \perp Y$ نه دلالت دارد و نه به وسیله $(X\perp \perp Y)\mid W$ . اول، فرض کنید $W$ با احتمال ۰٫۵ برار ۰ و در غیر این صورت ۱ است. زمانی که W = ۰ است $X$ و $Y$ را دو رویداد مستقل فرض کنید که هر کدام دارای مقدار ۰ با احتمال ۰٫۹۹ و در غیر این صورت مقدار ۱ هستند. زمانی $W=1$ ، $X$ و $Y$ دوباره مستقل هستند، اما این بار مقدار ۱ را با احتمال ۰٫۹۹ می‌گیرند. پس $(X\perp \perp Y)\mid W$ برقرار است. ولی $X$ و $Y$ وابسته هستند، زیرا Pr(X = 0) < Pr(X = 0| Y = ۰). این به این دلیل است که Pr(X = ۰) = ۰٫۵، اما اگر Y = ۰ پس به احتمال بسیار زیاد W = ۰ و بنابراین X = ۰ است و می‌رسیم به Pr(X = 0| Y = ۰) > ۰٫۵.

برای مثال دوم، فرض کنید $X\perp \perp Y$ ، هر کدام مقادیر ۰ و ۱ را با احتمال ۰٫۵ می‌گیرند. اجازه دهید $W$ محصول $X\cdot Y$ باشد. پس از آن زمانی که $W=0$ ، Pr(X = ۰) = ۲/۳، اما Pr(X = 0| Y = ۰) = ۱/۲، بنابراین $(X\perp \perp Y)\mid W$ نادرست است این نیز نمونه ای از Explaining Away است. با توجه به آموزش کوین مورفی $X$ و $Y$ ارزش‌های «مغز» و «ورزشی» را در نظر بگیرید.

استقلال شرطی بردارهای تصادفی

دو بردار تصادفی $𝐗=(X_1,\dots ,X_l{)}^{\mathrm{T}}$ و $𝐘=(Y_1,\dots ,Y_m{)}^{\mathrm{T}}$ با توجه به بردار تصادفی سوم $𝐙=(Z_1,\dots ,Z_n{)}^{\mathrm{T}}$ ، به صورت شرطی مستقل هستند اگر و فقط در صورتی که آنها در توزیع تجمعی مشروط به $𝐙$ خود مستقل باشند.

جایی که $𝐱=(x_1,\dots ,x_l{)}^{\mathrm{T}}$ ، $𝐲=(y_1,\dots ,y_m{)}^{\mathrm{T}}$ و $𝐳=(z_1,\dots ,z_n{)}^{\mathrm{T}}$ و توزیع‌های تجمعی مشروط به صورت زیر تعریف می‌شوند.

$\begin{array}{cc}{F}_{𝐗,𝐘\mid 𝐙=𝐳}(𝐱,𝐲)& =\mathrm{Pr}(X_1\le x_1,\dots ,X_l\le x_l,Y_1\le y_1,\dots ,Y_m\le y_m\mid Z_1=z_1,\dots ,Z_n=z_n)\\ F_{𝐗\mid 𝐙=𝐳}(𝐱)& =\mathrm{Pr}(X_1\le x_1,\dots ,X_l\le x_l\mid Z_1=z_1,\dots ,Z_n=z_n)\\ F_{𝐘\mid 𝐙=𝐳}(𝐲)& =\mathrm{Pr}(Y_1\le y_1,\dots ,Y_m\le y_m\mid Z_1=z_1,\dots ,Z_n=z_n)\end{array}$

موارد استفاده در استنتاج بیزی

فرض کنید p نسبت رأی دهندگانی باشد که در رفراندوم پیش روی «آری» خواهند داد. در انجام یک نظرسنجی ، n رای‌دهنده را به‌طور تصادفی از بین جمعیت انتخاب می‌شوند.X _i میتواد ۰ یا ۱ باشد و نشان می‌دهد آیا رای‌دهنده iام رای «بله» می‌دهد یا نه.

در یک رویکرد بیزی به استنتاج آماری، یک توزیع احتمال را به p اختصاص می‌دهیم، و احتمالات را به‌عنوان درجاتی از اعتقاد به این که p در هر بازه‌ای است تفسیر کنیم. که یک احتمال به آن اختصاص داده شده‌است. در آن مدل، متغیرهای تصادفی X ₁، …، X _n مستقل نیستند، اما با توجه به مقدار p به صورت شرطی مستقل هستند. به‌طور خاص، اگر تعداد زیادی از X‌ها برابر با ۱ مشاهده شود، این به معنای احتمال شرطی بالا است، با توجه به آن مشاهده، که p نزدیک به ۱ است، و بنابراین احتمال شرطی بالا، با توجه به آن مشاهده، که X بعدی که باید مشاهده شود برابر با ۱ خواهد بود.

قوانین استقلال مشروط

مجموعه ای از قواعد حاکم بر بیانیه‌های استقلال مشروط از تعریف اصلی مشتق شده‌است.

این قواعد توسط پرل و پاز "Axioms Graphoid " نامیده شدند زیرا در گراف‌ها وجود دارند، جایی که $X\perp \perp A\mid B$ به این معنا تفسیر می‌شود: "همه مسیرها از X تا A توسط مجموعه B قطع می‌شوند ".

تقارن

$X\perp \perp Y\Rightarrow Y\perp \perp X$

تجزیه

$X\perp \perp A,B\Rightarrow \text{ and }\{\begin{array}{c}X\perp \perp A\\ X\perp \perp B\end{array}$

اثبات

• $p_{X,A,B}(x,a,b)=p_X(x)p_{A,B}(a,b)$ (معنی $X\perp \perp A,B$)
• $\underset{B}{\int }{p}_{X,A,B}(x,a,b)db=\underset{B}{\int }{p}_X(x)p_{A,B}(a,b)db$ (متغیر B را با ادغام کردن آن نادیده بگیرید)
• $p_{X,A}(x,a)=p_X(x)p_A(a)$

اثبات

اتحادیه ضعیف

$X\perp \perp A,B\Rightarrow \text{ and }\{\begin{array}{c}X\perp \perp A\mid B\\ X\perp \perp B\mid A\end{array}$

اثبات

• بر اساس فرض، $\mathrm{Pr}(X)=\mathrm{Pr}(X\mid A,B)$ .
• به دلیل خاصیت تجزیه $X\perp \perp B$ ، $\mathrm{Pr}(X)=\mathrm{Pr}(X\mid B)$ .
• از ترکیب دو برابری فوق به دست می‌آید $\mathrm{Pr}(X\mid B)=\mathrm{Pr}(X\mid A,B)$ ، که برقرار می‌کند $X\perp \perp A\mid B$ .

شرط دوم را می‌توان به همین ترتیب اثبات کرد.

اختصار

$\begin{array}{c}X\perp \perp A\mid B\\ X\perp \perp B\end{array}\}\text{ and }\Rightarrow X\perp \perp A,B$

اثبات

این خاصیت را می‌توان با توجه ثابت کرد $\mathrm{Pr}(X\mid A,B)=\mathrm{Pr}(X\mid B)=\mathrm{Pr}(X)$ ، که هر برابری آن توسط $X\perp \perp A\mid B$ و $X\perp \perp B$ ، به ترتیب.

تقاطع

برای توزیع‌های احتمال کاملاً مثبت، موارد زیر نیز صادق است:

$\begin{array}{c}X\perp \perp Y\mid Z,W\\ X\perp \perp W\mid Z,Y\end{array}\}\text{ and }\Rightarrow X\perp \perp W,Y\mid Z$

با فرض:

$P(X|Z,W,Y)=P(X|Z,W)\wedge P(X|Z,W,Y)=P(X|Z,Y)⟹P(X|Z,Y)=P(X|Z,W)$

با استفاده از این برابری، همراه با قانون احتمال کل در $P(X|Z)$ اعمال می‌شود:

$\begin{array}{cc}P(X|Z)& =\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)\\ & =\sum _{w\in W}P(X|Y,Z)P(W=w|Z)\\ & =P(X|Z,Y)\sum _{w\in W}P(W=w|Z)\\ & =P(X|Z,Y)\end{array}$

از آنجا که $P(X|Z,W,Y)=P(X|Z,Y)$ و $P(X|Z,Y)=P(X|Z)$ ، نتیجه می‌شود که $P(X|Z,W,Y)=P(X|Z)⟺X\perp \perp Y,W|Z$ .

نکته فنی: از آنجایی که این مفاهیم برای هر فضای احتمالی صدق می‌کنند، اگر کسی یک جهان فرعی را با شرطی کردن همه چیز بر روی متغیر دیگری در نظر بگیرد، همچنان پابرجا خواهد بود. ک. مثلاً، $X\perp \perp Y\Rightarrow Y\perp \perp X$ همچنین به این معنی است که $X\perp \perp Y\mid K\Rightarrow Y\perp \perp X\mid K$ .

جستارهای وابسته

• گرافوئید
• وابستگی مشروط
• قضیه دی فینتی
• انتظار مشروط