فرایند مارکوف

به زبان ساده، فرایند مارکوف یعنی محل بعدی یک متغیر تصادفی بدون حافظه را فقط با دانستن محل فعلی آن می‌توان براورد.

قضیه

ریاضیدان روسی به نام آندری مارکوف اندیشید که قدم بعدی یک مجنون در یک محوطه باز، فقط به قدم فعلی او وابسته است. سپس فرایند مارکوف را تعریف و کمی سازی کرد.

فرایند مارکف

دنباله‌ای از متغیرهای تصادفی را در نظر گرفته و فرض کنید مجموعه مقادیر ممکن که این متغیرها انتخاب می‌کنند برابر با $0,1,...$ باشد. اگر $x_n$ را به عنوان حالتی از یک سیستم در لحظه $n$ در نظر گرفته و چنین تفسیر کنیم که سیستم در لحظه $n$ در حالت $i$ است هرگاه $x_n=i$ باشد آنگاه دنباله متغیرهای تصادفی اصطلاحاً تشکیل یک زنجیر مارکف می‌دهد. اگر هروقت سیستم در حالت $i$ است با احتمال ثابتی که ان را $p_{ij}$ می‌نامیم به حالت $j$ تغییر حالت دهد. برای همه مقادیر $i_0,i_1,...$ داریم : $Pr\{X_{n+1}=j\mid X_n=i,X_{n-1}=i_{n-1},...,X_0=i_0\}$

اگر این احتمال‌ها را درون یک ماتریس قرار دهیم ماتریسی به شکل زیر بدست میآد که به آن ماتریس احتمال انتقال transition probability matrix یا ماتریس مارکف گویند. $P=[p_{ij}]$اگر به سطر i+۱ ام نگاه کنید توزیع احتمال X_{n+۱} را به شرط آنکه X_n =i باشد به شما نشان می‌دهد.

مثال

۱ - مجموع متغیرهای تصادفی و مستقل همتوزیع (قدم زدن تصادفی کلی): فر ض کنید $i\ge 0,X_i$ مستقل و همتوزیع باشد $Pr\{X_i=j\}=a_j,j=0,1,...,\pm 1$ باشند اگر فرض کنید $S_n=\sum _{i=1}^n{X}_i,S_0=0$ آنگاه $\{S_n,n\ge 0\}$ یک فرایند مارکف است که برای آن $P_{ij}=a_{j-i}$ قدم تصادفی کلی گوییم این نوع قدم زدن در مسایل بسیاری کار برد دارند برای مثال در مدل بندی بردهای قمارباز یا در قیمت‌های متوالی شرکت معینی که در بازار سهام فهرست شده‌اند. هم چنین در تحلیل سیستم‌های صف بندی ورشکستگی کاربرد دارند. ۲-قدم زدن تصادفی ساده: قدم زدن $S_n,n\ge 0$که در آن

$S_n=\sum _{i=1}^n{X}_i$

را قدم زدن تصادفی ساده گوییم اگر Pیی موجود باشد به قسمی که

                           $Pr(X_i=1)=p,Pr(X_i=-1)=1-p,0<p<1$

بنابراین در فرایند قدم زدن تصادفی همیشه۱ پله با احتمال$P$ به بالا می‌رود و با احتمال $1-P$ به پایین می‌آید. قضیه: اگر $X_n$ زنجیر مارکف گسسته زمان باشد به‌علاوه اگر P ماتریس احتمال انتقال ۱ مرحله‌ای باشد نشان می‌دهیم که $P^n$ ماتریس احتمال انتقال n مرحله‌ای خواهد بود. اثبات: اثبات به روش استقراست ابتدا برای n=۲ ثابت می‌کنیم

$\begin{array}{cc}{P}_{ij}^{(2)}& =Pr\{X_{k+2}\mid X_k=i\}=\frac{Pr\{X_{k+2},X_k=i\}}{Pr\{X_k=i\}}\\ & =\frac{\sum _{l=1}^{\mathrm{\infty }}Pr\{X_{k+2}=j,X_{k+1}=l,X_k=i\}}{Pr\{X_k=i\}}\\ & =\sum _{l=1}^{\mathrm{\infty }}\frac{Pr\{X_{k+2}=j,X_{k+1}=l,X_k=i\}}{Pr\{X_{k+1}=l,X_k=i\}}\times \frac{Pr\{X_{k+1}=l,X_k=i\}}{Pr\{X_k=i\}}\\ \end{array}$

با توجه به خاصیت مارکف هر مرحله فقط به یکی قبل از خود بستگی دارد $=\sum _{l=1}^{\mathrm{\infty }}Pr\{X_{k+2}=j\mid X_{k+1}=l\}\times Pr\{X_{k+1}=l\mid X_k=i\}=\sum _{l=1}^{\mathrm{\infty }}{P}_{il}{P}_{lj}=P_{ij}^{(2)}$

حال اگر فرض کنیم که این رابطه برای n=k درست باشد آن را برای k+۱ ثابت می‌کنیم.

$\begin{array}{cc}& P^{n+1}=(P_{ij}^{(n+1)})\\ & P_{ij}^{(n+1)}=Pr\{X_{n+k+1}\mid X_k=i\}\\ & =\frac{Pr\{X_{n+k+1},X_k=i\}}{Pr\{X_k=i\}}\\ & =\frac{\sum _{l=1}^{\mathrm{\infty }}Pr\{X_{n+k+1}=j,X_{k+n}=l,X_k=i\}}{Pr\{X_k=i\}}\\ & =\sum _{l=1}^{\mathrm{\infty }}\frac{Pr\{X_{n+k+1}=j,X_{k+n}=l,X_k=i\}}{Pr\{X_{k+n}=l,X_k=i\}}\times \frac{Pr\{X_{k+n}=l,X_k=i\}}{Pr\{X_k=i\}}\\ & =\sum _{l=1}^{\mathrm{\infty }}Pr\{X_{k+n+1}=j\mid X_{k+n}=l\}\times Pr\{X_{k+n}=l\mid X_k=i\}\\ & =\sum _{l=1}^{\mathrm{\infty }}{P}_{il}^{(n)}{P}_{lj}=P^{(n)}P=P^{n}P=P^{n+1}\end{array}$

برابری چپمن – کولموگروف

اگر احتمال تغییر وضعیت n مرحله‌ای را برابر $P_{ij}^{(n)}$ بگیریم داریم: $P^{(m)}{P}^{(n)}=P^{(n+m)}$

اثبات: با توجه به قضیه بالا داریم: $P^{(m)}{P}^{(n)}=P^m{P}^n=P^{m+n}=P^{(m+n)}$

۱- وضعیت‌های در دسترس (Accessible State)

وضعیت j در دسترس وضعیت i نامیم و با

$i⟶j$

نشان می‌دهیم اگر و تنها اگر

$\mathrm{\exists }n\in 0,1,...s.t{P}_{ij}^n\ge 0$

اگر $\mathrm{\forall }n\in 0,1,2,...P_{ij}^n=0$

j در دسترس i است.

۲- وضعیت‌های مرتبط(Communicate State)

وضعیت iوj را مرتبط می‌نامیم اگر و تنها اگر j در دسترس iو iدر دسترس j باشد مرتبط بودن را با نماد$\leftrightarrow$ مشخص می‌کنیم

قضیه

مرتبط بودن یک رابطه هم‌ارزی است.

اثبات: $i\in S$ بدیهی است $i\leftrightarrow i$ چون$P_{ii}^0=1>0$ مرتبط بودن دارای خاصیت بازتابی است. $i\leftrightarrow j\equiv \mathrm{\exists }n\in \{0,1,...\}{P}_{ij}^n>0\mathrm{\exists }m\in \{0,1,...\}{P}_{ij}^m>0\equiv j\leftrightarrow i$

مرتبط بودن دارای خاصیت تقارنی است.

$i\leftrightarrow j,j\leftrightarrow k$

$\mathrm{\exists }n\in \{0,1,..\}{P}_{ij}^n>0\mathrm{\exists }{n}_1\in \{0,1,...\}{P}_{jk}^{n_1}>0$

$\mathrm{\exists }m\in \{0,1,...\}{P}_{ji}^m>0\mathrm{\exists }{n}_2\in \{0,1,..\}{P}_{kj}^{n_2}>0$

می‌دانیم

$P_{ik}^{n+n_1}=\sum _{l=1}^{\mathrm{\infty }}{P}_{il}^n{P}_{lk}^{n_1}\ge P_{ij}^n{P}_{jk}^{n_1}>0$

$P_{ki}^{m+n_2}=\sum _{l=1}^{\mathrm{\infty }}{P}_{kl}^m{P}_{li}^{n_2}\ge P_{kj}^m{P}_{ji}^{n_2}>0$

$i\leftrightarrow k$ بنا بر این مرتبط بودن یک کلاس هم‌ارزی است.

منابع

• Weisstein, Eric W. "Markov Process." From MathWorld—A Wolfram Web Resource.

A first course in stochastic processes , samuel karlin academic press1969

الگو:پایان چپ‌چین فرایندهای تصادفی / شلدون. م. راس/ترجمه عین‌الله پاشا / مرکز نشر دانشگاهی تهران/۱۳۸۵ الگو:داده‌های کتابخانه‌ای