خانواده نمایی

از testwiki
نسخهٔ تاریخ ۲۷ آوریل ۲۰۲۴، ساعت ۱۰:۰۲ توسط 2.182.201.5 (بحث) (حالت پارامتر و متغیر برداری)
(تفاوت) → نسخهٔ قدیمی‌تر | نمایش نسخهٔ فعلی (تفاوت) | نسخهٔ جدیدتر ← (تفاوت)
پرش به ناوبری پرش به جستجو

در آمار و احتمال، خانواده نمایی گروه مهمی از توزیع‌های احتمالی است که دارای ویژگی‌های مشترکی هستند و در قالب خاصی قرار می‌گیرند. این قالب مشترک برای سهولت در اعمال ریاضی، درک بهتر و کلیت بخشیدن به مسائل مفید است. ایدهٔ خانواده نمایی اولین بار توسط پیتمن،[۱] دارمویس[۲] و کوپمن[۳] در ۱۹۳۵ میلادی ارائه شد.

گاهی به جای خانواده نمایی عبارت رسته نمایی یا کلاس نمایی نیز استفاده می‌شود. بسیاری از توزیع‌های معروف در گروه خانواده نمایی قرار می‌گیرند. توزیع‌های نرمال، نمایی، گاما، مربع-کای، بتا، دریخله، برنولی، دوجمله‌ای، چندجمله‌ای، پواسون و بسیاری دیگر از این گروهند. از معروفترین توزیع‌هایی که در این خانواده قرار نمی‌گیرند می‌توان از توزیع یکنواخت، کوشی و تی-استودنت نام برد. با توجه به این گستردگی، می‌توان چهارچوبی برای انتخاب گونه‌ای دیگر از پارامترسازی برای توزیع‌ها در نظر گرفت که به عنوان پارامتر طبیعی مطرح می‌شود و در ادامه شرح داده می‌شود.

تعریف

حالت پارامتر عددی

خانواده نمایی یک متغیره، دسته‌ای از توزیع‌های احتمال هستند که تابع چگالی احتمال آن‌ها (یا تابع جرم احتمال آن‌ها در حالت گسسته) دارای قالبی به صورت زیر باشد: الگو:چپ‌چین

fX(x|θ)=h(x)exp(η(θ)T(x)  A(θ))

الگو:پایان چپ‌چین که T(x)، h(x)، η(θ)، وA(θ) توابع شناخته شده‌ای هستند.

عبارت هم ارز به صورت زیر نیز گاهی متداول است: الگو:چپ‌چین

fX(x|θ)=h(x)g(θ)exp(η(θ)T(x))

الگو:پایان چپ‌چین مقدار θ پارامتر خانواده نامیده می‌شود.

باید توجه نمود که x معمولاً برداری از مقادیر مشاهدات است، در این حالت T(x)، یک آماره یعنی تابعی از فضای نمونه به مقادیر ممکن x در اعداد حقیقی است به این معنی که تناسبهای درست نمایی دو داده x و y نسبت به دو پارامتر θ1و θ2 یکسان است اگر تابع T() برای هر دو داده یکسان باشد یعنی f(x;θ1)f(x;θ2)=f(y;θ1)f(y;θ2) اگر T(x)=T(y).

حالت پارامتر برداری

تعریف ارائه شده برای حالت یک متغیره را می‌توان به حالتی که با برداری از پارامتر θ=(θ1,θ2,,θd)T مواجه هستیم نیز گسترش داد. یک خانواده از توزیع‌ها در خانواده نمایی چند متغیره قرار می‌گیرد اگر بتوان تابع چگالی (یا جرم) احتمال آن را در قالب زیر قرار داد: الگو:چپ‌چین

fX(x|θ)=h(x)exp(i=1sηi(θ)Ti(x)A(θ))

الگو:پایان چپ‌چین با استفاده از ضرب برداری می‌توان رابطهٔ بالا را به صورت زیر نیز نوشت: الگو:چپ‌چین

fX(x|θ)=h(x)exp(η(θ)𝐓(x)A(θ))

الگو:پایان چپ‌چین حالت هم ارز و متداول نیز به صورت زیر است: الگو:چپ‌چین

fX(x|θ)=h(x)g(θ)exp(η(θ)𝐓(x))

الگو:پایان چپ‌چین

حالت پارامتر و متغیر برداری

متغیر x می‌تواند برداری باشد 𝐱={x1,x2,,xk}. توجه کنید که در این حالت لزومی ندارد که بعد بردار متغیر با بعد بردار پارامتر یکسان باشد. در این حالت شکل کلی خانواده نمایی به صورت زیر است: الگو:چپ‌چین

fX(𝐱|θ)=h(𝐱)exp(i=1nηi(θ)Ti(𝐱)A(θ))

الگو:پایان چپ‌چین که به صورت زیر ساده می‌شود: الگو:چپ‌چین

fX(𝐱|θ)=h(𝐱)exp(η(θ)𝐓(𝐱)A(θ))

الگو:پایان چپ‌چین و با عبارت زیر هم ارز است: الگو:چپ‌چین

fX(𝐱|θ)=h(𝐱)g(θ)exp(η(θ)𝐓(𝐱))

الگو:پایان چپ‌چین

مثال: توزیع نرمال با واریانس معلوم

توزیع نرمال با واریانس معلوم به صورت fσ(x;μ)=12π|σ|e(xμ)2/2σ2. است که می‌توان توابع زیر را در قالب خانواده نمایی قرار داد: الگو:چپ‌چین

hσ(x)=ex2/2σ2/2π|σ|
Tσ(x)=x/σ
Aσ(μ)=μ2/2σ2
ησ(μ)=μ/σ.

الگو:پایان چپ‌چین بنابراین توزیع نرمال با واریانس معلوم به خانواده نمایی با پارامتر μ تعلق دارد.


مثال: توزیع دو جمله‌ای

تابع چگالی احتمال برای n آزمایش برنولی برابر است با:

f(x)=(nx)px(1p)nx,x{0,1,2,,n}.

این تابع را می‌توان به شکل پایین نوشت که نشان می‌دهد توزیع دوجمله‌ای به خانواده نمایی تعلق دارد، در این معادله η=logp1p:

f(x)=(nx)exp(xlog(p1p)+nlog(1p)).

جدول توزیع‌های معروف خانواده نمایی

الگو:وسط‌چین

توزیع θ η تابع پارامتر معکوس h(x) T(x) A(η) A(θ)
Bernoulli distribution p lnp1p 11+eη=eη1+eη 1 x ln(1+eη) ln(1p)
binomial distribution
with known number of trials n
p lnp1p 11+eη=eη1+eη (nx) x nln(1+eη) nln(1p)
Poisson distribution λ lnλ eη 1x! x eη λ
negative binomial distribution
with known number of failures r
p lnp eη (x+r1x) x rln(1eη) rln(1p)
exponential distribution λ λ η 1 x ln(η) lnλ
Pareto distribution
with known minimum value xm
α α1 1η 1 lnx ln(1η)+(1+η)lnxm lnααlnxm
Weibull distribution
with known shape k
λ 1λk (η)1k xk1 xk ln(η)lnk klnλlnk
Laplace distribution
with known mean μ
b 1b 1η 1 |xμ| ln(2η) ln2b
chi-squared distribution ν ν21 2(η+1) ex2 lnx lnΓ(η+1)+(η+1)ln2 lnΓ(ν2)+ν2ln2
normal distribution
known variance
μ μσ ση ex22σ22πσ xσ η22 μ22σ2
normal distribution μ,σ2 [μσ212σ2] [η12η212η2] 12π [xx2] η124η212ln(2η2) μ22σ2+lnσ
lognormal distribution μ,σ2 [μσ212σ2] [η12η212η2] 12πx [lnx(lnx)2] η124η212ln(2η2) μ22σ2+lnσ
inverse Gaussian distribution μ,λ [λ2μ2λ2] [η2η12η2] 12πx32 [x1x] 2η1η212ln(2η2) λμ12lnλ
gamma distribution α,β [α1β] [η1+1η2] 1 [lnxx] lnΓ(η1+1)(η1+1)ln(η2) lnΓ(α)αlnβ
k, θ [k11θ] [η1+11η2] lnΓ(k)+klnθ
inverse gamma distribution α,β [α1β] [η11η2] 1 [lnx1x] lnΓ(η11)(η11)ln(η2) lnΓ(α)αlnβ
scaled inverse chi-squared distribution ν,σ2 [ν21νσ22] [2(η1+1)η2η1+1] 1 [lnx1x] lnΓ(η11)(η11)ln(η2) lnΓ(ν2)ν2lnνσ22
beta distribution α,β [αβ] [η1η2] 1x(1x) [lnxln(1x)] lnΓ(η1)+lnΓ(η2)lnΓ(η1+η2) lnΓ(α)+lnΓ(β)lnΓ(α+β)
multivariate normal distribution μ,Σ [Σ1μ12Σ1] [12η21η112η21] (2π)k2 [𝐱𝐱𝐱T] 14η1Tη21η112ln|2η2| 12μTΣ1μ+12ln|Σ|
categorical distribution p1,...,pk

where i=1kpi=1
[lnp1lnpk] [eη1eηk]

where i=1keηi=1
1 [[x=1][x=k]]
  • [x=i] is the Iverson bracket (1 if x=i, 0 otherwise).
0 0
categorical distribution p1,...,pk

where i=1kpi=1
[lnp1+Clnpk+C] [1Ceη11Ceηk]=

[eη1i=1keηieηki=1keηi]

where i=1keηi=C

1 [[x=1][x=k]]
  • [x=i] is the Iverson bracket (1 if x=i, 0 otherwise).
0 0
categorical distribution p1,...,pk

where pk=1i=1k1pi
[lnp1pklnpk1pk0]=

[lnp11i=1k1pilnpk11i=1k1pi0]
[eη1i=1keηieηki=1keηi]=

[eη11+i=1k1eηieηk11+i=1k1eηi11+i=1k1eηi]

1 [[x=1][x=k]]
  • [x=i] is the Iverson bracket (1 if x=i, 0 otherwise).
ln(i=1keηi)=ln(1+i=1k1eηi) lnpk=ln(1i=1k1pi)
multinomial distribution
with known number of trials n
p1,...,pk

where i=1kpi=1
[lnp1lnpk] [eη1eηk]

where i=1keηi=1
n!i=1kxi! [x1xk] 0 0
multinomial distribution
with known number of trials n
p1,...,pk

where i=1kpi=1
[lnp1+Clnpk+C] [1Ceη11Ceηk]=

[eη1i=1keηieηki=1keηi]

where i=1keηi=C

n!i=1kxi! [x1xk] 0 0
multinomial distribution
with known number of trials n
p1,...,pk

where pk=1i=1k1pi
[lnp1pklnpk1pk0]=

[lnp11i=1k1pilnpk11i=1k1pi0]
[eη1i=1keηieηki=1keηi]=

[eη11+i=1k1eηieηk11+i=1k1eηi11+i=1k1eηi]

n!i=1kxi! [x1xk] nln(i=1keηi)=nln(1+i=1k1eηi) nlnpk=nln(1i=1k1pi)
Dirichlet distribution α1,...,αk [α1αk] [η1ηk] 1i=1kxi [lnx1lnxk] i=1klnΓ(ηi)lnΓ(i=1kηi) i=1klnΓ(αi)lnΓ(i=1kαi)
Wishart distribution V,n [12𝐕1np12] [12η112η2+p+1] 1 [𝐗ln|𝐗|] (η2+p+12)ln|η1|

      +lnΓp(η2+p+12)=
n2ln|η1|+lnΓp(n2)=
(η2+p+12)(pln2+ln|𝐕|)
      +lnΓp(η2+p+12)

n2(pln2+ln|𝐕|)+lnΓp(n2)
inverse Wishart distribution Ψ,m [12Ψm+p+12] [2η1(2η2+p+1)] 1
normal-gamma distribution α,β,μ,λ [α12βλμ22λμλ2] [η1+12η2+η324η4η32η42η4] 12π [lnτττxτx2] lnΓ(η1+12)12ln(2η4)

      (η1+12)ln(η2+η324η4)

lnΓ(α)αlnβ12lnλ

الگو:پایان

منابع

الگو:پانویس الگو:چپ‌چین

الگو:پایان چپ‌چین الگو:توزیع‌های احتمالات الگو:آمار