توزیع برنولی پیوسته

الگو:Probability distribution توزیع برنولی پیوسته^[۱]^[۲]^[۳] در نظریه احتمالات، آمار و یادگیری ماشین، خانواده‌ای از توزیع‌های احتمال پیوسته‌است که توسط پارامتر $λ \in (0, 1)$ تعریف می‌شود. بازه این توزیع $[0, 1]$ است و به این شکل تعریف می‌شود: الگو:وسط‌چین

p (x | λ) \propto λ^{x} (1 - λ)^{1 - x} .

الگو:پایان وسط‌چین توزیع پیوسته برنولی در یادگیری عمیق و بینایی رایانه‌ای، به‌ویژه در زمینه رمزگذارهای خودکار متغیر^[۴]^[۵] برای مدل‌سازی پیکسل‌های تصاویر طبیعی مورد استفاده قرار می‌گیرد. به این ترتیب، یک همتای احتمالی مناسب برای از دست دادن آنتروپی متقاطع باینری که معمولاً مورد استفاده قرار می‌گیرد، تعریف می‌کند که اغلب برای پیوسته اعمال می‌شود. $[0, 1]$ داده‌های با ارزش^[۶]^[۷]^[۸]^[۹] این عمل به معنای نادیده گرفتن ثابت نرمال کننده توزیع پیوسته برنولی است، زیرا از دست دادن آنتروپی متقاطع باینری تنها یک احتمال لگ واقعی را برای گسسته تعریف می‌کند. ${0, 1}$ داده‌های با ارزش

برنولی پیوسته نیز یک خانواده نمایی از توزیع‌ها را تعریف می‌کند. نوشتن $η = \log (λ / (1 - λ))$ برای پارامتر طبیعی، چگالی را می‌توان به شکل متعارف بازنویسی کرد: $p (x | η) \propto \exp (η x)$ .

توزیع‌های مرتبط

توزیع برنولی

برنولی پیوسته را می‌توان به عنوان نسخه پیوسته توزیع برنولی در نظر گرفت که بر روی مجموعه گسسته ${0, 1}$ و به وسیله تابع چگالی احتمال پایین تعریف می‌شود: الگو:وسط‌چین

p (x) = p^{x} (1 - p)^{1 - x},

الگو:پایان وسط‌چین جایی که $p$ یک پارامتر عددی بین ۰ و ۱ است. اعمال همین تابع در بازه پیوسته $[0, 1]$ منجر به ضریبی از تابع چگالی احتمال پیوسته برنولی می‌شود.

توزیع بتا

توزیع بتا تابع چگالی را پایین را دارد: الگو:وسط‌چین

p (x) \propto x^{α - 1} (1 - x)^{β - 1},

الگو:پایان وسط‌چین که می‌توان آن را به این شکل نوشت: الگو:وسط‌چین

p (x) \propto x_{1}^{α_{1} - 1} x_{2}^{α_{2} - 1},

الگو:پایان وسط‌چین در اینجا $α_{1}, α_{2}$ پارامترهای عددی مثبت هستند و $(x_{1}, x_{2})$ نشان دهنده یک نقطه دلخواه در داخل سادک $Δ^{1} = {(x_{1}, x_{2}) : x_{1} > 0, x_{2} > 0, x_{1} + x_{2} = 1}$ می‌باشد. با تعویض نقش پارامتر و ورودی در این تابع چگالی، عبارت پایین را به دست می‌آوریم: الگو:وسط‌چین

p (x) \propto α_{1}^{x_{1}} α_{2}^{x_{2}} .

الگو:پایان وسط‌چین با اعمال محدودیت $α_{1} + α_{2} = 1$ و تغییر متغیر $λ = α_{1}$ به عبارت پایین خواهیم رسید: الگو:وسط‌چین

p (x) \propto λ^{x_{1}} (1 - λ)^{x_{2}},

الگو:پایان وسط‌چین که دقیقاً مطابق با چگالی برنولی پیوسته‌است.

توزیع نمایی

توزیع نمایی محدود به بازه ۰ تا ۱ معادل توزیع برنولی پیوسته با پارامتر مناسب است.

توزیع طبقه ای مستمر

تعمیم چند متغیره برنولی پیوسته، پیوسته-دسته‌ای نامیده می‌شود.^[۱۰]

جستارهای وابسته

منابع

الگو:پانویس

↑ Loaiza-Ganem, G. , & Cunningham, J. P. (2019). The continuous Bernoulli: fixing a pervasive error in variational autoencoders. In Advances in Neural Information Processing Systems (pp. 13266-13276).
↑ PyTorch Distributions. https://pytorch.org/docs/stable/distributions.html#continuousbernoulli
↑ Tensorflow Probability. https://www.tensorflow.org/probability/api_docs/python/tfp/edward2/ContinuousBernoulli الگو:Webarchive
↑ Kingma, D. P. , & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.
↑ Kingma, D. P. , & Welling, M. (2014, April). Stochastic gradient VB and the variational auto-encoder. In Second International Conference on Learning Representations, ICLR (Vol. 19).
↑ Larsen, A. B. L. , Sønderby, S. K. , Larochelle, H. , & Winther, O. (2016, June). Autoencoding beyond pixels using a learned similarity metric. In International conference on machine learning (pp. 1558-1566).
↑ Jiang, Z. , Zheng, Y. , Tan, H. , Tang, B. , & Zhou, H. (2017, August). Variational deep embedding: an unsupervised and generative approach to clustering. In Proceedings of the 26th International Joint Conference on Artificial Intelligence (pp. 1965-1972).
↑ PyTorch VAE tutorial: https://github.com/pytorch/examples/tree/master/vae.
↑ Keras VAE tutorial: https://blog.keras.io/building-autoencoders-in-keras.html.
↑ Gordon-Rodriguez, E. , Loaiza-Ganem, G. , & Cunningham, J. P. (2020). The continuous categorical: a novel simplex-valued exponential family. In 36th International Conference on Machine Learning, ICML 2020. International Machine Learning Society (IMLS).

[1] Loaiza-Ganem, G. , & Cunningham, J. P. (2019). The continuous Bernoulli: fixing a pervasive error in variational autoencoders. In Advances in Neural Information Processing Systems (pp. 13266-13276).

[2] PyTorch Distributions. https://pytorch.org/docs/stable/distributions.html#continuousbernoulli

[3] Tensorflow Probability. https://www.tensorflow.org/probability/api_docs/python/tfp/edward2/ContinuousBernoulli الگو:Webarchive

[4] Kingma, D. P. , & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.

[5] Kingma, D. P. , & Welling, M. (2014, April). Stochastic gradient VB and the variational auto-encoder. In Second International Conference on Learning Representations, ICLR (Vol. 19).

[6] Larsen, A. B. L. , Sønderby, S. K. , Larochelle, H. , & Winther, O. (2016, June). Autoencoding beyond pixels using a learned similarity metric. In International conference on machine learning (pp. 1558-1566).

[7] Jiang, Z. , Zheng, Y. , Tan, H. , Tang, B. , & Zhou, H. (2017, August). Variational deep embedding: an unsupervised and generative approach to clustering. In Proceedings of the 26th International Joint Conference on Artificial Intelligence (pp. 1965-1972).

[8] PyTorch VAE tutorial: https://github.com/pytorch/examples/tree/master/vae.

[9] Keras VAE tutorial: https://blog.keras.io/building-autoencoders-in-keras.html.

[10] Gordon-Rodriguez, E. , Loaiza-Ganem, G. , & Cunningham, J. P. (2020). The continuous categorical: a novel simplex-valued exponential family. In 36th International Conference on Machine Learning, ICML 2020. International Machine Learning Society (IMLS).

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]

[۷]

[۸]

[۹]

[۱۰]

توزیع برنولی پیوسته

فهرست

توزیع‌های مرتبط

توزیع برنولی

توزیع بتا

توزیع نمایی

توزیع طبقه ای مستمر

جستارهای وابسته

منابع

منوی ناوبری

توزیع برنولی پیوسته

توزیع‌های مرتبط

توزیع برنولی

توزیع بتا

توزیع نمایی

توزیع طبقه ای مستمر

جستارهای وابسته

منابع

منوی ناوبری

جستجو