Shpërndarja e vazhdueshme e Bernulit

Në teorinë e probabilitetit, statistikë dhe mësimin e makinerive, shpërndarja e vazhdueshme e Bernulit ^[1] ^[2] ^[3] është një familje shpërndarjesh të vazhdueshme probabiliteti të parametrizuara nga një parametër i vetëm forme $\lambda \in (0,1)$ , i përcaktuar në intervalin e njësisë $x\in [0,1]$ , nga:

p(x|\lambda )\propto \lambda ^{x}(1-\lambda )^{1-x}.

Shpërndarja e vazhdueshme e Bernulit lind në mësimin e thellë dhe vizionin kompjuterik, veçanërisht në kontekstin e autoenkoduesve variacionalë, ^[4] ^[5] për modelimin e intensitetit të pikselave të imazheve natyrore. Si i tillë, ai përcakton një homolog të duhur probabilistik për humbjen e tipit entropi e kryqëzuar binare që përdoret zakonisht, e cila shpesh aplikohet për të dhëna të vazhdueshme me vlera në $[0,1]$ . ^[6] ^[7] ^[8] ^[9]

Shpërndarja e vazhdueshme Bernuli përcakton gjithashtu një familje eksponenciale shpërndarjesh. Shkrimi $\eta =\log \left(\lambda /(1-\lambda )\right)$ për parametrin natyror, dendësia mund të rishkruhet në formë kanonike: $p(x|\eta )\propto \exp(\eta x)$ .

Shpërndarjet e ndërlidhura

Shpërndarja e Bernulit

Shpërndarja e vazhduar mund të mendohet si një relaksim i vazhdueshëm i shpërndarjes Bernuli, e cila përcaktohet në bashkësinë diskrete $\{0,1\}$ nga funksioni i masës së probabilitetit :

p(x)=p^{x}(1-p)^{1-x},

ku $p$ është një parametër skalar midis 0 dhe 1. Duke zbatuar të njëjtën formë funksionale në intervalin e vazhdueshëm $[0,1]$ rezulton në funksionin e dendësisë probabilitare të Bernulit të vazhdueshëm, deri në një konstante normalizuese.

Shpërndarja beta

Shpërndarja Beta ka funksionin e densitetit:

p(x)\propto x^{\alpha -1}(1-x)^{\beta -1},

e cila mund të rishkruhet si:

p(x)\propto x_{1}^{\alpha _{1}-1}x_{2}^{\alpha _{2}-1},

ku $\alpha _{1},\alpha _{2}$ janë parametra skalar pozitivë, dhe $(x_{1},x_{2})$ përfaqëson një pikë arbitrare brenda 1- simpleksit, $\Delta ^{1}=\{(x_{1},x_{2}):x_{1}>0,x_{2}>0,x_{1}+x_{2}=1\}$ . Duke ndërruar rolin e parametrit dhe argumentit në këtë funksion të densitetit, marrim:

p(x)\propto \alpha _{1}^{x_{1}}\alpha _{2}^{x_{2}}.

Kjo familje është e identifikueshme vetëm deri në kufizimin linear $\alpha _{1}+\alpha _{2}=1$ , nga ku marrim:

p(x)\propto \lambda ^{x_{1}}(1-\lambda )^{x_{2}},

që korrespondon saktësisht me dendësinë e vazhdueshme të Bernulit.

^ Loaiza-Ganem, G., & Cunningham, J. P. (2019). The continuous Bernoulli: fixing a pervasive error in variational autoencoders. In Advances in Neural Information Processing Systems (pp. 13266-13276).
^ PyTorch Distributions. https://pytorch.org/docs/stable/distributions.html#continuousbernoulli
^ Tensorflow Probability. https://www.tensorflow.org/probability/api_docs/python/tfp/edward2/ContinuousBernoulli Arkivuar 25 nëntor 2020 tek Wayback Machine
^ Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.
^ Kingma, D. P., & Welling, M. (2014, April). Stochastic gradient VB and the variational auto-encoder. In Second International Conference on Learning Representations, ICLR (Vol. 19).
^ Larsen, A. B. L., Sønderby, S. K., Larochelle, H., & Winther, O. (2016, June). Autoencoding beyond pixels using a learned similarity metric. In International conference on machine learning (pp. 1558-1566).
^ Jiang, Z., Zheng, Y., Tan, H., Tang, B., & Zhou, H. (2017, August). Variational deep embedding: an unsupervised and generative approach to clustering. In Proceedings of the 26th International Joint Conference on Artificial Intelligence (pp. 1965-1972).
^ PyTorch VAE tutorial: https://github.com/pytorch/examples/tree/master/vae.
^ Keras VAE tutorial: https://blog.keras.io/building-autoencoders-in-keras.html.

[1] Loaiza-Ganem, G., & Cunningham, J. P. (2019). The continuous Bernoulli: fixing a pervasive error in variational autoencoders. In Advances in Neural Information Processing Systems (pp. 13266-13276).

[2] PyTorch Distributions. https://pytorch.org/docs/stable/distributions.html#continuousbernoulli

[3] Tensorflow Probability. https://www.tensorflow.org/probability/api_docs/python/tfp/edward2/ContinuousBernoulli Arkivuar 25 nëntor 2020 tek Wayback Machine

[4] Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.

[5] Kingma, D. P., & Welling, M. (2014, April). Stochastic gradient VB and the variational auto-encoder. In Second International Conference on Learning Representations, ICLR (Vol. 19).

[6] Larsen, A. B. L., Sønderby, S. K., Larochelle, H., & Winther, O. (2016, June). Autoencoding beyond pixels using a learned similarity metric. In International conference on machine learning (pp. 1558-1566).

[7] Jiang, Z., Zheng, Y., Tan, H., Tang, B., & Zhou, H. (2017, August). Variational deep embedding: an unsupervised and generative approach to clustering. In Proceedings of the 26th International Joint Conference on Artificial Intelligence (pp. 1965-1972).

[8] PyTorch VAE tutorial: https://github.com/pytorch/examples/tree/master/vae.

[9] Keras VAE tutorial: https://blog.keras.io/building-autoencoders-in-keras.html.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]