Shpërndarja e vazhdueshme e Bernulit

Nga Wikipedia, enciklopedia e lirë

teorinë e probabilitetit, statistikë dhe mësimin e makinerive, shpërndarja e vazhdueshme e Bernulit [1] [2] [3] është një familje shpërndarjesh të vazhdueshme probabiliteti të parametrizuara nga një parametër i vetëm forme , i përcaktuar në intervalin e njësisë , nga:

Shpërndarja e vazhdueshme e Bernulit lind në mësimin e thellë dhe vizionin kompjuterik, veçanërisht në kontekstin e autoenkoduesve variacionalë, [4] [5] për modelimin e intensitetit të pikselave të imazheve natyrore. Si i tillë, ai përcakton një homolog të duhur probabilistik për humbjen e tipit entropi e kryqëzuar binare që përdoret zakonisht, e cila shpesh aplikohet për të dhëna të vazhdueshme me vlera në . [6] [7] [8] [9]

Shpërndarja e vazhdueshme Bernuli përcakton gjithashtu një familje eksponenciale shpërndarjesh. Shkrimi për parametrin natyror, dendësia mund të rishkruhet në formë kanonike: .

Shpërndarjet e ndërlidhura[Redakto | Redakto nëpërmjet kodit]

Shpërndarja e Bernulit[Redakto | Redakto nëpërmjet kodit]

Shpërndarja e vazhduar mund të mendohet si një relaksim i vazhdueshëm i shpërndarjes Bernuli, e cila përcaktohet në bashkësinë diskrete nga funksioni i masës së probabilitetit :

ku është një parametër skalar midis 0 dhe 1. Duke zbatuar të njëjtën formë funksionale në intervalin e vazhdueshëm rezulton në funksionin e dendësisë probabilitare të Bernulit të vazhdueshëm, deri në një konstante normalizuese.

Shpërndarja beta[Redakto | Redakto nëpërmjet kodit]

Shpërndarja Beta ka funksionin e densitetit:

e cila mund të rishkruhet si:

ku janë parametra skalar pozitivë, dhe përfaqëson një pikë arbitrare brenda 1- simpleksit, . Duke ndërruar rolin e parametrit dhe argumentit në këtë funksion të densitetit, marrim:

Kjo familje është e identifikueshme vetëm deri në kufizimin linear , nga ku marrim:

që korrespondon saktësisht me dendësinë e vazhdueshme të Bernulit.

  1. ^ Loaiza-Ganem, G., & Cunningham, J. P. (2019). The continuous Bernoulli: fixing a pervasive error in variational autoencoders. In Advances in Neural Information Processing Systems (pp. 13266-13276).
  2. ^ PyTorch Distributions. https://pytorch.org/docs/stable/distributions.html#continuousbernoulli
  3. ^ Tensorflow Probability. https://www.tensorflow.org/probability/api_docs/python/tfp/edward2/ContinuousBernoulli Arkivuar 25 nëntor 2020 tek Wayback Machine
  4. ^ Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114.
  5. ^ Kingma, D. P., & Welling, M. (2014, April). Stochastic gradient VB and the variational auto-encoder. In Second International Conference on Learning Representations, ICLR (Vol. 19).
  6. ^ Larsen, A. B. L., Sønderby, S. K., Larochelle, H., & Winther, O. (2016, June). Autoencoding beyond pixels using a learned similarity metric. In International conference on machine learning (pp. 1558-1566).
  7. ^ Jiang, Z., Zheng, Y., Tan, H., Tang, B., & Zhou, H. (2017, August). Variational deep embedding: an unsupervised and generative approach to clustering. In Proceedings of the 26th International Joint Conference on Artificial Intelligence (pp. 1965-1972).
  8. ^ PyTorch VAE tutorial: https://github.com/pytorch/examples/tree/master/vae.
  9. ^ Keras VAE tutorial: https://blog.keras.io/building-autoencoders-in-keras.html.