/EN
Entropy from the Greek "en-trope" - to be transformed. In thermodynamics is the probability of the thermal state of matter, in mathematics - the level of uncertainty of situation or task. In computer science, entropy is characterized by the possibility of giving away the information by source. All these concepts have in common the richness and diversity of the states.
Entropy, in different theories is perceived for the purposes of determined field. For example, in thermodynamics as averaged characteristics describing the state of a balanced system. In computing the entropy must be considered simultaneously with the amount of information and its preciousness.
PROPERTIES OF THE ENTROPY:
The size of entropy is greatest when all states are equally likely, and in the case where they are not equally likely, entropy will be lesser.
If the set contains a credible event, its entropy equals 0. Such a collection, has none ambiguity.
Entropy of two connected systems (sets of events) is lesser than the sum of the individual entropy and the difference of these quantities is called the mutual information. Amount by which there was a decrease in entropy, is the sum of information which is contained in any subsystem of another subsystem.
The greatest entropy have sources (sets of events), in which probabilities of particular elements are equal.
/PL
Entropia od greckiego "en-trope" - przemieniać się. W termodynamice oznacza prawdopodobieństwo stanu cieplnego materii, w matematyce poziom nieokreśloności sytuacji lub zadania. W informatyce natomiast entropia charakteryzuje możliwość oddawania informacji przez źródło. Wszystkie te pojęcia mają wspólną cechę, a mianowicie opisują bogactwo i różnorodność stanów.
Entropia, w różnych teoriach jest postrzegana na potrzeby określonej dziedziny. Na przykład w termodynamice jako uśredniona charakterystyka opisująca stan zrównoważonego systemu. W informatyce entropię należy rozpatrywać jednocześnie z ilością informacji oraz jej cennością.
WŁAŚCIWOŚCI ENTROPII:
Wielkość entropii jest największa gdy wszystkie stany są jednakowo prawdopodobne, w przypadku zaś gdy nie są jednakowo prawdopodobne, entropia będzie mniejsza.
Jeżeli zbiór zawiera wiarygodne zdarzenie, to jego entropia będzie równa 0. Taki zbiór nie ma żadnej nieokreśloności.
Entropia dwóch połączonych systemów (zbiorów zdarzeń) jest mniejsza od sumy indywidualnych entropii, a różnica tych wielkości nazywana jest informacją (entropią) wzajemną. Wielkość, o którą nastąpiło zmniejszenia entropii, jest sumą informacji, jaka zawarta jest w dowolnym podsystemie o innym podsystemie.
Największą entropię mają źródła (zbiory zdarzeń), w których prawdopodobieństwa poszczególnych elementów są równe.
more soon
.
