Entropy dari sebuah simbol didefinisikan sebagai nilai logaritma negatif dari probabilitas kemunculannya. Untuk menentukan konten informasi dari sebuah pesan dalam jumlah bit dapat digunakan rumus sebagai berikut:
number of bits = -log base 2 (probability)
Sedangkan entropy keseluruhan informasi merupakan jumlah entropy dari masing-masing simbol. Sebagai gambaran, misalkan dalam sebuah tulisan, probabilitas huruf "e" adalah 1/16. Maka jumlah bit untuk kode huruf tersebut adalah 4 bit. Sedangkan kalau menggunakan kode ASCII jumlah bit yang digunakan adalah 8bit. Perhitungan entropy untuk kompresi data berbeda dengan perhitungan entropy untuk termodinamika. Untuk kompresi data, kita menggunakan bilangan yang tidak absolut, artinya tergantung dari cara memandang dalam memperoleh nilai probabilitas sebuah simbol. Untuk orde 0 kita mengabaikan simbol-simbol yang telah muncul sebelummnya. Atau dengan kata lain setiap simbol yang akan muncul mempunyai nilai probabilitas yang sama. Model ini disebut dengan zero-memory source (tanpa sumber memori), yang menghasilkan S buah simbol dapat dihitung dengan :
H S P Si P SiS () () log() = Sigma 2 1.
Dimana P(Si) adalah probabilitas setiap simbol.
No comments:
Post a Comment