Conditional Relative Entropy
- π·π(π(π|π)) =Β ππ[ ππ [π(π|π)/π(π|π)] ]
- π·π(π(π|π)) = βπ¦βππ(π=π¦)Β·π·π(π(π|π=π¦))
Relative Entropy Chain Rule
let π and π be distribution over π1, β¦, ππ
- π·π(π) = π·π(π(π1)) + π·π(π(π2|π1)) + π·π(π(π3|π2, π1)) + β¦ + π·π(π(ππ|ππ-1, β¦, π1))
Properties
- π·π(π(π)) β€ π·π(π(π,π))
- π·π(π(π1, β¦, ππ)) β€ π·π(π(π1, β¦, ππ)) for π β€ π