Skip to content

Tag: entropy

Machine Learning #6 | การคำนวณ Entropy และ Information gain

โพสต์ที่แล้วเกี่ยวกับ Machine learning เรารู้จัก Entropy คุณสมบัติของมันไปแล้วและรู้แล้วว่าเอาไปใช้ในการทำ feature selection ได้ คราวนี้มาลองคำนวณ entropy ดูบ้าง และอีกคำที่ควรรู้คือ “Information gain” ซึ่งเป็นการเทียบความ entropy ก่อน-หลังว่ามีการเปลี่ยนแปลงเท่าไหร่

Machine Learning #5 | ทำความเข้าใจ Entropy กันสักหน่อย

โพสต์ที่แล้วผมพูดถึง Entropy (ภาษาไทยใช้ว่าคำว่า “ความแปรปรวน” ฟังแล้วไม่เก็ตเลยว่าคืออะไร) ซึ่งผมบอกถึงประโยชน์ของมันว่าใช้ในการทำ Feature selection ได้  โพสต์นี้เรามาทำความเข้าใจคำว่า entropy กัน