Knowledge discovery merupakan proses untuk mendapatkan informasi dari big data sebagai cara mengambil keputusan secara tepat. Pengujian dataset bersifat imbalanced multiclass menjadi masalah klasifikasi serius karena classifier sulit mempelajari pola pada data. Solusi untuk meminimalkan kesalahan klasifikasi dengan menggunakan metode cost sensitive pada classifier decision tree C4. 5 dan naïve bayes. Dataset yang digunakan pada penelitian ini meliputi dataset glass, lympografi, vehicle, thyroid dan wine yang diperoleh dari UCI Repository. Dataset tersebut dilakukan preprocessing seleksi atribut menggunakan particle swarm optimation. Selanjutnya dilakukan pengujian menggunakan metode cost sensitive decision tree C4. 5 dan cost sensitive naïve bayes. Diperoleh nilai akurasi hasil pengujian menggunakan metode cost sensitive decision tree C4. 5 pada dataset glass, lympografi, vehicle, thyroid dan wine berturut-turut sebesar 72.34%, 68.22%, 75.68%, 93.82% dan 93.95%. Sedangkan metode cost sensitive naïve bayes memiliki performa akurasi pada dataset berturut-turut sebesar 32.24%, 82.61%, 25.53%, 97.67% dan 94.94%.