Universitas Terbuka menerapkan tes berupa Ujian Akhir Semester untuk mengukur hasil belajar mahasiswa. Tipe soal UAS yang dikembangkan berbentuk tes objektif yang meliputi pernyataan (stem) dan alternatif jawaban (option). Option suatu tes meliputi kunci jawaban dan bukan kunci jawaban (pengecoh). Soal yang baik harus memiliki pengecoh yang relatif homogen, sehingga sulit ditebak oleh mahasiswa. Kriteria soal yang baik dapat diketahui dengan melakukan analisis butir soal baik menggunakan teori tes klasik maupun teori tes modern. Universitas Terbuka melakukan analisis butir soal UAS berdasarkan teori tes klasik. Teori ini memiliki keterbatasan yakni indeks karakteristik butir soal sangat bergantung pada kelompok peserta tes. Pada teori tes modern (teori respon butir), analisis butir soal didasarkan pada kemampuan individu peserta tes bukan berdasarkan kemampuan kelompok peserta tes. Tujuan penulisan artikel ini adalah untuk menentukan:(1) bagaimana hasil analisis butir soal UAS menggunakan teori respon butir,(2) bagaimana perbandingan jumlah soal valid dan tidak valid antara analisis respon butir dengan analisis tes klasik, dan (3) bagaimana menentukan karakteristik soal dan estimasi kemampuan peserta tes dengan analisis respon butir menggunakan model Rasch. Data yang digunakan adalah jawaban mahasiswa yang mengikuti ujian pada 8 mata kuliah sampel terpilih masa ujian 2009.1