Berawal dari keinginan para Wali murid TK Ar Raudhah agar
putra – putrinya dapat melanjutkan pendidikannya di sekolah yang berbasis pendidikan agama Islam, maka pada tanggal 11 Juli 1995 Yayasan Musthofa Abdurrouf mendirikan Madrasah Ibtidaiyah Ar Raudhah. Pada awal pendiriannya, MI Ar Raudhah belum memiliki gedung belajar sehingga harus menempati rumah warga untuk kegiatan belajar mengajarnya.
Pada tahun 1998, dengan menggunakan tanah yang dihibahkan oleh salah satu pengurus dan pendiri yayasan, akhirnya yayasan bisa membangun gedung bertingkat dengan bantuan dana dari masyarakat, pengurus, dan donatur.