MTs Negeri 2 Tegal didirikan pada awal tahun 1980-an sebagai bentuk kepedulian tokoh agama dan masyarakat setempat akan pentingnya pendidikan menengah bercirikan Islam yang berkualitas di wilayah Kabupaten Tegal. Madrasah ini berawal dari sekolah swasta yang kemudian dinegerikan berdasarkan SK Menteri Agama.
Sejak dinegerikan, madrasah terus berbenah secara infrastruktur, kualitas guru, dan kurikulum guna mewujudkan generasi yang berakhlak mulia serta tangguh dalam ilmu pengetahuan.