Maahad Johor yang diasaskan pada tahun 1960 sebenarnya telah mula ditaja pada tahun 1958, iaitu semasa Y.M. Ungku Ismail menjadi Yang Dipertua Jabatan Agama Islam Johor. 

Para peringkat awalnya, idea mewujudkan Maahad Johor telah dikemukakan oleh Persatuan Pelajar Sekolah Arab Kluang yang kemudiannya diajukan oleh Ustaz Mohd Lazim bin Saim kepada pihak Jabatan Agama Islam Johor. Di zaman Menteri Besar Johor, YAB Datuk Hj. Hassan bin Yunus, idea penubuhan Maahad Johor telah direalisasikan di dalam mesyuarat yang dipengerusikan olehnya sendiri pada tahun 1958.

Isu penubuhan ini telah disampaikan oleh Tuan Hj Abdul Ghani bin Hj Yahya. Walaupun cadangan itu mendapat tentangan hebat daripada ahli mesyuarat pada peringkat awalnya, namun Hj Abdul Ghani terus mendesak agar Maahad Johor perlu ditubuhkan dengan dua objektif:-

1. Untuk melihat sebuah Sekolah Menengah Arab yang ulung muncul di Negeri Johor sebagai pusat pengajian yang berperanan memperkembangkan agama Islam di Negeri Johor ini.
2. Keadaan masyarakat Melayu yang menurut pandangan beliau sangat lemah dalam hal-hal agama pada masa itu.

Sebenarnya, penubuhan Maahad Johor menggunakan Bahasa Arab sepenuhnya tidak ada dalam dasar Kerajaan Johor tetapi disebabkan persetujuan telah dicapai bagi penubuhannya di Johor Bahru, maka Kerajaan johor telah bersetuju dan merestui penubuhan Maahad Johor. Malah, Kerajaan Johor telah mengurniakan sebidang tanah di Jalan Datin Halimah, Larkin Lama, Johor Bahru, sebagai tapak Maahad Johor dan bersetuju untuk memberikan bantuan kewangan. Oleh kerana Kerajaan Johor tidak dapat menampung pembiayaan pembinaan Maahad Johor seratus peratus, maka pihak Jabatan Agama Islam Johor telah mengarahkan Bahagian Zakat dan Baitulmal menguruskan pembinaan bangunan Maahad Johor. Selepas itu, pada 1967 Maahad Johor telah berhijrah ke Jalan Beringin Taman Kebun Teh Johor manakala bangunan lama di Jalan Larkin telah dijadikan asrama.

Akhirnya, Maahad Johor telah berpindah ke Jalan Gertak Merah. Sehingga sekarang, Maahad Johor masih teguh dan berjaya melahirkan ramai cendekiawan yang hebat memajukan Islam dan Negeri Johor.