Sebagaimana sejarah berdirinya pondok pesantren pada umumnya, pondok pesantren Wahid Hasyim pada awal mulanya adalah merupakan Majlis Ta’lim rutinan yang diasuh oleh seorang Kyai. H Abdul Madjid demikianlah nama Kyai yang saat itu merintis sekaligus mengasuh Majlis Ta’lim di dusun Gaten disebuah wilayah kota Yogyakarta. Beliau adalah seorang ulama sekaligus da’i pendatang yang berdomisili di dusun Gaten pada kisaran tahun 1925-an. Awal mula Majlis Ta’lim ini hanya sebuah kegiatan pengajian konvensional biasa yang diikuti oleh ibu-ibu dan beberapa orang dari kaum bapak. Namun demikian pada masa selanjutnya Majlis Ta’lim ini mengalami perkembangan jama’ahnya. Sehingga pelaksanaan yang pada awalnya dilakukan dirumah-rumah berganti dilaksanakan dimasjid Jami’ Gaten secara rutinan.

       Spiritualitas (baca:keber-agama-an) bagi masyarakat Gaten mempunyai arti sama penting dengan kebutuhan untuk makan dan minum sebagai sumber kehidupan. Demikian pentingnya arti spiritualisme bagi mereka, hingga saat K.H Abdul Majid wafat masyarakat pun secara langsung menunjuk seorang sesepuhuntuk menggantikan beliau. Tersebutlah nama Kyai Syafi’I yang dipercayai oleh masyarakat Gaten untuk menggantikan tugas dakwah beliau. Kyai Syafi’I yang saat itu menjabat sebagai kepala dukuh, dengan rasa penuh tanggung jawab berusaha terus untuk melestarikan keberadaan Majlis Ta’lim yang telah dirintis oleh Kyai Abdul Majid tersebut. Pada saat itu jumlah Majlis Ta’lim yang ada telah berkembang biak dibeberapa daerah sekitar dusun Gaten. Namun demikian perkembangannya yang cukup signifikan baru terjadi pada masa K. H Abdul Hadi Syafi’I. Yakni pengganti sekaligus juga putra sulung beliau sendiri.

       Pada masa Romo Kyai Haji Abdul Hadi, keberadaan Majlis Ta’lim ini semakin mengalami perkembangan dari waktu kewaktunya. Tercatat lebih dari sepuluh majlis ta’lim yang sama telah mulai di-ada-kan di berbagai dusun disekitar wilayah Gaten. Bahkan saat itu, dengan didukung oleh Drs. Margono, H. Masyrif dan Bapak H. Kuat Hadikusumo, beliau juga mendirikan Madrasah Diniyah (1965) yang dikhususkan bagi remaja Gaten dan wilayah-wilayah sekitarnya. Demikian pada masa selanjutnya (1975) madrasah ini berubah menjadi Madrasah Ibtadaiyah dibawah naungan DEPAG RI dan mendapat bantuan tiga tenaga pengajar.

       Perkembangan terjadi kembali pada tahun yang sama, dalam mana saat itu di dusun Nologaten terdapat PGA yang bernama Wahid Hasyim yang sedang mengalami krisis dan ingin bergabung dengan madrasah yang dikelolah oleh Romo Kyai. Dan Romo Kyai sendirilah yang ditunjuk sebagai ketua pengelolahnya (baca:yayasannya). Dibawah pengelolaan Romo Kyai, PGA ini tidak hanya dapat terselamatkan keberadaannya melainkan tetap terus Eksis hingga sampai pada tahun 1980-an. dimana waktu itu pemerintah mulai menerapkan kebijakan baru berkenaan dengan penghapusan PGA dan menggantinya dengan MTs maupun Madrasah Aliyah. Maka praktis, mulai saat itu PGA Wahid Hasyim berubah naman menjadi MTs Wahid Hasyim dan Madrasah Wahid Hasyim.

       Namun demikian, ciri khas pengajian klasik yang telah dirintis oleh K Abdul Majid dan K. Syafi’i tetap dipertahankan oleh Romo Kyai. Bahkan demi untuk tetap melestarikan warisan luhur pendahulunya, yayasan ini, oleh Romo Kyai, dengan persetujuan beberapa pihak, dirubah menjadi Yayasan Pondok Pesantren Wahid Hasyim yang bervisikan menciptakan lembaga yang dinamis-selektif, baik secara kulitatif maupun kualitatif, sehingga mampu melahirkan generasi Islam yang beriman, bertaqwa, cakap, trampil  serta memiliki pemahaman yang komprehensif tentang Islam serta juga berdedikasi tinggi terhadap agama, bangsa dan negara.