Secara historis, Pesantren Attahdzib (PA) dirintis pertama kali oleh Hadratus-Syaikh Romo KH. Ihsan Mahin di desa Payak Mundil Ngoro Jombang pada tahun 1958 . Bahkan ketika itu sudah sempat didirikan bangunan pondok.
Tentang tahun Ppendirian Pondok Pesantren Attahdzib ada beberapa pendapat, salah satunya Ada perbedaan pendapat tahun berdirinya pesantren Attahdzib ini. Dalam acara Reuni IHSANNIAT tahun 2013 yang disampaikan oleh K. Zainuddin Tamsir Alumni PA dari Madiun, bahwa Pesantren Attahdzib berdiri pada Hari Senin Wage tanggal 17 Agustus 1959 H./ 12 Shofar 1379 H. di Payak Desa Rejoagung Kec. Ngoro Kab. Jombang Jatim dan pada tahun 1961 pindah ke Rejoagung Ngoro Jombang Jawa Timur.
Berdirinya Pondok Pesantren Attahdzib berawal dari adanya keinginan beberapa pemuda yang ingin menimba ilmu kepada Hadratus-Syaikh Romo KH. Ihsan Mahin yang saat itu dikenal seorang yang mumpuni dalam bidang agama serta sabar, gigih, teguh pendirian, dan banyak riyadlah (menempa diri dengan puasa, dzikir, dan tafakkur), kemudian mereka melakukan kegiatan tersebut di rumah beliau. Karena keuletan dan daya karismatiknya sehingga nama beliau dikenal tidak hanya di wilayah Jawa Timur saja, akan tetapi hingga Jawa Tengah. Seiring perkembangan waktu, jumlah santri bertambah dan berkembang hingga memiliki elemen-elemen seperti Masjid, tempat belajar, dan pondokan yang meskipun pada awalnya amat sederhana, maka berubahlah statusnya menjadi sebuah Pesantren. Kemudian, karena beberapa pertimbangan strategis, pada tahun 1960 PA dipindah ke Rejoagung Ngoro Jombang.
Pendirian PA dilatar belakangi oleh niat tulus ikhlas Hadratus-Syaikh Romo KH. Ihsan Mahin untuk menyebarkan ajaran agama Allah dan membantu para pencari ilmu Allah dengan tujuan li I’lai Kalimatillah (menjunjung tinggi agama Allah).
Hadratus-Syaikh Romo KH. Ihsan Mahin adalah putera pendatang dari Jawa Tengah, tepatnya dari desa Surupan, Kecamatan Nguntoronadi, Kabupaten Wonogiri. Beliau belajar ilmu agama tidak dari satu pesantren saja, tetapi dari Ulama di berbagai pesantren; di antaranya : Pesantren Sidosremo Surabaya dalam kepengasuhan Hadratus-Syaikh Romo KH Mas Muhajir selama 17 tahun , Pondok Pesantren Jember, Pondok Pesantren Kertosono, Pondok Pesantren Termas Pacitan, dan membantu mengajar di Pondok Pesantren yang berada di Udanawu Blitar bersama Putra dari Pondok Dersemo Surabaya, K. Darul Khoiri. Selama Di Pondok Udannawu Blitar, beliau banyak teman yakni Mbah Kyai Mudir, KH. Abdoel Madjid Ma’ruf (Muallif Sholawat Wahidiyah). Tidak lama kemudian beliau juga mengamalkan Sholawat Wahidiyah.
Hadratus-Syaikh Romo KH. Ihsan Mahin mempunyai 4 istri yaitu Pertama Ibu Nyai Bi’ah Payak Mundil Ngoro Jombang, Ke-Dua Ibu Nyai Hj. Hayuk Mu’minah Jombang dengan 7 putra ;
1. KH. Ahmad Masruh,
2. KH. Ahmad Aniq IM,
3. Neng Indah Maharoh Kedunglo Kediri,
4. Neng Zuhan Nafihah Jombang,
5. Agus Ach. Dzaky Gf. M.HI,
6. Neng Atikah, S.Ag dan
7. Agus M. Ulumuddin, M.HI.
Ke-Tiga Ibu Nyai Hj. Amimah dengan 5 putra ;
- K. Moh. Nafih, M.Sy (Pengasuh Pondok Al Ahsan Bareng Jombang),
- Agus Thohir Jombang,
- Neng Masna,
- Neng Khumasa’, dan
- Neng Sulasa’
- Adapun Istri yang Ke-Empat Ibu Nyai Hani’ Tulungagung.
Setelah masa perintisan PA oleh Hadratus-Syaikh Romo KH. Ihsan Mahin kemudian, kepemimpinan dan kepengasuhan PA dilanjutkan oleh putra tertua beliau, yakni Almukarram Romo KH. Ahmad Masruh Ihsan Mahin dan dibantu saudara-saudara beliau (Putra Putri pendiri PA). Berkat ketelatenan dan kepiawaian Almukarram Romo KH. Ahmad Masruh IM. dan didukung oleh semua pihak, maka pesantren ini berkembang dengan pesat, dan santrinya ada yang dari berbagai propinsi di Indonesia dan bahkan dari Luar Negeri.
Keberadaan Pesantren Attahdzib sekarang merupakan hasil dari sederetan usaha yang dirintis oleh Hadratus-Syaikh Romo KH Ihsan Mahin, kemudian dikembangkan Almukarram Romo KH. Ahmad Masruh IM. Keinginan mulia Hadratus-Syaikh Romo KH. Ihsan Mahin untuk mengabdikan ilmu kepada agama dan masyarakat diikuti oleh segenap usaha lahir dan batin Beliau. Bahkan salah satu hal yang cukup tandas adalah peran keterlibatan keluarga dalam masa-masa awal pembangunan pesantren sampai sekarang. Menurut informasi dari beberapa sumber terpercaya, bahwa pada saat membangun pondok, Hadratus-Syaikh Romo KH. Ihsan Mahin bersama anggota keluarganya hidup prihatin selama 40 hari. Tradisi hidup prihatin ini dilakukan hampir setiap tahun, karena kebutuhan sarana gedung seiring dengan semakin bertambahnya jumlah santri yang ingin belajar kepada beliau. Sebagian besar hasil panen tanaman milik keluarga digunakan untuk biaya pembangunan pondok.
Di samping itu, peran para santri juga besar dalam realisasi seluruh bangunan pesantren, pendidikan formal, dan unit-unit yang ada di bawahnya, karena mereka menanamkan amal jariyah berupa tenaga untuk itu. Hal tersebut masih berlangsung sampai sekarang. Singkatnya, siapapun yang pernah belajar (nyantri) di PA, khususnya santri putera, maka dia sedikit banyak pernah menanamkan amal jariyah dalam realisasi seluruh bangunan tersebut.
Sungguh amal jariyah para santri tersebut sangat mulia dan berharga bagi mereka sendiri, agama, maupun masyarakat secara luas. Sebab, gedung-gedung tersebut tegak dengan tujuan mulia untuk mencetak para ‘Alim yang kelak diharapkan dengan ilmunya menjadi para pioner yang meneruskan perjuangan Islam untuk membina dan membimbing masyarakat agar faham agama dan menjadi pengamal agama yang baik.
Selain peran para santri, peran masyarakat sekitar juga besar, khususnya dalam masa-masa awal (babat alas) pendirian PA. Dengan rasa syukur dan penghargaan yang tinggi atas keberadaan PA, mereka (masyarakat sekitar) ikut berpartisipasi dalam bentuk apa pun sesuai dengan kemampuannya. Bahkan beberapa pelaku sejarah mengisahkan keterlibatan para ibu masyarakat sekitar untuk ikut mengusung bambu, kayu, dan batu bata sebagai cikal bakal pembangunan gedung-gedung pondok. Dengan segenap syukur dan ketulusannya, mereka juga memberikan apa pun yang bisa mereka berikan, meski itu berupa ubi kayu (póhóng) atau air putih kepada para santri dan masyarakat yang ikut kerja bakti dalam guthékan (gedung sederhana dalam masa awal pondok) dan gedung-gedung lainnya.
Salah satu Pesantren terbesar se-Kabupaten Jombang ini memiliki model pendidikan praktis dalam ‘ubudiyah, disamping teori sebagaimana model pendidikan pondok pesantren yang lain. Hal itu diterapkan sebagai pengejawantahan dari visi dan misi PA.