Di Makkah Abdul Chalim bertemu dan berkawan baik dengan KH Abdul Wahab Hasbullah. Ia kemudian pulang ke tanah asalnya pada 1917, dan satu tahun kemudian ia mencari ilmu di pesantren yang ada di Jawa Timur.
Abdul Chalim memutuskan berangkat ke Tebuireng, Jombang, yang saat itu diasuh oleh kiai yang sangat dihormati di seluruh Jawa dan Madura yaitu K.H. Hasyim Asy'ari.
Dengan demikian, sejak awal Abdul Halim sudah memiliki jaringan dengan pendiri NU, baik dengan KH Abdul Wahab maupun KH Hasyim Asy'ari.
Abdul Chalim kemudian menjadi salah satu peserta diskusi-diskusi dalam perbincangan pendirian NU, dan menjadi salah seorang yang hadir dalam pendirian NU pada 31 Januari 1926 atau 16 Rajab 1344 H di Kertopaten, Surabaya.
Ia sendiri kemudian mendapat kehormatan untuk menjabat sebagai Katib Tsani dalam kepengurusan NU awal itu.
Selama berguru kepada KH Wahab Hasbullah, Abdul Chalim telah mendarmabhaktikan hidupnya demi perkembangan ilmu di kalangan para santri.
Di mana Nahdlatul Wathan merupakan tempat yang sangat baik bagi Abdul Chalim dalam berguru dan menularkan kemampuan ilmiahnya.
Pendekatan ilmiah terhadap masyarakat dengan interaksi sosial keagamaan dalam Nahdlatul Wathan merupakan salah satu sumbangsih KH Abdul Halim.
Bagi KH Abdul Chalim pendekatan sosial kepada masyarakat untuk menerapkan kaidah-kaidah keilmuan syariat bagi kehidupan masyarakat menumpakan sebuah terobosan yang sangat urgen dalam menyebarkan konsep-konsep keislaman yang membumi.
Abdul Chalim juga memerintah dan mengembangkan NU di Jawa Barat, khususnya sekitar Majalengka, bersama kiai-kiai yang merintis NU di Jawa Barat, seperti KH Abbas dan keluarga Pesantren Buntet, KH Mas Abdurrahman dan masih banyak lagi yang lain.
Sebagai pendiri NU, Abdul Chalim tidak memiliki pesantren, tetapi atas saran KH Wahab Hasbullah yang bertemu di Bandung pada 1954, kemudian Abdul Chalim mendirikan pusat pendidikan.
Baru pada tahu 1963 ia mendirikan dan mengembangkan Madrasah Ibtidaiyyah Nahdlatul Ulama (MI-NU) yang menjadi Madrasah Dinyah pertama di Majalengka.
Pada perkembangan selanjutnya, pendidikan ini bertambah dengan Madrasah Tsanawiyah Leuwimunding di bawah payung Yayasan Sabilul Halim.
Sosok yang Sederhana
Selama perjalanannya dalam mengembangkan NU di Jawa Barat, ia hanya berbekal dua sarung dan makanan seadanya. Lalu, pada saat menjadi anggota DPR GR tak pernah sedikit pun memakai uang atau fasilitas negara. Bahkan mushola dan mesjid menjadi tempat istirahat di kala perjalanan menuju ibu kota Jakarta.
Tidak hanya berkiprah di dunia pendidikan. Pada tahun 1955 KH Abdul Chalim menjadi anggota DPR dari partai NU dari perwakilan Jawa Barat. Sejak saat ini perjuangan KH Abdul halim lebih dititikberatkan pada pemberdayaan warga NU Jawa Barat dengan membentuk berbagai wadah pemberdayaan masyarakat seperti PERTANU (Perkumpulan Petani NU), PERGUNU (Perkumpulan Guru NU) dan pendirian lembaga-lembaga pendidikan NU di Jawa Barat lainnya.