Berdirinya madrasah Jamiat Kheir berdasarkan akte notaris J.W.Roeloffs Valks Notaris Batavia, nomor 143 tertanggal 17 Oktober 1919 dalam akte STICHTINGSBRIEF der STICHTING "SCHOOL DJAMEAT GEIR" dengan susunan pengurus pertamanya, sebagai ketua Said Aboebakar bin Alie bin Shahab dan sebagai anggota-anggota pengurus lainnya adalah : Said Abdulla bin Hoesin Alaijdroes, Said Aloei bin Abdulrachman Alhabsi, Said Aboebakar bin Mohamad Alhabsi, Said Aboebakar bin Abdullah Alatas, Said Aijdroes bin Achmad bin Shahab dan Sech Achmad bin Abdulla Basalama (semua dalam ejaan aslinya dalam akta tersebut).
Al Maktab Addaimi untuk pencatatan dan penetapan nasab-nasab As-Saadah Al-Alawiyyin. Maktab ini telah melakukan pencatatan dalam keterangan hasil pencatatan pada tanggal 18 Dzulhijjah 1358 H bertepatan dengan 28 Januari 1940 atas biaya Syekh bin Ahmad bin Muhammad bin Shahabuddin, jumlah yang tercatat adalah 17.764 orang. Pekerjaan pencatatan ini dilaksanakan oleh Habib Ali bin Ja'far Assegaf dengan biaya dari Al Arabithah Al-Alawiyyin. Daarul Aitam didirikan dengan akta notaris D.J.M. De HONDT No. 40.
Anggota pengurus pertama adalah :
Para komisaris :
Almarhum Habib Abubakar bin Ali bin Abubakar bin Shahabuddin adalah salah seorang pendiri yayasan jamiatul Kheir dan ketua pertama madrasah jamiatul Kheir, telah membuat sebuah buku otobiografinya yang diberi judul RIHLATUL ASHFAR (telah diterjemahkan oleh saudara Ali Yahya). Beliau lahir di Jakarta tanggal 28 Rajab tahun 1287 H dan wafat di Jakarta juga tanggal 23 Rabiul Awal 1363 H, bertepatan dengan 18 Maret 1944 dan dimakamkan di pemakaman Tanah Abang, Jakarta. Ayahnya adalah Ali bin Abubakar bin Umar bin Ali bin Abdullah bin Shahabuddin, Ibunya Muznah binti Syekh Said Na'um (Pendiri yayasan waqaf Turbah Syekh Said Na'um). (Lihat Biografi Habib Abubakar Shahab.)
Djamiatul Kheir sebagai suatu perkumpulan jauh sebelum tahun 1919 telah terbentuk dan bermula berada di Pekojan, yang merupakan suatu yayasan atau perkumpulan sosial dan menampung semua aspirasi baik Al-Alawiyyin, Al Masyaikh dan Al-Ajami, kemudian tanggal 27 Desember 1928 izin pertama berdirinya Al Arabithah AlAlawiyyah dari pemerintah Belanda, dan izin kedua 27 November 1929.
Pada awal mula didirikan tahun 1901 M, Organisasi Jamiat Kheir lebih bersifat organisasi sosial kemasyarakatan, dimana tujuan awalnya dapat disimpulkan sebagai berikut. Pertama, membantu fakir miskin, baik dalam segi material maupun spiritual. Kedua, mendidik dan mempersiapkan generasi muda Islam untuk mampu berperan di masa depan. Dan yang ketiga, menolong ummat yang lemah dalam sektor ekonomi.
Kondisi umat pada masa kolonial memang sungguh memprihatinkan. Mereka tidak diberi kesempatan sedikitpun untuk mengembangkan kemampuan. Sementara itu, kitapun tidak dapat memungkiri ada sebagian kecil orang Islam terutama orang-orang Islam yang hijrah dari Hadramaut justru mampu bersaing dan berhasil menjadi pedagang dan pengusaha yang handal, mereka inilah yang kemudian berinisiatif membuat perkumpulan yang diberi nama Jamia Kheir (Perkumpulan Kebaikan) dengan motivasi dan tujuan sebagaimana disebutkan diatas.
Terlebih bila dilihat dari anggota yang ikut berperan dalam tubuh organisasi Jamiat Kheir saat itu yang terdiri dari orang-orang pergerakan, baik dari kalangan ulama maupun dari kalangan cendikiawan muslim yang kemudian mereka dietapkan sebagai pahlawan nasional, seperti misalnya Haji Omar Said (HOS) Tjokroaminoto, Husein Jayadiningrat, Ahmad Dahlan dan lain-lain, dimana mereka adalah pemuda-pemuda Islam Indonesia yang mempunyai garis keturunan ulama yang berasal dari negeri Arab. Sebagai contoh, almarhum Ahmad Dahlan yang dikenal sebagai pendiri perkumpulan Islam Muhammadiyah adalah cucu dari Sunan Giri, salah satu wali Songo yang bernama asli Muhammad Ainul Yaqin dan bergaris keturunan ke atas hingga Al-Imam Ali bin Abi Thalib R.A. suami dari Siti Fatimah binti Rasulullah SAW.
Disamping itu, aktifitas Jamiat Kheir kala itu lebih mengarah pada masalah sosial kemasyarakatan, yang menitik-beratkan pada masalah penanggulangan kemiskinan dan kebodohan yang diderita oleh umat Islam akibat penjajahan.
Kegiatan santunan orang yang tidak mampu, yatim, orang jompo sangat mendominasi program Jamiat Kheir dibuktikan kemudian oleh pengurus dengan membuat panti asuhan Daarul Aitam, yang secara khusus merawat dan mendidik anak-anak yatim yang hingga saat ini masih aktif.
Dan yang tiak kalah pentingnya untuk diketahui adalah bahwa Jamiat Kheir ketika itu memiliki reputasi internasional melalui hubungan dengan kaum muslimin di timur tengah. Dengan dasar ukhuwah Islamiyah, Jamiat Kheir banyak membantu secara finansial untuk korban perang di Tripoli (Libya), membantu pembangunan jalan kereta api di Hijaz yang menghubungkan kota Madinah Almunawwarah dengan daerah-dearah disekitar Syam (Yordania, Palestina, Syria, Iraq) dan lain-lain.
(H.A. Syauqi Algadri, L.C. dan sumbangan data dari Ir. Ali bin Abubakar Shahab)