Kongregasi SJMJ didirikan pada 29 Juli 1822 di Amersfoort, Belanda, oleh Pater Mathias Wolff, SJ, dengan tujuan memberikan pendidikan bagi kaum muda, khususnya para gadis yang pada masa itu kurang mendapat perhatian dari pemerintah. Cikal bakal kongregasi ini bermula pada tahun 1819, ketika tiga gadis muda dari Culemborg—Maria Stichters, Sophia Miltner, dan Maria Josepha van Elk—menyampaikan keinginan mereka kepada Pater Wolff untuk menjadi biarawati. Pater Wolff kemudian mengirim mereka ke Kongregasi Suster-Suster Notre Dame di Gent, Belgia, untuk dibina dalam hidup religius. Pada tahun 1823, sebuah Peraturan (semacam konstitusi) disetujui oleh Imam Kepala Wilayah di Belanda. Pada tanggal 29 Juli tahun yang sama, rumah pertama disewa di Muurhuizen, Amersfoort. Di tempat itu, komunitas pertama didirikan, terdiri dari dua suster yang telah menyelesaikan pembinaan awal di Belgia serta tiga gadis dari Utrecht yang sebelumnya mendapat bimbingan rohani dari seorang pastor paroki. Komunitas ini memulai pelayanannya dengan nama Pédagogie Chrétienne (Pendidikan Kristiani).

Dari Amersfoort, lembaga ini kemudian mengembangkan sayapnya ke wilayah selatan Belanda dan mendirikan tiga komunitas secara berturut-turut di Engelen, Nijmegen, dan Zevenbergen. Meskipun menghadapi berbagai tantangan, perkembangan lembaga ini berlangsung dengan baik, dengan Pater Wolff secara langsung memimpin dan membimbing kehidupan rohani para suster. Pada tahun 1832, Pater Wolff diminta oleh Pemimpin Provinsi Yesuit untuk menyerahkan kepemimpinan lembaga tersebut kepada pemimpin umum yang baru, yakni Sr. Mathea Stichters. Beberapa tahun setelah Pater Wolff tidak lagi terlibat langsung dalam kongregasi, muncul ketegangan di dalam dan sekitar komunitas Amersfoort. Ketegangan tersebut berujung pada perpisahan antara komunitas Amersfoort dan tiga komunitas lainnya di sekitar Engelen. Pada tahun 1840, dua lembaga religius yang independen terbentuk: Suster-Suster Santa Perawan Maria (SPM) di Amersfoort dan Suster-Suster Jesus Maria Joseph (JMJ) di Engelen. Sukacita besar bagi Pater Wolff adalah ketika, lima belas tahun kemudian, kedua institusi tersebut menerima pengesahan resmi dari Tahta Suci. Suster-Suster JMJ Engelen, sejak tahun 1964 hingga 2018, menggunakan nama resmi ‘Societas Jesus Maria Joseph’ (JMJ).

Pada tahun 1898, Societas JMJ mulai mengembangkan misinya di Indonesia atas undangan Mgr. Walterus Jacobus Staal, SJ, Vikaris Apostolik Batavia sekaligus otoritas tertinggi Gereja Katolik di Hindia Belanda. Undangan ini ditujukan untuk mendukung pengembangan pendidikan Katolik di Indonesia. Misi pertama suster-suster JMJ dimulai di Tomohon, Sulawesi Utara. Sebanyak enam suster JMJ dari Belanda menjadi pionir misi tersebut, yaitu Mère Wenceslas te Poel, Sr. Boniface Meyer, Sr. Josephie van den Berg, Sr. Laetitia Loenen, Sr. Dosithea Schambergen, dan Sr. Basilissa Heisjter. Seiring meningkatnya kebutuhan, suster-suster JMJ membuka biara-biara baru di berbagai wilayah Indonesia, seperti Manado, Makassar, Raha, Sukabumi, dan daerah-daerah lainnya. Sekitar tahun 1920, Societas mulai menjajaki kemungkinan untuk menerima calon suster dari Indonesia, khususnya dari Sulawesi. Pada 15 Juni 1924, keenam aspiran pertama asal Indonesia diterima masuk biara, menandai dimulainya keterlibatan lokal dalam misi Societas JMJ di Indonesia.

Pada tahun 1962, Societas JMJ dibagi menjadi tiga provinsi: Belanda, Indonesia, dan India, dengan Generalat tetap berada di Belanda (Vught, s-Hertogenbosch). Selanjutnya, kongregasi memperluas misinya dengan membuka misi baru di Australia, Tanzania, Roma, dan Ghana (Afrika). Provinsi Indonesia dan India mengalami pertumbuhan signifikan, dan setelah beberapa tahun, kedua provinsi tersebut dibagi menjadi provinsi-provinsi yang lebih kecil. Sementara itu, Provinsi Belanda mengalami penurunan jumlah suster akibat pertumbuhan sekularisasi di Eropa Barat. Suster terakhir yang bergabung di Provinsi Belanda masuk pada tahun 1973. Pada 31 Juli 2007, Provinsi Indonesia dibagi menjadi tiga provinsi berdasarkan letak geografis, yaitu:

• Provinsi Jakarta meliputi Pulau Jawa, Sumatera, Bali, Nusa Tenggara Barat (NTB), dan Kalimantan Tengah.
• Provinsi Makassar meliputi Sulawesi Selatan, Sulawesi Tenggara, Sulawesi Barat, Nusa Tenggara Timur (NTT), dan Kalimantan Selatan
• Provinsi Manado meliputi Sulawesi Utara, Sulawesi Tengah, Gorontalo, Ambon, Papua, dan Kalimantan Timur

Perubahan sosial yang terjadi dalam masyarakat, serta pengaruh Konsili Vatikan II, mendorong pembicaraan serius dalam Kapitel Umum 2011 mengenai struktur masa depan Kongregasi. Hasil eksplorasi mendalam ini mengarah pada keputusan untuk memekarkan kongregasi menjadi dua lembaga independen yang memiliki akar yang sama: Indonesia-Belanda dan India-Ghana. Melalui Dekrit tertanggal 10 September 2016, Tahta Suci secara resmi mengesahkan pemisahan Societas JMJ menjadi dua lembaga independen. Untuk membantu mengimplementasikan Dekrit tersebut, Sr. Brigid Lawlor RGS diangkat oleh Tahta Suci sebagai Asisten Religius bagi Societas JMJ. Dengan tetap menjaga ikatan persaudaraan dan diutus oleh Roh Kudus, visi awal pendirian yang diwariskan oleh P. Mathias Wolff, SJ, tetap hidup dalam dua lembaga religius baru. Kedua lembaga independen tersebut adalah:

1. Kongregasi Suster-Suster Jesus Maria Joseph (terdiri dari Indonesia dan Belanda).
2. Kongregasi Jesus Maria Joseph (terdiri dari India dan Ghana).

Pada 2 Februari 2019, Tahta Suci, melalui Dekrit resminya, mengesahkan pendirian lembaga religius dengan nama Kongregasi Suster-Suster Jesus Maria Joseph (disingkat SJMJ). Dekrit tersebut juga mengesahkan Kepemimpinan Umum Pertama serta Konstitusi Kongregasi. Sejak Kapitel Kongregasi Pertama pada tahun 2018 yang diadakan di Tomohon, Indonesia, Generalat Kongregasi SJMJ secara resmi dipindahkan ke Yogyakarta, di wilayah Keuskupan Agung Semarang.