Gereja Santa Maria de Fatima mulai berdiri ketika adanya tugas pelayanan dan pewartaan dari Vikaris Apostolik Jakarta, Mgr. Adrianus Djajasepoetra SJ kepada Pater Wilhelmus Krause Van Eeden SJ. Tujuan awal didirikannya gereja ini adalah sebagai gereja, sekolah dan asrama bagi orang-orang Hoakiau ( Cina Perantau) yang berada di sekitar Glodok.
Sebagai langkah awal, dipilihlah Pater Antonius Loew SJ dari Austria sebagai kepala paroki dan Pater Leitenbauer sebagai pengelola sekolah yang pertama. Sekolah itu dinamakan Sekolah Ricci, berasal dari nama imam missionaries Yesuit , Matteo Ricci. Usaha Pater Leitenbauer, yang dibantu oleh Pater Braunmandl. Pater Loew dan Pater Tcheng, berjalan lancar, dan mereka juga membuka kursus bahasa Inggris, Jerman dan Mandarin, yang terkenal dengan sebutan Ricci Evening School, dan asrama yang di kelola oleh Pater Tcheng diberi nama Ricci Youth Center.
Kemudian tahun 1953, dibelilah sebidang tanah seluas 1 hektar, untuk digunakan sebagai kompleks gereja dan sekolah, dari seorang kapitan (sebutan untuk seorang Lurah Keturunan Tionghoa di Zaman Penjajahan Belanda) bermarga Tjioe, dan pada tahun 1954, tanah dan bangunan itu resmi menjadi milik gereja. Di atas tanah itu berdiri sebuah bangunan utama dan 2 bangunan mengapit bangunan utama. Bangunan utama diapit oleh 2 buah patung singa yang melambangkan kemegahan.
Pada tahun 1954, perayaan ekaristi pertama dilaksanakan di dalam gereja dan dipimpin oleh 4 orang imam dan diikuti oleh 16 orang umat. Minggu-minggu berikutnya jumlah umat semakin bertambah dan misa dimajukan menjadi puku 06.00 sedangkan pada pukul 07.30 digunakan untuk misa berbahasa mandarin.
Semakin lama umatpun semakin bertambah, maka pada tahun 1968, perayaan ekaristi diadakan didalam ruang kelas di kompleks sekolah Ricci, dan diberkati oleh Mgr. Papalardo (duta besar Vatikan waktu itu), sementara kapel lama direkonstruksi ulang menjadi gereja yang lebih besar. Gereja baru mampu menampung 600 orang umat, bangunan kanan digunakan untuk pastoran dan kirinya dialihkan fungsi dari ruangan kelas, menjadi ruangan seksi organisasi.
Pada tahun 1970, gereja Santa Maria de Fatima diserah terimakan dari Serikat Jesuit kepada Serikat Xaverian, yang diwakili oleh Pater Pietro Grappoli S.X. Tetapi karena sakit beliau akhirnya digantikan oleh Pater Otello Pancani S.X.
Setelah kedatangan Pater Otello, gereja di renovasi secara besar-besaran, pergantian lantai dan langit-langit. Penataan tempat untuk patung Maria De Fatima, yang berasal dari Ortisei (Italia Utara) dan Hati Kudus Yesus, yang diberkati oleh Mgr. Leo Soekoto SJ. Lalu dipasang pula ukiran kayu Yesus yang disalib bersama 2 orang penjahat yang dikirim dari Italia pada jaman Pater Liliano. Selain itu lahirlah organisasi-organisasi seperti Koor paroki, Legio Mariae, Putera Altar, Kelompok-keompok katekumen baru, Sekolah minggu dan pertemuan-pertemuan di lingkungan.
Pada tahun 1989, Pater Yosef Bagnara diangkat menjadi Kepala Paroki menggantikan Pater Vincenzo yang ditugaskan di Pulau Nias. Selain jumlah umat yang semakin bertambah, terjadi pula pemekaran di wilayah yang ada di Paroki menjadi 8 wilayah dan 25 lingkungan. Selain itu muncul pula seksi-seksi baru seperti Sant’ Egidio, HAK dan KKMK. Selanjutnya jabatan kepala paroki dipegang oleh Pastor Guido Paolucci, dan pada tahun 2011 oleh Pastor Germano Framarin.
