Pada tanggal 29 Februari 1984, sebuah langkah diambil untuk menghimpun jemaat dalam satu gereja yang baru agar mereka memiliki persekutuan yang kondusif untuk terus bertumbuh dalam iman, pengharapan dan kasih. Untuk pencapaian tujuan itu, maka ada tiga belas orang jemaat yang sehati dan sependapat untuk melaksanakannya.
Pada tanggal 10 Maret 1984 dimulai pembentukan panitia persiapan gereja serta dicetuskan deklarasi pendirian Gereja Kristus Jemaat Palembang. Pada saat yang sama, telah terkumpul dana sebesar Rp 4.000.000,- (Empat Juta Rupiah) yang berasal dari persembahan para jemaat yang setia.
Pada tanggal 12 Maret 1984, mulai diadakan persekutuan doa setiap selasa malam yang diadakan secara bergilir di rumah anggota panitia. Dalam persekutuan tersebut juga dibahas tentang pekerjaan pelayanan, tempat yang bisa dipakai untuk ibadah dan kebutuhan akan seorang gembala sidang yang melayani secara penuh waktu. Untuk mendapatkan seorang gembala sidang tersebut, maka panitia telah mengajukan permohonan kepada Seminari Alkitab Asia Tenggara (SAAT) di Malang. Atas bantuan Rektor SAAT bernama Pdt. Dr. Peter Wongso, maka GI. Soegijanto dan istri GI. Hanna Tjondro diutus melayani di Palembang.
Karena beberapa tempat yang dicari untuk dikontrak sebagai tempat ibadah nampaknya tidak cocok atau tidak ideal maka diputuskan untuk membeli sebidang tanah yang akan dibangun gedung gereja. Akhir Maret 1984, mengutus beberapa wakil dari panitia untuk berangkat ke Jakarta demi merealisasikan keputusan rapat panitia, yakni untuk mengajukan permohonan menjadi cabang dari Gereja Kristus Jemaat Mangga Besar. Keputusan rapat ini diambil demi kepercayaan yang murni, kesatuan tujuan, kesempurnaan organisasi dan perkembangan pelayanan gereja. Maka untuk mencapai hal tersebut disadari perlunya untuk menjadi anggota suatu sinode gereja dan sinode tersebut haruslah juga anggota DGI (sekarang PGI). Akhir April 1984, GKJMB Jakarta telah mengutus pendeta, penginjil dan anggota komisi PI(Pekabaran Injil) datang untuk memberikan dorongan, pengarahan dan nasehat-nasehat yang berharga. Panitia juga telah menetapkan untuk membeli dua buah ruko, serta merencanakan untuk mengumpulkan dana dan merencanakan perombakan.
Pada tanggal 15 Juli 1984, Bapak Yahya Syahada dan keluarga meminjamkan dua buah rukonya di Jl. Veteran untuk dipergunakan sebagai tempat beribadah sementara. Dibentuk juga kelompok pelayanan rohani yang memulai pekerjaan pelayanan. Pada tanggal 16 Juli 1984, Hamba Tuhan sekaligus sebagai Gembala yang pertama, GI. Soegijanto dan keluarga tiba di Palembang. Pada tanggal 22 Juli 1984, secara resmi diproklamasikan berdirinya jemaat/gereja dan diadakan kebaktian perdana sebagai kebaktian pengucapan syukur. Setelah beberapa bulan kemudian tepatnya pada tanggal 16 September 1984, Gereja Kristus Jemaat Mangga Besar (GKJMB) Jakarta secara resmi menerima jemaat di Palembang sebagai Gereja Kristus Jemaat Mangga Besar Pos PI Palembang yang disingkat menjadi Pos PI Palembang. Ini merupakan Pos PI GKJMB pertama yang berada di luar Jakarta.
Bersamaan dengan HUT ke-2 GKJMB Pos PI Palembang, status gereja ditingkatkan/didewasakan menjadi Rayon dengan nama Gereja Kristus Jemaat Mangga Besar Rayon IV Palembang disingkat menjadi GKJMB Rayon IV Palembang. Bersyukur kepada Tuhan atas pemeliharaan dan anugerah-Nya, gereja terus bertumbuh dan dirasakan ruang ibadah yang terdiri dari dua pintu ruko sudah tidak memadai lagi dan membutuhkan ruang ibadah yang lebih besar. Atas belas kasihan dan kemurahan Tuhan, doa jemaat dijawab oleh Tuhan. Pada pertengahan tahun 1988, Tuhan menyediakan sebidang tanah seluar 1467 m2 dan dengan dukungan jemaat sekalian tanah tersebut dapat dibeli oleh gereja. Setelah melalui proses yang panjang dan memakan waktu lebih kurang 3,5 tahun maka pada tanggal 3 Desember 1992 diperoleh surat ijin pelaksanaan pembangunan gedung gereja. Pada tanggal 21 Maret 1993 dilakukan peletakan batu pertama pembangunan gedung gereja yang dipimpin oleh Pdt. Dr. William Ho. Bersamaan dengan perayaan HUT ke-10 GKJMB Rayon IV Palembang dan peresmian gedung ibadah yang baru maka status gereja ditingkatkna/didewasakan menjadi wilayah dengan nama Gereja Kristus Jemaat Mangga Besar Wilayah Palembang yang disingkat GKJMB Wilayah Palembang. Dengan mempertimbangkan kepentingan pengembangan pelayanan internal dan eksternal, maka GKJMB yang memiliki 11 Jemaat dan 13 Pos membentuk sinode Gereja Kristus Yesus. Berkenaan dengan hal itu, maka pada tanggal 3 Juni 2002 nama GKJMB Wilayah Palembang pun berubah menjadi Gereja Kristus Yesus Jemaat Palembang.