Masjid Rahmat adalah masjid tertua di Surabaya, dahulu bentuknya hanya gubuk surau tiban dan tidak berbentuk masjid seperti saat ini, hanya gubuk surau tiban dengan atapnya dari bambu dan jerami. Berdirinya masjid ini, saat itu Raden Rahmat atau Sunan Ampel baru tiba dari kawasan Majapahit. Sebelum sampai di Ampel denta, Ia melintas di kawasan Kembang Kuning melalui Sungai Brantas yang ada di depan Masjid Rahmat hanya dengan menggunakan perahu kecil lalu memutuskan singgah dan dari disinilah Raden Rahmad memutuskan untuk menyebarkan agama Islam. 

Pada waktu itu Raden Rahmat berduel adu kesaktian dengan Mbah Wirasoeroyo, tokoh di Kembang Kuning yang berjuluk Ki Mbang Kuning. Saat itu beliau masih beragama Hindu. Dari duel tersebut, Raden Rahmat berhasil memenangkan Mbah Wirasoeroyo dan akhirnya takhluk di tangan Raden Rahmat dan mau mengikuti ajaran Raden Rahmat untuk memeluk Islam. Di surau inilah Raden Rahmat berdakwah mengajarkan ajaran agama Islam. Seiring berjalannya waktu dengan meninggalnya Wiroseroyo, Masjid Rahmat inipun akhirnya tak terurus dan tertutup hutan belantara, baru beberapa puluh tahun kemudian ditemukan kembali oleh penduduk sekitar dan pernah dikenal sebagai Masjid Tiban (Masjid yang jatuh sendiri dari langit). Wiroseroyopun yang dikenal sebagai Mbah Karimah dimakamkan tak jauh dari lokasi Masjid Rahmat.-