Masjid Kali Pasir dibangun bersebelahan dengan Klenteng Boen Tek Bio yang pada saat itu sudah berdiri lebih dulu. Masjid yang berukuran sekitar 288 meter persegi ini didirikan pada tahun 1700 oleh Tumenggung Pamit Wijaya.

Tumenggung Pamit Wijaya sendiri berasal dari Kahuripan Bogor. Sejarah mencatat, Tumenggung Pamit Wijaya ingin melakukan syiar Islam dari Kesultanan Cirebon ke wilayah Banten. Namun, ia singgah di Tangerang dan mendirikan sebuah masjid. Pembangunan masjid sendiri dilakukan oleh warga muslim di sekitar dan dibantu oleh warga Tionghoa.