Jadi, museum ini didirikan dengan landasan kerja sama antara Lembaga Sandi Negara bersama Kementerian Kebudayaan dan Pariwisata. Pemrakarsanya adalah Kepala Lembaga Sandi Negara dan Sri Sultan Hamengku Buwono X dan mendirikan museum ini pada tahun 2006.

Sempat terkendala bencana gempa pada bulan Mei 2006, akhirnya Museum Sandi ini diresmikan pada tahun 2008. Museum ini awalnya bertempat di gedung yang sama dengan Museum Perjuangan, terletak di kawasan Mergangsang.

Barulah pada tahun 2014, museum ini berpindah lokasi ke Kotabaru yang menjadi lokasinya sekarang. Museum Sandi menempati gedung lama tidak terpakai yang merupakan milik AURI. Terdapat 2 lantai di dalam bangunan ini, dan ada 9 ruang display pada museum tersebut.