Istana Kantor adalah istana YDMR VIII, Raja Ali bin Raja Haji yang memerintah pada tahun 1844-1857. Istana ini dibangun sekitar tahun 1855 dua tahun sebelum Raja Ali meninggal dunia. Istana Kantor kemudian disebut juga Marhum Kantor berada di bagian tengah Pulau Penyengat dan termasuk dalam salah satu Bangunan Cagar Budaya di kawasan Pulau Penyengat.
Istana Raja Ali sebagian sudah hancur hanya menyisakan bangunan induknya. Bangunan utamanya merupakan bangunan bertingkat dua yang pada mulanya merupakan kantor Raja Ali. Seluruh areal bangunan dibatasi dengan tembok keliling yang mempunyai tiga buah pintu masuk dari arah barat, utara dan timur. Pintu gapura barat berfungsi sebagai tempat penjagaan dan pengintaian, pintu utara menuju tempat kolam pemandian, sedangkan pintu gerbang timur berupa pintu biasa seolah-olah merupakan pintu darurat.