Kastelorizo’nun batı kesiminde yer alan Palaiokastro, adanın en eski ve en önemli anıtıdır. MÖ 3. yüzyıldan kalma bir Dor Akropolü’nün yerine inşa edilmiş antik bir kaledir. Adanın en yüksek ikinci dağında (252 m) yer almaktadır ve İtalyan işgali dönemine kadar kullanılmıştır.
Kale, evler, kiliseler ve sarnıçlar gibi çeşitli yapılara ev sahipliği yapar. Kiliselerden sadece ikisi hala iyi durumda korunmaktadır, 1850’de inşa edilen Agios Stefanos kilisesi ve Panagia (Bakire) kilisesi. Panagia kilisesi, 1858’den kalma güzel bir çakıllı avluya ve 1852’ye kadar uzanan dikkat çekici ikonalara sahiptir.
Agios Nikolaos, Agia Lesa ve Panormitis kiliseleri II. Dünya Savaşı sırasında yıkıldı. Evlerin hepsi harabe halinde ve terk edilmiş durumda. Kalenin kireçtaşı kayaya oyulmuş kısmen etkileyici büyük sarnıçları dikkat çekicidir. Sarnıçların yanı sıra kuleler ve Helenistik savunma duvarının bazı kısımları da korunmuştur.
St. John Şövalyeleri Tarikatı, antik surları önemli ölçüde genişletmedi. Öte yandan İtalyanlar, II. Dünya Savaşı sırasında kaleyi tahkimat alanı olarak kullanmış, uçaksavar silahları ve hava saldırısı sığınakları kurmuşlardır.
