Kastelorizo, Yunan adalarının en doğusunda ve Doğu Akdeniz’dedir. Anadolu kıyılarına (Likya) 3 km uzaklıktadır ve aşağı yukarı Rodos ve Antalya’nın tam ortasındadır. Ada 6 km uzunluğunda ve 3 km genişliğinde, 9.2 km lik bir alana sahiptir.
Üçgen bir şekle sahip olup, güneybatıdan kuzeydoğuya konumlanmıştır. Adanın üç burnu öne çıkmaktadır; Agios Stefanos (kuzey), Nifti (doğu) ve West ( en güneybatısı). İlk ikisi arasında bir koy bulunmaktadır ve adadaki tek kasaba burada yer almaktadır.
Anadoluya en yakın olan Agios Stefanos burnu bir Türk ilçesi olan Kaş’ın ( Yunanca: Andifli, antik Yunan şehri Antiphellos) 2250 m güneyindedir. Nifti burnu biraz daha uzak bir alanda yer almaktadır. Adanın yüksek ve engebeli kıyıları ve dağlık bir yapıda olması batıya geçişi zorlaştırmaktadır. Toprak kireç taşından oluşmakta ve zeytin, üzüm, fasulye yetiştirilmektedir. Adada içilebilir su kaynağı yoktur.
