Kaleiçi surlarının güneyinde en uç noktada bulunur. Karaalioğlu Parkının deniz tarafında doğusunda kalır. Parktan kolayca kuleye ulaşabilirsiniz. Atatürk Caddesinden ise Hadrianus Kapısından geçtikten sonra dümdüz hiç bir yere sapmadan Hesapçı Sokak boyunca denize doğru yürüyerek Hıdırlık Kulesine ulaşabilirsiniz.
Hıdırlık kulesinin yüksekliği 14 metre olup alt kısmı kare, üst kısmı ise silindir şeklinde inşa edilmiştir. Yapının işaret amaçlı ateş yakılarak hem iletişim için hem de savunma amaçlı kullanıldığı sanılmaktadır. Diğer bir görüşe göre de deniz feneri ve yaklaşan gemilerin takip edildiği gözetleme kulesi olarak kullanıldığıdır. Antik çağdan kalma bir yapı olan kulenin MS 2. Yüzyılda yapıldığı düşünülmektedir. Hıdırlık Kulesinin alt katında bir oda bulunmaktadır.
