تاريخچه ساخت بناي قلعه زائر خضرخان به دوره حيات زائر خضرخان اميرالاسلام برمي‌گردد و با توجه به شهادت وي در سال 1301 خورشيدي اين بنا به قبل و اواخر دوره قاجار بر مي‌گردد. به گزارش خبرگزاري دانشجويان ايران (ايسنا) اين قلعه بر فراز تپه‌اي ايجاد شده كه از تخريب قلاع ماقبل خود ارتفاع يافته است. اين قلعه كه در اهرم واقع است داراي مساحت كلي 3400 متر مربع است. در اطراف آن چهار برج به قطر 5×5 متر و ارتفاع 6 متر وجود دارد. برج‌ و باروي قلعته كه ضخامت جرزهاي آن به 80 سانتي‌متر مي‌رسد، همگي با خشت و گل ساخته شده است. از فضاي داخل برج‌ها نيز جهت انجام برخي امورات معيشتي استفاده مي‌شده است. داخل فضاي قلعه به سه فضاي مجزا شمالي شرقي و غرب تقسيم مي‌شود. اولين فضاي قلعه كه پس از گذر از ورودي و هشتي بدان وارد مي‌شويم، فضايي است خالي كه احتمالا جاي بستن حيوانات بوده است. در دومين حياط قلعه اتاق‌هايي پيرامون و داخل آن قرار گرفته‌اند كه همگي به سبك رايج معماري محلي در و پنجره‌هاي متعدد ارتفاع بلند و پوشش چوب و چندل است، اكنون بخش‌هاي عمده‌اي از اين اتاق‌هاي نه چندان منظم و متناسب تخريب شده است. سومين فضاي معماري در جهت شمال جنوب امتداد دارد كه محل اسكان خان اهرم بوده است. يك آب انبار در مركز حياط ساخته شده است، عمده ديوارها خشت است كه در شالوده سنگ به كار رفته است. در و پنجره‌ها از چوب ساچ است و اتاق‌ها بر روي كرسي‌هاي ارتفاع‌دار ساخته شده كه جهت گريز از گرما و رطوبت تزئينات بنا مربوط به گچبري‌هاي اتاق‌هاست كه در پيرامون درگاه‌ها و قسمت فوقاني ديوارها و نزديك پوشش انجام شده كه شامل نقوش هندسي چون زيگزاگ و خطوط مواج و گل و بوته است و ديگر مربوط به هلال‌هاي رنگي سردر اتاقهاست. در گذشته و در دوره آباداني آن از اين قلعه به عنوان پايگاهي به هنگام جنگ عليه استعمارگران خطه جنوب استفاده مي‌شده است و هم اكنون نيز مسكوني است، به علت عدم اختصاص اعتبار مرمت نشده است و به شدت و به علت اين كه از خشت مي‌باشد درحال ريز است. اين بنا به شماره 2098 در فهرست آثار ملي ايران به ثبت رسيده است.