این عمارت در زمان سلطنتناصرالدین شاه قاجار توسط سردار(حسینعلی خان افشار) به سال 1281قمری احداث گردیده که بخش اولیه ساختمان با درب ورودی به حیاط بزرگ مفرش شده از سنگهای تراورتن راه دارد. ساختمان اربابی در دو بخش دو طبقه با ایوان و با ستونهای مدور آجری جلب نظر می نماید و در وسط حیاط یک حوض آب دایره ای شکل به عمق یک متر و به قطر حدوداً شش متر وجود دارد. مصالح بکار رفته در کار ساختمانی بنا با آجرهای چهارگوش و ملات گچ + آهک+خاک رس بوده که به طرز خیلی زیبا و چشمگیر بکار رفته است . از داخل عمارت اولیه دو راه خروجی یکی به اندرونی و دیگری به حیاط خلوت وجود دارد که ساختمان اندرونی حرمسرا یعنی زیستگاه بانوان مشهور بوده که خود شامل دو طبقه و یک حیاط بزرگ با حوض آب مستطیل شکل می باشد و از حیاط حرمسرا می توان به عمارت اندرونی که در دو طبقه بوده رسید . در پشت حیاط خلوت بخش قوشخانه مشاهده میگردد که محل نگهداری کبوتران کوهی و اهلی که شامل 360 لانه کبوتر می باشد.