گفته می شود قدیمی ترین قسمت مسجد به دستور هارون الرشید در سال 807 میلادی ساخته شده است. گنبد اصلی دولایه مسجد مربوط به دوره سلجوقیان است و برای عموم قفل است. برخی از نمونه های گرانبهای خوشنویسی برجسته از دوران قرون وسطی را در خود جای داده است.

در بسیاری از بخش‌های مسجد نیز تعمیراتی انجام شده است. بنای مسجد بر روی آتشکده زرتشتیان گذاشته شده است. با وجود تهاجم ویرانگر مغول، این مسجد امروز با شکوه کامل خود پابرجاست. هنوز در حال استفاده است. بخش هایی از مسجد به کتابخانه عمومی تبدیل شده است. این مسجد همچنین دارای شبستان و آب انبار است که هر دو اکنون تحت حفاظت سازمان میراث فرهنگی ایران هستند. بخشی از مجموعه در 28 ژانویه 2013 آتش گرفت. نیمی از مجموعه در اثر آتش سوزی سوخت و از بین رفت.