- Es un edificio de cuatro alturas, con la planta baja porticada, estando rematado el último piso en forma de ático, y los laterales coronados por torres angulares.
- Está situada en el centro del lado norte de la Plaza Mayor.
- Fue levantada durante la construcción de la Plaza Mayor, siendo Juan Gómez de Mora el encargado de su construcción, que terminó en 1619.
- Tras el segundo incendio de la plaza en 1672, el edificio fue reconstruido en diecisiete meses por un equipo liderado por Tomás Román, encargándose los pintores Claudio Coello y José Jiménez Donoso de la decoración interior y los frescos de la fachada.
- Tras el tercer incendio de la plaza en 1790, del que se libró la Casa de la Panadería, sirvió de referencia a Juan de Villanueva para la reconstrucción del caserío de la plaza.
- Ha sufrido distintas remodelaciones desde entonces, entre las que destaca la llevada a cabo por Joaquín María de la Vega en 1880.
- En 1988, el Ayuntamiento de Madrid convocó un concurso público restringido para acometer la decoración de la fachada, debido al gran deterioro de las pinturas que había realizado el pintor y ceramista Enrique Guijo en 1914. A ese concurso fueron invitados los artistas Guillermo Pérez Villalta, Sigfrido Martín Begué y Carlos Franco, resultando ganador este último, con un proyecto basado en personajes mitológicos como Cibeles, Proserpina, Baco o Cupido, y otras inventadas por el artista, relacionadas con la historia de Madrid y de la Plaza Mayor. Los trabajos para pintar los frescos de Carlos Franco se llevaron a cabo en 1992.
- En un principio, sus bajos albergaban la tahona principal de la Villa, estando desde 1732 los despachos del Peso Real y del Fiel Contraste.
- Entre 1745 y 1774 tuvo allí su sede la Real Academia de Bellas Artes de San Fernando.
- De 1774 a 1871 tuvo la Real Academia de la Historia.
- A finales del siglo XIX se hace cargo de la Casa de la Panadería el Ayuntamiento de Madrid, convirtiéndola en la segunda Casa Consistorial de la Villa.
- Más tarde pasó a ser la sede de la Biblioteca Municipal y del Archivo Municipal (Archivo de Villa).
- Posteriormente, seguirá albergando algunas dependencias municipales, además de instituciones como el Centro Cultural Mesonero Romanos.
- Actualmente sus dependencias están ocupadas por la Dirección de Turismo de la empresa municipal Madrid Destino, encontrándose en su planta inferior (intercolumnio) el Centro de Turismo de Madrid.