El arquitecto Alfredo Lavignasse tramitó el permiso de construcción de la casa en 1914. Finalmente el arquitecto Luis Seré del Campo terminó la obra. La casona tiene un estilo Art Nouveau, propio de la época. Su primer propietario fue Jorge Seré y luego la familia Sáenz Gallinal.
En 1970 el Ministerio de Defensa compró el inmueble para instalar allí las oficinas del Servicio de Información de Defensa (SID). En 1976, aunque el SID conservaba la propiedad, había mudado su cuartel general a otro local. La casa vacía y desocupada se convirtió en un sitio útil para mantener a las personas secuestradas en Buenos Aires, ya que su cautiverio debía ser secreto hasta que los presentaran ante los medios.
Al fin de la dictadura, en 1988, el Ministerio de Defensa convirtió la casa en sede del Centro de Altos Estudios Nacionales (CALEN) donde se impartían cursos de formación militar. Para cumplir con ese objetivo se hicieron reformas que alteraron la planta original.
El artículo 80 de la Ley 18.446 que creó la Institución Nacional de Derechos Humanos y Defensoría del Pueblo (INDDHH) estableció que el Poder Ejecutivo debía habilitar como sede de la institución un inmueble simbólico en relación a los cometidos de esta. En cumplimiento de ese mandato, en 2012 la Presidencia de la República ordenó el traslado del CALEN y cedió la casa a la INDDHH. Las obras de reciclaje y adecuación para que pudiera funcionar allí la institución comenzaron ese año y estuvieron a cargo de la Agencia Nacional de Vivienda (ANV). Como parte de las acciones reparatorias impuestas al Estado uruguayo por la sentencia de la Corte Interamericana de Derechos Humanos en el caso Gelman vs Uruguay, el 21 de marzo de 2012 se colocó en la planta principal una placa en memoria de María Claudia García de Gelman y de todas las personas que estuvieron secuestradas allí. Cuatro años después, el 9 de diciembre de 2016, se terminaron parcialmente las obras y se inauguró la sede de la INDDHH.
En agosto de 2017 la VI Asamblea de Derechos Humanos que convoca anualmente la INDDHH propuso la constitución de una comisión integrada por organizaciones sociales y sobrevivientes del centro clandestino de detención para la construcción de un Sitio de Memoria. Esta comisión, junto al Consejo Directivo de la INDDHH, trabajaron en la puesta en valor del lugar, la elaboración del relato museográfico y las acciones necesarias para concretar la iniciativa. El 27 de junio de 2018 con un acto público se inauguró el Sitio de Memoria ex SID. El 5 de junio de 2019 la Comisión Nacional Honoraria de Sitios de Memoria (CNHSM) declaró a la casa sitio de memoria. El 27 de junio de 2021 se señalizó el lugar con una placa.