El museo se encuentra en la glorieta de María Cristina de Tomelloso, a escasos metros de la casa donde el pintor vivió sus últimos años junto a sus hermanas.
Sin embargo, este terreno fue utilizado con diferentes finalidades durante todo el siglo XIX y XX hasta llegar a lo que es hoy en día. En un primer momento fue el cementerio municipal durante más de 50 años, y en 1899 se construyó el Teatro Echegaray, que terminaría utilizándose como fábrica de luz, almacén de grano o cine, entre otros usos. Ya en 1902 el Excmo. Ayuntamiento de Tomelloso adquirió nuevos terrenos para construir un colegio y una glorieta pública.
Estos edificios se derrumbaron y se remodeló la actual glorieta, y sobre ellos se comenzó a construir en 1981 lo que hoy son el Auditorio y el Museo López Torres, además del edificio anexo donde se encuentran los servicios de la Seguridad Social.
El diseño de esta nueva construcción corresponde al arquitecto madrileño Fernando Higueras, amigo del círculo de los artistas del realismo y gran admirador del pintor manchego, y además contó con José Benito Román al frente de la dirección y ejecución de la obra.
El resultado fue todo un modelo arquitectónico con una extensión de 1000 m2 distribuidos en dos plantas con módulos simétricos. Los jardines reciben y conducen al visitante hacia un vestíbulo en cuyo centro se encuentra una escalera de caracol que comunica con la planta superior. A la derecha encontramos el acceso al Auditorio Municipal, con una capacidad para 243 personas y en el que se celebran todo tipo de actos culturales; mientras que si nos dirigimos a la izquierda, nos adentramos ya en la sala que alberga la colección permanente de dibujos de Antonio López Torres.
Esta sala de dibujos comunica con la segunda planta por una espectacular escalera central que parece recoger suavemente la luz del piso superior, donde se pueden contemplar los óleos del pintor ordenados cronológicamente.
Si abandonamos la sala de óleos, se accede a través de un vestíbulo a otra magnífica sala destinada a exposiciones temporales donde han expuesto grandes artistas locales, nacionales e internacionales, y también se han exhibido las obras ganadoras y seleccionadas de los certámenes artísticos «Ciudad de Tomelloso» que se celebran todos los años.
Uno de los detalles característicos del diseño del museo son los encofrados de hormigón blanco que Fernando Higueras empleó en techumbres y escaleras. La sala superior recoge la luz natural a través de una bóveda cuya curiosa estructura en placas de hormigón liso guía la luz de forma homogénea por toda la estancia e impide, a su vez, que los rayos de sol incidan directamente sobre las pinturas.
Higueras concibió este espacio para poder contemplar y disfrutar de la colección atendiendo a la iluminación, mostró un control lumínico a través de la arquitectura que capta a la perfección la luz y la temperatura de La Mancha, tal y como López Torres la interpretaba en cada una de sus obras.