En 1520 llegaron las licencias del maestro general para que fray Juan de Hurtado, procedente de Salamanca, pudiera fundar un convento de estricta observancia en Talavera de la Reina. Conocemos los nombres de tres de sus compañeros: fray Pedro Vinuesa, fray Pedro de Orellana y fray Gaspar, que era un lego de origen portugués.
El canónigo de Santa María la Mayor, Alonso de Encinas, les ofreció una huerta grande que tenía en los alrededores de la villa y los dominicos aceptaron la oferta. Cuando llegaron no pudieron inmediatamente tomar asiento en aquella huerta, pues había que redimir el censo que gravaba sobre ella y que pagó Alonso de Encinas -unos cuarenta mil maravedíes-, y pasaron unos días en el monasterio de Santa Catalina, de los padres jerónimos.
En la huerta no tenían otro aposento que la choza en que había estado el hortelano y allí estuvieron por el espacio de dos meses. La vida que llevaban era muy rigurosa: guardaban abstinencia de carne, por cuya causa pasaron gran estrechez, ya que con dificultad llegaba el pescado a Talavera, y de la huerta obtenían las frutas y hortalizas para su frugal dieta. Como todavía no tenían casa ni templo, las distintas dependencias del convento se improvisaron. Así, al pie de unos nogales hacían la oración y para el rezo de las horas litúrgicas se juntaban en un emparrado. Actualmente existen nogales centenarios en la huerta de la Compañía de María, que no sabemos si serán los mismos de entonces.
También empezaron los frailes a organizar su vida regular. Se dedicaban al estudio (Gramática, Lógica, Filosofía, Teología), confesaban y predicaban en los pueblos de la comarca, llegando incluso hasta Castilblanco, en Badajoz.
De vida tan austera y virtuosa, el pueblo tuvo conocimiento y comenzó a atribuirles milagros y acontecimientos prodigiosos, que los padres dominicos desmentían. Uno de los relatos más repetidos es el que narra cómo una cruz de palo fijada en piedra que había en el camino hacia Mejorada se giró sola hacia la huerta de los dominicos.
Dos meses después, en junio de 1520, volvió de Roma fray Diego de Pineda con el resto de la documentación que necesitaban y la bendición del padre provincial, fray Domingo Pizarro.
Entonces Alonso de Encinas comenzó a realizar los trámites para que se concediera a los frailes la antigua iglesia de San Ginés Mártir, que era muy antigua y estaba cerca de la huerta. Dicho templo estaba sujeto al deán y cabildo de la iglesia colegial. Los miembros del cabildo aceptaron dárselo, pues contaba con muy pocos parroquianos y eran muchas las molestias que les ocasionaba. Pidieron la licencia al cardenal Croy, arzobispo de Toledo de 1518 a 1521, que envió al licenciado Pedro Gudiel para que comprobara las condiciones de dicha parroquia. Como todo estaba según afirmaba el cabildo, el prelado accedió e incluso ordenó que fuesen derribadas las casas que estorbasen para la construcción del convento.
También recibieron los frailes una ermita dedicada a santa Magdalena, que estaba junto a la parroquia de San Ginés. Esta ermita es nombrada en la Celestina (suponiendo que Fernando de Rojas se inspirase en los lugares de Talavera) y se trasladó al actual paseo de los Leones, en la ciudad.
El Ayuntamiento también colaboró al ceder una calle pública que separaba la iglesia de la huerta y, por fin, el día 13, fiesta de san Antonio de Padua, los dominicos tomaron posesión del templo y pasaron a vivir en unas casas cercanas.