La hermandad fue fundada en el año 1560, fruto de la unión de dos cofradías diferentes: por un lado una de gloria con advocación a la Virgen del Rosario con sede en el convento carmelita de Belén, y otra de penitencia fundada en el Hospital de las Cinco Llagas que veneraba el misterio de la Oración de Jesús en el Huerto, y a la que pertenecían los armadores de buques que realizaban las travesías a América. En 1574 trasladó su sede al convento de Santa María de Monte-Sion, y tres años después adquirió un terreno adosado al mismo para edificar una capilla. En 1578 concertó con el escultor Jerónimo Hernández de Estrada las cinco imágenes del misterio de la Oración en el Huerto, y en 1675 una devota legó en testamento a la hermandad 400 reales para contribuir en la hechura de la cabeza del Cristo, que debió ser realizado por Pedro Roldán.