Las primeras referencias con la imagen o semblanza de la Virgen del Carmen de Barbate las encontramos en el archivo parroquial de San Paulino, según consta en el inventario realizado el 4 de julio de 1879 por el cura de esta aldea D. Juan López, en donde cita la existencia de siete cuadros de lienzos con marcos dorados, uno de ellos con una tabla de luces y con la figura de la Virgen del Carmen.
En otro inventario realizado, esta vez por el cura coadjutor D. Manuel Ávalo Muñoz en el año 1883, nos habla sobre un vestido de lana carmelitano para una Virgen de talla, donada por D. José Pérez. Este vestido se utilizaba exclusivamente para la novena y procesión de las fiestas (esto no quiere decir que existiera una Virgen del Monte Carmelo, sino que se utilizaba una talla de una Virgen de vestir, y dependiendo de la fecha se vestía con el traje de lana carmelitana o un vestido negro de Dolorosa para la Semana Santa).
Las mismas crónicas especifican que el cuadro con tablas de luces al que hacía referencia el inventario aducía a las lamparillas de aceite que se colocaban delante de la Virgen del Carmen (según crónica transmitida de padres a hijos y siguiendo la costumbre arraigada en la localidad).
En el año 1908, y según crónicas también del padre Ávalo, nos afirma que el día 24 de enero de este año se bendice en Barbate la primera imagen de la Virgen del Carmen, imagen regalada por el capitán de la almadraba barbateña D. Juan Bautista Pérez y su esposa Dª Vicenta Pérez, ambos de Isla Cristina (Huelva). Continúa el inventario aclarando que esta Virgen está ubicada en el lateral izquierdo del altar mayor y en el interior de una hornacina (hueco en forma de arco abierto en la pared).
Según contaba Felipa Varo Muñoz, más conocida por la Tolica (nacida en el año 1845 y fallecida en 1951), esta imagen salía en procesión en un bote de la jábega, propiedad de la familia Valle, haciendo el recorrido desde la desembocadura del río Barbate hasta las piedras del castillo, es decir, hasta el faro situado en la playa del Carmen. Esta procesión tenía lugar a las seis de la tarde y todo el pueblo marchaba a la orilla de la playa. Así continuó hasta que se concluyó la lonja pesquera del río.
En 1938 se constituye la hermandad de la Virgen del Carmen y se compra una imagen específica por suscripción popular. Es precisamente en el año 1939 cuando por primera vez procesiona la imagen que ahora veneramos, la Virgen del Carmen, por el río Barbate, embarcada en una barcaza propiedad del Consorcio Nacional Almadrabero llamada La Micaela, y así sucesivamente hasta que en el año 1940 ya lo hizo en una traíña, en el Virgen de los Desamparados, popularmente conocido como El Carbonero, haciéndolo así año tras año, hasta 1961, cuando se inaugura el puerto de la Albufera. Desde entonces se deja el río para hacerlo por la dársena del puerto pesquero. El barco que tuvo la dicha de portar a la sagrada imagen ese año fue Yo te esperaba. Durante los primeros años el barco que portaba a la Virgen solo recorría la dársena del puerto, dando varias vueltas por el interior del mismo y para finalizar la procesión se acercaba a la bocana del puerto en donde se arrojaba una corona de flores por los difuntos.
Se tiene conocimiento, a través de los libros de actas de la hermandad, de que el primer "panegírico", exaltador o pregonero de la Virgen del Carmen se hace en el año 1941 por el propio párroco de la hermandad. Ya en el año 1942 lo hace el cura de Alcalá de los Gazules, el reverendo D. José Máinez Vaca. Como curiosidad a apuntar ese año está el cambio de hora de salida de la procesión, pues esta se venía celebrando sobre las diez de la noche y ese día se cambia por la de la una de la madrugada. Evidentemente este cambio horario obedeció a que la marea del río era a esa hora, aprovechando la oscuridad para darle mayor realce al acto, pues fue alumbrado por las escandalosas y por antorchas.
Decir que la historia de la hermandad camina paralela a la de la localidad de Barbate no es ningún artificio, pues mientras la hermandad se funda, la localidad se segrega del municipio matriz de Vejer, comenzando ambos su caminar por la vida. Y aunque según comentan los más ancianos del lugar mucho antes se veneraba a la Virgen como patrona del pueblo, Barbate, nacido y alimentado del mar, buscó y sigue buscando su protección en María Santísima, en su advocación del Monte Carmelo, más conocida como la Madre de los marineros.
No es hasta el año 2011 cuando se oficializa este patronazgo.
