Les toutes premières habitations dans Torrox et ses environs datent de l'antiquité, ce qui a été confirmé par la découverte d'une hache en silex. Par ailleurs, la région a connu diverses populations comme l'attestent des vestiges phéniciens et grecs de villages de pécheurs et de marchands qui ont su exploiter les fruits des oliviers, des figuiers et des vignes.
Rome avait fondé à l'embouchure de la rivière Argentinium une ville alors nommée Caviclum ( = Clavicum) dans laquelle se fabriquait le Garum, une pâte au poisson ( surtout aux anchois) qui servait à nourrir les troupes de la légion. Des fours en argile et des récipients datant de cette époque ont été trouvés et certains ornent aujourd'hui la promenade le long de la côte de Torrox.

Après les romains, ce sont les Visigoths qui ont occupé la région et ce, jusqu'à l'arrivée des Arabes ( au VIIè siècle) qui l'ont baptisée Turrus ( = la ville défendue par des tours). C'est de là que partira Abd-el- Rhaman pour Cordoue, où il fondera le Califat des Omeyyades. Une légende affirme que Almanzor est né à Torrox. C'est sous la longue domination maure que la ville de Torrox a connu son plus grand essor. L'agriculture locale s'est considérablement développée grâce à leur technique d'arrosage et même les terrains les plus escarpés ont pu être cultivés grâce au système des terrasses, encore utilisé de nos jours. A cette époque on y produit de l'artisanat et des tissus en soie, la canne à sucre, les figues, les amendes, la vigne…c'est l'âge d'or de la ville qui connaît cette croissance grâce aux Arabes.

A la chute de Velez, la ville de Torrox capitule et ne pourra revenir à la paix qu'un an après. Après la déroute de El-Zagal, Torrox jouira du statut de " ville très noble et royale ". Les conditions de vie de la population maure iront en se détériorant, jusqu'à aboutir à une révolte que le Commandeur de Castille réprimera lors du massacre de Frigiliana, où ils s'étaient réfugiés et où 2 400 d'entre eux trouvèrent la mort.

Torrox ne redeviendra importante qu'aux XVIIè et XVIIIè siècles : le commerce maritime apportera les constructions de plusieurs palais comme celui de la Douane ou la Maison de la Monnaie.
Au XIXè, les troupes de Napoléon pilleront le château de Torrox.
Le Noël de l'année 1884 sera terni par un tremblement de terre détruisant l'Axarquia ; le roi Alphonse XII se déplacera pour visiter la zone sinistrée. A cette époque le rendement de canne à sucre bat son plein, des fabriques appelées des " ingenios " sont alors construites et outre le sucre, de la mélasse, du miel de canne et des liqueurs sont également produits.
Ce n'est qu'après la seconde moitié du XXè siècle que le commerce de la canne à sucre décroît ; la cause en est le notable succès que remportent les produits subtropicaux ( avocat, mangue, papaye, etc.). Avec l'avènement du tourisme, le paysage se transforme, ce qui donne cet étonnant mélange de serres et d'immeubles, le tout toujours sur fond de mer Méditerranée.