L'ancienne médina était cernée par les portes qui protégeaient la ville et qui étaient fermées après le coucher du soleil.
La Kasbah est le plus ancien quartier de la cité ; c'était le quartier résidentiel du Makhzen constitué des dirigeants de la ville. On y accédait par la porte « Bab Sbaâ » en la longeant vers le nord on trouve « Bab Doukala » et à l'Est de cette dernière « Bab Marrakech » donne sur les nouveaux quartiers à la limite des dunes.

Le nord de la Kasbah était occupé par les consuls. Le sultan a fait bâtir une maison pour chacun d'eux. La kasbah était complée également par la maison d'Espagne « Da Musica » conçue selon des plans espagnols.
La maison du Danemark et la maison de Hollande étaient située au bout de la rue Hoummane El Fatouaki ; à l'entrée nord de la Kasbah « Derb Laâlouj » se trouvait la résidence de l'envoyé de Gênes.
En 1775 le Sultan créa un atelier pour la frappe des monnaies dans La Kasbah où se trouvait également, à l'époque, la maison d'Allemagne, à l'extrémité de la rue Ibn Zohr où étaient bâtis une église et le consulat portugais.

La grande mosquée de Sidi Ben Youssef se trouvait à la limite de la Kasbah et de la médina.
Les juifs, dont la plupart étaient commerçants, intermédiaires économiques et politiques ou représentants consultant des puissances étrangères, habitaient le quartier Mellah situé au front de mer, côté Ouest de la Kasbah. Ce quartier a été construit sur ordre de Moulay Slimane pour alléger la Kasbah.

Le palais du Sultan qui s'appelait « Dar Sultan »,était construit à l'extérieur et au sud de la ville, près de la côte. Il était meublé à l'européenne et comportait cinq pavillons dont il n'en subsiste que quelques ruines.
En 1820, le palais Dar Sultan servait aux autorités locales. Avant d'être entièrement ensablé, il était entouré d'une forêt de tamaris.

En 1863 une nouvelle Kasbah est bâtie sur ordre du Sultan Mohamed Ben Abderrahmane.

« Barakat Mohamed » qui signifie la bénédiction du prophète, est un terme sacré pour les habitants d'Essaouira. On trouve cette inscription un peu partout dans la ville ; sur les quatre faces des deux donjons de la Sqala portugaise, sculptée sur les quatre faces du premier monument, à l'entrée de la ville, par la côte. Elle est présente aussi dans les objets artisanaux (sur des plaques de thuya) et dans les oeuvres des artistes peintres et des calligraphes.