La ville toute entière était contenue à l’intérieur des murs. Les anciens faubourgs au nord et au sud (faubourg supérieur et faubourg inférieur) avaient été détruits durant la guerre de Cent ans et il y avait à la place des ruines et des jardins, ainsi que l’église Notre-Dame-du-Rhône (au sud de l’église actuelle, à l’emplacement de la route et du parking). La tour de Forez (de l’Horloge) est une survivance de ces anciennes fortifications.
La ville haute, pourvue de sa propre enceinte dont il reste la tour de Châteauvieux, était la ville religieuse autour de la cathédrale. Celle-ci avait été profondément modifiée dans le premier tiers du XVIe sicle sur l’initiative de l’évêque Claude de Tournon. Une large abside dans le style du gothique tardif remplaçait l’ancienne abside romane ; elle aurait dû déboucher sur une large nef unique qui n’a pu être réalisée ; survivaient donc les trois nefs romanes séparées par des piliers massifs.
Au nord de la cathédrale, les restes de l’ancien cloître abritaient un cimetière, le lieu où se donnait l’aumône et une chapelle funéraire. Au nord de l’éperon rocheux, le plan de Châteauvieux était séparé en deux par un mur transversal, la partie nord plus élevée ; une grosse tour qui avait occupé l’extrémité nord venait d’être détruite.
Le reste du quartier était occupé par les maisons des chanoines et par le palais de l’évêque où celui-ci, d’ailleurs, ne résidait plus depuis longtemps. Beaucoup de maisons de chanoines s’alignaient le long d’une rue qui n’existe plus, absorbée par l’ancien couvent Saint-Roch. Une rare maison qui subsiste dans son état de l’époque est celle de Sampzon, sous le clocher de la cathédrale. La porte du Château (aujourd’hui de la Gâche) faisait communiquer cette partie de la ville avec la ville basse.
On accédait à la ville basse par sept portes, les principales étant celles de Riquet et de la Roubine au nord, celle de la Trau au sud. L’axe principal formait un Y, avec au sud la Grande rue de la Trau puis, à partir de la Place, les rues de Riquet et de la Roubine. La Maison commune (la mairie) se trouvait au point le plus haut, sur un rocher, le long de l’actuelle rue de Chalès. Les auberges, avec leurs enseignes (le dauphin, le lion, la fleur de lys, la pomme) étaient implantées le long de ces axes principaux. Le quartier Chèvrerie, celui des bouchers, n’était pas encore totalement bâti. Les principales demeures bourgeoises étaient celles de Gonin (maison dite de Lestrade), de Noël Albert (maison des Chevaliers) et de Mathieu Allex (nord-est de la Place). La plupart des boutiques se trouvaient autour de la Place où étaient aussi un puits et une pierre à mesurer le blé.
Le renouveau démographique et économique a entraîné un mouvement constructif important. Souvent on a opéré des modifications du bâti pour tenir compte des nouvelles modes : remplacement des anciennes fenêtres romanes à deux arcs en plein cintre par des croisées (avec meneau et croisillon) ou des demi-croisées (avec traverse) ; on a parfois ajouté un étage ou subdivisé une maison en deux unités d’habitation ou construit de neuf (rue Chèvrerie notamment).
