El edificio más emblemático y representativo de la localidad es la Torre del Infantado, una de las más señeras de la arquitectura cívico-militar de la Baja Edad Media en Cantabria.
En Potes ha sobrevivido también la torre de Orejón de la Lama o torre de Bedoya, situada entre dos casas.
A lo largo de la Edad Moderna, sobre todo a partir de finales del siglo XVII y durante todo el XVIII se edificaron en Potes diversas casas señoriales de interés en las cuales intervienieron canteros lebaniegos.
Destaca la iglesia vieja de San Vicente (siglo X).
La capilla de San Felipe Neri acoge en la actualidad la oficina de turismo de Potes y una sala de exposiciones.
El convento de San Raimundo de Peñafort fue fundado en 1606.
La ermita de la Virgen del Camino, situada en el barrio de La Serna, fue edificada en 1777.
La ermita de la Virgen de Valmayor, en la ladera de una montaña al sur de la villa es una de las más populares de Potes; su origen se remonta al siglo X. La
capilla de San Cayetano, pequeña construcción del siglo XVII.
En su casco histórico confluyen varios cursos que salvan distintos puentes, los más antiguos son el puente de San Cayetano, de origen medieval y construido sobre el río Quiviesa, y el puente de la Cárcel, tendido sobre el Deva.
