Ziemie dzisiejszego Casole d’Elsa zamieszkiwali już Etruskowie, w XI w. o czym świadczą, znalezione tu liczne grobowce. Na przełomie XI i XII w stają się on lennem biskupów Volterry, by w drugiej połowie XIII w., znaleźć się pod panowaniem Sieny, za czasów której miasteczko zostało otoczone murami obronnymi oraz powstały 2 wieże obronne istniejące po dzień dzisiejszy.
Warte zobaczenia są:
La Rocca fortyfikacja XIVw., w skład, wewnątrz której znajduje się Pinacoteca d’Arte Viva a ponadto co 15 dni organizowane są wystawy malarstwa współczesnego
La Chiesa di Santo Spirito ze znajdującymi się w nim freskami z XIV i XV w.
Palazzo Pretorio ze znajdującymi się tu herbami dawnych rodzin szlacheckich
Collegiata di Santa Maria Assunta kościół w stylu romański poświęcony w 1161 r., we wnętrzu którego znajdują się liczne malowidła znanych artystów
Chiesa di San Niccolo znajdujący się niedaleko miasta kościół datowany jest na pierwszą połowę XIVw., a w jego wnętrzu znajdują się freski Vincenzo e Francesco Rustici
Il Museo Archeologico e di Arte Sacra podzielone na dwie sekcje, w których pierwsza przechowuje odkrycia archeologiczne z przełomu IV-II w. p. n. e. podczas gdy w drugiej zobaczyć można dzieła malarstwa i rzeźby z przełomu XIII i XVI w.
Casole dElsa – Galeria