Nella zona vicino alla Madonna dell’Orto, sorge Palazzo Contarini dal Zaffo. Il palazzo ha una facciata larga e asimmetrica a doppio portale con tipiche forme del ’500. Nel
mezzanino si trova una stanza, ora adibita a cappella, affrescata da
Giandomenico Tiepolo con una
Apoteosi di Giorgio Contarini, duca di Jaffa (Zaffo). Il bel giardino del palazzo che dà sulla laguna si vede in un disegno settecentesco di
Francesco Guardi.
Del complesso fa parte il cosiddetto Casino degli Spiriti, un edificio del ‘500 che ospitava convegni ed incontri letterari, dove si incontravano intellettuali dell'epoca rinascimentale come Pietro Aretino ed altri importanti personaggi.