Bartolomeo de' Rossi scelse con molta cura il luogo dove avrebbe fatto sorgere la sua sontuosa dimora, ove dame, paggi e cavalieri avessero la possibilità di passare ore di piacere e di riposo, godendosi la deliziosa vita in campagna, lontani dagli affanni della guerra.
La volle alle porte di Bologna, vicino al fiume Reno, circondata da una ricca tenuta agricola, nella valle sotto le ultime colline dell'Appennino ed il bel calanco, tante volte dipinto dai pittori bolognesi.

Il Castello fu costruito su due livelli in modo da avere una parte più soleggiata ed una parte ombrosa e fresca, vicino al canale del Reno che garantiva l'acqua per tutte le necessità del Castello e del Borgo, che nacque lì vicino.
Il Castello ed il Borgo erano autonomi, avevano tutto quello che serviva: bellissimi raccolti, peschiere, scuderie, stalle, frutteti, mulini e segherie. Gli abitanti, curavano l'agricoltura e tutto ciò che era necessario alla sua conduzione. Le loro case - botteghe si affacciano ancora sulla piazza del Borgo dominata dalla dimora padronale e dalla Torre Colombaia.
E' difficile dimenticare il Castello così unito alla natura circostante con i caldi colori della pietra e del cotto, con le sue leggere volte a vela ed il suo grandioso e armonioso cortile d'onore.
Le corti, le sale, i loggiati ariosi e le grandi finestre aperte sulla campagna circostante e sul meraviglioso giardino all'italiana asimmetrico, ci portano lontano nel tempo e ci offrono una stupenda scenografia di spazi ampi ed eleganti che si inseguono disegnando scorci suggestivi su questa atmosfera magica.

L'elegante costruzione tardo-gotica fu terminata dai figli di Bartolomeo, Nestore e Mino, nel 1500. Personaggi famosi che vi hanno soggiornato a lungo: Giovanni II Bentivoglio e la sua famiglia furono ospiti di gran riguardo, poi nell'inverno 1506-1507 il Pontefice Giulio II venne accolto con tutto il suo seguito tra suntuosi pranzi e festeggiamenti.
Altre furono le visite papali: Leone X nell'inverno 1515-1516, Paolo III Farnese Pontefice del Concilio di Trento, fu ospite nel 1543 del Conte Ludovico de' Rossi.
Ludovico de' Rossi va ricordato per la gran cura con cui ripristinò il Castello nelle parti danneggiate o distrutte nel 1527 dal passaggio dai famosi Lanzichenecchi che anche qui devastarono, uccisero e saccheggiarono.
Il figlio di Ludovico, il coltissimo Gian Galeazzo, fu grande amico e benefattore di Torquato Tasso e lo volle suo ospite nel 1586.

Alla fine del settecento Camillo Turrini de' Rossi, eliminò l'antica Torre che era posizionata sul lato del Castello e cambiò il giardino che era adornato da rose, da piante di limoni ed aranci, trasformandolo in un giardino all'italiana come era di moda in quel periodo.
Da Castello fortificato divenne il "Palazzo de' Rossi" tramandato agli eredi fino ai nostri giorni.