Raso al suolo dagli eventi bellici del medioevo, di Castel Passerino , caposaldo del sistema difensivo lucchese, non rimangono oggi che pochi ma inequivocabili segni; in un luogo affascinante per la sua vegetazione a leccio, si trovano i ruderi della Torre in muratura, rotolata giù dal prospiciente colle sul quale era edificata. Distrutto e ricostruito più volte, Castel Passerino fu definitivamente smantellato a partire dal XV secolo.
La torre che vediamo al suolo, stava probabilmente sulla sommità adiacente, a controllare un passaggio “scorciatoia” che da Ripafratta (con la Rocca ed il suo sistema di Torri) poteva salire rapidamente a raggiungere quello che fu un passaggio secondario del “limes” tra le repubbliche pisana e lucchese nel medioevo (XII-XV sec).