Il borgo di Chianni e la sua chiesa appartennero al vescovo di Volterra fino al XIII secolo anche se non mancarono dei contrasti sia con i conti Cadolingi sia con il comune di San Gimignano per il suo controllo . Da un documento del 1061 sappiano che a quale tempo la chiesa era dotata di un chiostro , quello che non è chiaro è dove fosse la chiesa visto che un documento del 1210 , citante i beni allora appartenenti alla pieve cita il podere Pieve vecchia, luogo ritenuto la primitiva sede della pieve. Nello stesso documento parlando della chiesa la si definisce domus ecclesia, a conferma che in quell’anno la pieve era già stata edificata, ma sempre lo stesso documento informa che la costruzione non esisteva nel 1174 . Nella chiesa aveva sede anche un capitolo di canonici di cui sono rimasti i nomi di un tale canonico Bello, qui operante nel 1221 e di un canonico Rogerio nel 1237 . Di sicuro c’è che intorno al 1200, nello stesso periodo in cui si formava il castello di Gambassi, il complesso plebano venne ristrutturato dandogli l’aspetto oggi visibile. Della chiesa qui precedentemente costruita restano delle tracce solo nel transetto, e si trattava di una chiesa a pianta basilicale. Nel 1224 la costruzione non doveva essere terminata visto che ancora in quell’anno il comune di Gambassi faceva pagare una tassa per le spese della chiesa, oltre che per il mantenimento delle strade e delle fonti pubbliche
Il nome di uno dei maestri che lavorarono nella pieve è rimasto inciso nel capitello della seconda colonna sulla sinistra e si tratta di un certo Johannes Bundivulus, italianizzato in Giovanni Bondi volterrano . Le maestranze che qui lavorarono furono quasi sicuramente volterrane visto il legame di dipendenza feudale che ancora la legava alla città e anche al ripetersi qui di alcune caratteristiche della Cattedrale di Volterra. La pieve, nonostante facesse capo ad un vasto territorio composto da 21 suffraganee e fosse la beneficiaria di diversi privilegi papali, tra la fine del XIII e la metà del XIV secolo non era ricca, infatti nel 1276 pagò solo 7 lire e 17 soldi di tasse per la decima, cifra mantenuta più o meno costante anche negli anni a venire; a peggiorare la situazione concorse anche papa Bonifacio VIII che nel 1301 revocò i beni e i privilegi che i suoi predecessori avevano conferito ai pievani di Chianni. Di alcuni suoi rettori è stato tramandato il nome come ad esempio il pievano Benni di Ugolinello di Ranuccino citato nel 1182 o come Jacopo arciprete nel 1252, e infine per il XIV secolo sono citati Baldo e Paganello. Insieme al pievano e ai componenti il capitolo dei canonici vivevano presso la pieve anche alcuni semplici sacerdoti come Vernaccio e Rollando citati rispettivamente nel 1183 e nel 1231 .
Nel XIV secolo avevano qui sede anche due compagnie: la Compagnia di Santa Croce fondata nel 1348 e la Compagnia di Santa Maria fondata nel 1360 e riservata ai presbiteri. Dalla seconda metà del secolo a regolare la vita della pieve ci pensò il comune di Gambassi attraverso i suoi statuti che stabilivano anche l’uso della chiesa e come mantenere l’immobilo. Nel 1356 il vescovo Filippo Belforti elevò la chiesa a sede del Caposesto della Valdelsa per la diocesi di Volterra.
Nel XV secolo la chiesa venne visitata più volte dal vescovo volterrano e in occasione di ogni visita venne redatta una relazione sullo stato della pieve. Da tali atti sappiamo che nel 1413 nella chiesa vi erano cinque altari ma anche che in quel periodo era crollato un angolo della struttura[18] che dovette essere riparato in fretta visto che nelle relazioni del 1422, 1437 e 1443 la struttura venne giudicata in buone condizioni[18]. Successivamente qualcosa iniziò a peggiorare visto che nel 1465 viene scritto che il tetto era pericolante e nel 1501 addirittura nelle mura erano presenti delle profonde fenditure che portarono ad una profonda ristrutturazione nel 1520. Altri lavori vennero svolti intorno al 1550 quando venne ampliato il coro sostituendo l’originaria abside romanica con una scarsella[18]. Nel 1686 in facciata era ancora aperto un occhio sul modello del duomo di Volterra, occhio che venne trasformato in finestra rettangolare nel 1782 dal arciprete Corsi che in quel periodo fece svolgere dei lavori di restauro[22]. La facciata col tempo dette segni di un imminente cedimento e nel 1842 venne consolidata mediante due contrafforti; nel 1879 venne dichiarata monumento nazionale subito dopo vennero intrapresi dei restauri che portarono all’eliminazione di ogni aggiunta fatta in epoca barocca. Nel 1957 sono stati rinvenuti i resti dell’antica abside romanica, durante i lavori di consolidamento e restauro eseguiti dalla soprintendenza ai monumenti di Firenze, sotto l’allora Parroco Don Ferdinando Porciani Una nuova campagna di ristrutturazione è stata svolta nel 1979 sotto la direzione della Soprintendenza ai Beni architettonici per le provincie di Firenze e Pistoia. Dopo il 2009 gli edifici annessi alla pieve sono stati ristrutturati per ospitare un ostello per pellegrini.