Nacque a Roma nel 1576 da Francesco Caffarelli e da Ortensia Borghese, sorella del futuro papaPaolo V. Assunse il cognome materno dopo l'elezione dello zio al pontificato.
Studiò filosofia nel Collegio Romano, quindi diritto all'università di Perugia, grazie al sostegno finanziario dello zio. Il padre, che risiedeva a Nepi, versava in condizioni finanziarie assai precarie e solo dopo il 1607 poté rientrare a Roma.
Alla sua morte tutti i beni mobili e immobili furono sottoposti a uno strettissimo vincolo fide-commissario, istituzione giuridica che preservò l'integrità della collezione fino a tutto il XVIII secolo. Alla fine del Seicento i Borghese potevano contare su una raccolta di circa 800 dipinti e su una delle più celebrate collezioni di antichità a Roma, oltre a uno sterminato patrimonio immobiliare. Fu proprio la raccolta archeologica a sollevare l'interesse di Napoleone Bonaparte, la cui sorella Paolina (1780-1825) sposò il principe Camillo Borghese (1775-1832). In seguito alla vendita forzosamente imposta dall'imperatore, le sculture, tra la fine del 1807 e il 1808, furono smontate dalla loro sede originaria e trasportate al Museo del Louvre, di cui oggi costituiscono uno dei nuclei fondamentali della collezione archeologica.[1]