Mille occupe le site d’une ancienne villa romaine, comme plusieurs châteaux d’Apt : la Villa Milonum. On y faisait du vin, comme dans toute la région d’Apt, une station importante sur la Voie Domitienne. Le cheval de l’empereur Hadrien, Borysthène, tué lors d’une chasse, fut enterré aux Tourettes, tout à côté. Un fragment de sa pierre tombale, où Hadrien fit graver un émouvant poème, se trouve au Musée Lapidaire d’Avignon. La culture du vin s’est poursuivie au Moyen-Age, jusqu’au 19ème siècle, qui fut marqué par la tourmente du phylloxéra. Elle joue aujourd’hui un rôle vital dans l’économie de la région.
Les archives papales d’Avignon font mention du Château de Mille en 1238. Il fut la résidence estivale des évêques d’Apt et des papes d’Avignon, notamment Urbain V, dont le portrait orne le caveau. Les riches archives de Mille nous aident à mieux comprendre l’histoire du lieu.