Plusieurs découvertes archéologiques attestent de l'importance du peuplement de l'actuel territoire communal depuis l'Antiquité, en particulier à Magnac dans la vallée du Boudouyssou : sur le site, occupé durant le haut Moyen Age, est implantée une église, matrice de la paroisse de Penne. Au Moyen Age, ce territoire compte 8 églises paroissiales dont 2 avec prieuré, une église annexe intra-muros à Penne, ainsi qu'un couvent de franciscains. Le "castrum", attesté dès le 11e siècle, à la tête d'une vaste châtellenie et d'un bailliage au 13e siècle, est assiégé en 1212 durant la Croisade albigeoise, puis à plusieurs reprises pendant la guerre de Cent Ans, enfin en 1562 durant les guerres de Religion. Une seconde agglomération s'est développée dès le Moyen Age au contact d'un port sur le Lot. La commune de Penne-d'Agenais a été démembrée des sections de Trentels en 1839 et de Saint-Sylvestre en 1853.Population communale : 2520 habitants en 1876 ; 2535 habitants en 1896 ; 2099 habitants en 1968 ; 2167 en 1982 ; 2394 habitants en 1990 ; 2330 en 1999. 4 sites sont inscrits sur la commune : l'ensemble formé par le vieux moulin de Port-de-Penne (détruit lors de la construction du barrage de Villeneuve en 1969) et ses abords a été inscrit le 13 novembre 1942 ; le site du vieux pont et moulin de Payssel a été inscrit le 2 décembre 1942 ; l'église d'Allemans avec son cimetière, autrefois ombragé de "magnifiques platanes", a été inscrit le 13 janvier 1947 ; le site du Rocail, "caractéristique de la fin du plateau du Quercy Blanc", a été inscrit le 19 mai 1981.La commune de Penne bornée par le Lot au nord, est traversée par le ruisseau du Boudouyssou. La commune de Penne bornée par le Lot au nord, est traversée par le ruisseau du Boudouyssou. Cette vallée secondaire qu'empruntait l'ancien chemin de Villeneuve à Cahors, est bordée de coteaux calcaire aux versants escarpés appelées "pechs", buttes témoins culminant à plus de 200 mètres (Castelgaillard, Noaillac...). Si la polyculture domine dans la vallée, les terrasses de la vallée du Lot et les coteaux sont majoritairement plantés de vergers de pruniers, destinés à la confection des pruneaux d'Agen. (MCC)