Anlässlich der Grabungen, die für den TGV bei Bourbousson westlich der Stadt gemacht wurden, wurde erkannt, dass das mittlere Drômetal schon seit der Jungsteinzeit (2500 vor Chr.) besiedelt war. Aus dem 5. Jahrhundert vor Christus stammend, wurden vier Behausungen aus Erde und Holz mit drei Speichergruben und einem Speicher auf Pfosten gefunden. Die örtlichen Historiker des 19.Jh., unter welchen Pfarrer Eugène Arnaud der wichtigste war, waren der Meinung, dass zur Zeit der Römer an Stelle des heutigen Turms ein Wachturm stand. Es gibt allerdings keinen Beweis für diese These. Die allerletzten Funde haben diesbezüglich eher Zweifel ausgelöst. Auf jeden Fall wurden mit Sicherheit Überreste römischer Siedlungen in Crest gefunden, das sich auf dem Weg von Valence nach Italien befindet. Die wichtigste Siedlung der römisch-gallischen Periode befindet sich drei Kilometer östlich von Crest in Augusta, heute Aouste–sur–Sye genannt.

Die Gründung von Crest ist auf das 10.Jh. zurückzuführen, nach den durch das Ende der römischen Besatzung bedingten Unruhen. Nach wiederholten Einfällen von Barbaren, Awaren, Burgunder und Goten wurden die Siedlungen auf Hügel verlegt und mit Befestigungsmauern umgeben.

Die Gründung von Crest begann mit der Familie Arnaud, daher der Name der Stadt Crista Arnaldorum oder Crêt des Arnauds. Offiziell wird Crest erstmals am 2.März 1120 von Papst Calixte II genannt, welcher hier Halt machte, der von der Burg aus an die Bischöfe von Coimbra und Salamanqua schrieb.

Die Familie Arnaud besitzt die Stadt bis zum Jahr 1145 in «franc-alleu» (Vollbesitz), ohne jemandem dafür Abgaben zu leisten, bis Arnaud von Crest Vasall von Hugo II, Bischof von Die, wurde. Er bezahlte 1200 Geldstücke von Valence und Die als Vergebung der zahlreich begangenen Fehler. Den Arnauds folgten die Poitiers, Grafen der Grafschaften von Valence und Die. Einer Urkunde von 1178 zu Folge herrscht der Bischof von Die nur über die Hälfte von Crest und 1138 beurkundet Adémar von Poitiers Freiheit seinen Bürgern von Crest. Beinahe zwei Jahrhunderte lang wurde diese Zwiespältigkeit bezüglich dem Besitz der Gebiete und Schlösser die Ursache unaufhörlicher Kriege zwischen Bischöfen und Grafen.

Ein erstes Ereignis ist die Einnahme von Crest durch Simon de Monfort im Jahr 1217 während des Kreuzzuges der Albigenser; Aymar von Poitiers, Verwandter, Freund und Lehensmann des Raymond VI, Graf von Toulouse, übernimmt den Teil Simon de Montforts und Arnaud von Die, Hauptmann der oberen Burg im Dienste des Bischofs von Die, liefert ihn den Kreuzrittern aus um dem Grafen zu schaden, mit der Absicht die Verteidigung der unteren Burg von Aymar und somit der Stadt unmöglich zu machen, was Aymar veranlasste, sich zu ergeben.

Es folgten die zahlreichen Ereignisse des «Kriegs der Bischöfe», welcher im Jahr 1347 durch die Schlacht von Eurre mit dem Sieg Aymars IV von Poitiers endet. Dann, nach dem Abbruch der bischöflichen Festung, machten die Poitiers aus der unteren und oberen Burg zusammen den Hauptsitz ihrer Ländereien. 1382 richtet Ludwig II von Poitiers seine Münzwerkstatt im dritten Stock des Turms ein.

1419 ernennt er Charles, Dauphin von Vienne, Sohn des französischen Königs Karl IV, zum Alleinerben und 1426 wird Crest französisch.

Während den folgenden Jahrhunderten übergeben die Herrscher das Herzogtum Valence und somit auch Crest, für kurze Zeit an Cesar Borgia,(1498), dann an Diane von Poitiers (1548) und schließlich für längere Zeit an die Grimaldi, die neu Lehnsherren von 1643 bis zur Revolution werden. Am 26. Januar 1632 ordnete Ludwig XII der auf der Rückkehr des Piemontfeldzugs 1629 durch Crest marschierte, den vollständigen Abbruch der Zitadelle Crest an, auf Gesuch des Konsuls von Crest hin blieb der Turm jedoch verschont.

Und so wurde der Turm Gefängnis für frei denkende Menschen, Oppositionsmitglieder, in großer Zahl Protestanten nach den Religionskriegen und später für die Opponenten gegen den Staatsstreich von Louis Napoléon Bonaparte. Zahlreiche Inschriften auf den Wänden beweisen ihren Glauben und ihre Leidenschaft. Als Kirchen- und Gerichtsstadt erlebt Crest seinen Höhepunkt im 17. und 18. Jh. dank der Entwicklung des Handels, der Tuch-, Baumwoll- und Seidenindustrie. Dieser Aufschwung geht bis zum 19.Jh. 1876 zählt die Gemeinde 5600 Einwohner (heute 8100). Diese reichhaltige Vergangenheit ist heute noch in den Umrissen der Altstadt, den Namen der Straßen und der Viertel zu erkennen. Aber Crest, Tor des Naturparks Vercors weiß sein historisches Erbe mit der modernen Welt in Einklang zu bringen. Das schöne und reiche Drômetal hat seiner Hauptstadt Heiterkeit und Lust auf Zukunft verliehen.