Im Hochmittelalter war die markant auf einem Muschelkalk-Felssporn thronende Burganlage aus dem 12. Jahrhundert von zentraler Bedeutung in der Region. Die Herren der Burg, die Edelfreien von Schweinberg (Swenenburg) traten in dieser Zeit häufig als kaisertreue Urkundenzeugen auf Hof- und Reichstagen auf. Sie standen in enger verwandtschaftlicher Beziehung zu den Grafen von Wertheim sowie den Herren von Boxberg und Dürn.

Im Jahr 1168 starb das Geschlecht im Mannesstamm aus. Der Besitz wurde unter den genannten verwandten Geschlechtern geteilt, die Schweinburg ging an die Herren von Boxberg. Mehrmals wechselte die Burg aufgrund von Erbteilungen den Besitzer, durch ein Tauschgeschäft wurde sie Lehensbesitz des Würzburger Hochstifts. Unter Konrad Rupertus von Boxberg wurde das würzburgische Erbkämmerer-Recht auf Schweinberg übertragen. Die Ehe Konrad Rupertus mit der Tochter des Grafen von Wertheim blieb kinderlos. Das Burglehen Schweinberg sowie das damit verbundene Erbkämmererrecht gingen nach seinem Tod an Wertheim.

Im Jahr 1437 wurde die Burg auf Geheiß des Würzburger Bischofs im Zuge einer Strafexpedition gegen den Grafen von Wertheim elf Tage belagert und teilweise zerstört, jedoch zeitnah wieder aufgebaut. Im Zuge der folgenden Streitschlichtungsverfahren wurde noch im selben Jahr ein Schadensinventar verfasst. Diese Fehde-Akte ist erhalten und erlaubt Einblicke in die Bedeutung und Wehrhaftigkeit dieser Burg im ausgehenden Mittelalter. Das Inventar listet Proviant, Hausgerät sowie Waffen und Rüstungsgegenstände auf und erlaubt Rückschlüsse auf die Wehrhaftigkeit der Anlage. Vergleiche zu anderen Schadensinventaren von Burgen ähnlicher Größe legen den Schluss nahe, dass manche Angaben zur Wehrhaftigkeit der Burganlage überzogene Forderungen darstellten. Trotzdem geht die Forschung davon aus, dass man im Verteidigungsfall von einer ca. 60 bis 100 Mann starken Burgbesatzung ausgehen konnte, die mit einem beachtlichen Waffenarsenal ausgestattet war.

Die Burg und das Amt Schweinberg blieben auch in den Wirren der Reformation als Würzburger Lehen in wertheimischer Hand. Spätestens im 18. Jahrhundert wurde das Amt Schweinberg mit Hardheim zusammengelegt und vom dort verwaltet. Von 1728 bis 1871 wurde die Burg als Steinbruch genutzt, danach wurde die Nutzung als Steinbruch untersagt.

1379 erwirkte Graf Johann I. von Wertheim die Gelnhäuser Stadtrechte für den Ort. Vermutungen liegen nahe, dass die Grafen von Wertheim mit der Erwirkung der Stadtrechte ein Gegengewicht zum nur 15 Kilometer entfernt gelegenen kurmainzischen Tauberbischofsheim schaffen wollten. Obwohl das Burgdorf in der Frühen Neuzeit eine Stadtmauer und zwei Tortürme besaß gelang der ...