Auf der kleinen Insel aus Muschelkalk stand ab dem 10. Jahrhundert bis in Jahre 1445 eine Burg, der Stein zu Rheinfelden. Die Burg wurde von den Grafen von Rheinfelden erbaut. König Rudolf von Habsburg hielt sich öfters hier auf, liess hier seine Reichs-Insignien aufbewahren, hier kam auch sein jüngster Sohn zur Welt. In Schillers "Tell" ist mit "... zu Rheinfeld an des Kaisers Pfalz" der Stein zu Rheinfelden gemeint!
 
Leider wurde die Burg 1445 abgerissen und nach dem 30jährigen Krieg an ihrer Stelle ein Artillerie-Kastell durch die Österreicher errichtet. Aber auch dieses wurde 1745 zerstört, so dass heute von beidem nichts mehr zu sehen ist.