Vom ehemaligen dreigeschoßigem Renaissanceschloß mit Walmdach sind nur mehr die Gräben und drei der vier Ecktürme des Wasserschlosses erhalten. Das Schloss Raipoltenbach ist Schauplatz des Romans „Der Kampf um die Barbacane“ von Fritz Habeck. Die Schlossanlage hatte 1683 durch die Türken schwer gelitten. Der endgültige Verfall wurde, nach der Überlieferung, durch kaiserliche Sodaten verursacht, als sie hier ein Räubernest stürmten. Jedenfalls wurde der Schloßbau um 1820 abgetragen und die Türme dem Verfall preisgegeben.