Mit Natternberg wird ein Felshügel (384 m hoch) bezeichnet, der weit aus der Umgebung herausragt. Auf dem Natternberg wurden Siedlungsspuren gefunden, die schon aus der Jungsteinzeit stammen und man vermutet, dass zur Römerzeit eine kleine Wachsiedlung dort erbaut worden war. Der Natternberg diente in früheren Jahrhunderten als ein Orientierungspunkt für Schiffe, die auf der Donau entlang fuhren. Lange Zeit haben Heimatforscher seinen Namen damit in Verbindung gebracht, dass es viele Schlangen in der Gegend rund um den Natternberg und an den Donauufern gibt, was allerdings nicht bewiesen werden konnte.
Es gibt in 375 m Höhe auch Reste einer alte Burgruine (das sogenannte „Schloss Natternburg“), und vermutlich bestand schon im Mittelalter um das Jahr 1000 eine kleine Siedlung, die im Jahr 1145 erstmals urkundlich erwähnt wird. Schloss Natternburg wurde während des 30jährigen Krieges (1618-1648) stark beschädigt, und im österreichischen Erbfolgekrieg 1743 fast völlig zerstört. Natternberg bietet nicht mehr das raue Klima, das im Bayerischen Wald vorherrscht. Es ist ein idyllischer Platz, an dem man den milden Einfluss der nahe gelegenen Donau verspüren kann.