Ruinen av Edsholms borg har skadats vid järnvägsbygge och vid byggen av värn under andra världskriget då platsen fortfarande hade strategisk betydelse.