Jan van Bergen, beëindiging kastelein in 22 maart 1474