Die Urls werden über die Variable TYPO3_REQUEST_DIR ermittelt und danach wird faillink und successlink gesetzt. Viellicht ist die Ermittlung dieser Variablen fehlgeschlagen oder der korrekt gesetzte faillink und successlink sind anschließend über das Setup falsch überschrieben worden.
Das müsste untersucht werden.