Cambia el momento en el que haces el cambio, debe ser eso. Eliges un mal momento.
Para que te hagas una idea te pongo este video, pero no hagas el primer cambio es mas o menos para que veas como lo hace.
Y prueba con otros juegos tambien, hay algunos games con los que es muy dificil hacer swap, igual el dragon ball es uno de ellos.
sigue las instrucciones que te he dado