Actualmente sería
PSP (sobretodo por el tema PSX),
GP2X Wiz/Caanoo (PSX Y gba peor que en PSP, pero otros como SNESo MAME mejor) y las consolas Android (aunque estas a mi no me gustan por el input/sound lag y su corta batería).
Y bueno, si te gustan las consolas Open Source yo me esperaría unos meses, yo estoy a nada de recibir la nueva
GCW Zero que pinta muy bien:
Si te esperas y ves que tiene su apoyo en forma de nuevos emuladores (aunque ya de salida NES, SNES, MegaDrive, PC-Engine y cosas por el estilo te las emula muy bien) creo que puede ser la mejor opción de todas.