Hola,para tener una buena calidad de videos no solo depende de como lo configura sino tambien que el video original sea bueno,para tener un video de buena calidad te recomiendo que uses estos valores:

Audio:

Audio codec:acc
Frame rate:44100
Bit rate:320kbps

Video:

Frames:30 fps
Bit rate:320kbps

La mejor resolucion seria 320 x 240,logicamente el video con esto va ocupar mas memoria.


Saludos