Si funciona cuando mueves un poco el conector, entonces limpia el conector del celular, usando un borrador de lápiz (y si fuera necesario, raspalo con un palillo de dientes), a veces pasa eso
También raspa un poco el conector del manos libres, con una lima de uñas (pero no lo raspes mucho, una vez está bien)
Luego lo pruebas para ver si funciona

Si no funciona, tienes 2 opciones:
1. Comprate otro manos libres
2. Compra un manos libres genérico (el más barato que sea stereo), luego lo desarmas el conector y lo reemplazas