bueno te cuento lo que yo hago para que esto no suceda... voy a configuracion luego voy a perfiles ahi le doy a (mas) ver y editar...
ahi es donde podes editar el perfil .. lo que yo hice fue bajar el volumen a cero y para que se active solo edite la ultima opcion que son acsesorios ahi puse manos libre portatil... entonces cada vez que yo conecto los manos libres se activa este perfil y el telñefono queda en modo silencio automaticamente...

No tiene nada que ver el fast port ni los auriculares es una simple configuracion...

saludos y espero que te sirva