En la ventana de configuración avanzada (clic derecho, configuración avanzada), en la pestaña accesibilidad puedes eliminar los dispositivos que están emparejados con el PC y en Mis sitios de bluetooth eliminas los accesos directos que se hayan creado con ese dispositivo.
Es raro; ya ves lo que significa en rojo: que está detenido.
Haz clic con el botón derecho del ratón y elige "Iniciar el dispositivo bluetooth"
Marcadores