Más que bañarlo, lo que deberías de hacer es limpieza profunda en el lugar donde permanece a lo largo del día, aplicar un insecticida para eliminar la posible fuente de contagio. Esto es para el lugar en donde el conejo permanece.
Para el conejo mismo, yo te recomiendo acudir con el veterinario, para aplicar un desparasitante (interno y externo); posiblemente aplique ivermectina, con este producto, su acción mata parásitos internos y externos (garrapatas, piojos, pulgas, ácaros, etc). Dosis ivermectina (aunque te recomiendo consultar al veterinario) 0.02 ml por kg de peso.
