In astratto, a mio parere, non ti puoi rifiutare, considerato che si tratta solo di uno spostamento che non presuppone l'espletamento di servizi di polizia. Tuttavia, andrebbe valutato il caso concreto conoscendo tutti i dettagli.
Buon lavoro, gennarino de fazio