Mange trodde også at taterne hadde spesielle evner som trollmenn. Alt dette gjorde at gruppen ble et symbol på en levemåte som samfunnet ikke ønsket.
Da taterne først kom til Skandinavia var Norge katolsk. I følge katolske skikker hadde pilegrimer krav på mat og husly. Dette gjorde at reisende vanligvis fikk god behandling.
Med reformasjonen endret dette seg. Allerede i 1536 ga kong Kristian III ordre om at taterne skulle vises ut av landet. Senere ble de lyst fredløse. Det betydde at hvem som helst kunne drepe en person av taterslekt uten å bli straffet. Ulike slike ordrer kom fra kongen helt fram til 1800-tallet.