Błąd, oczywiście ten znak pojawi się także w innych przeglądarkach, które go jednak nie wyświetlają

w przeciwieństwie do IE
Przecież serwery wirtualne muszą współpracować ze stronom zakodowanymi w ISO jak i UTF

Widziałeś kiedyś providera, który wymaga stosowania konkretnego kodowania

Poza tym, jak zmienię ustawienia to posypią mi się witryny które mam zapisane w ISO

Jakoś mi się mało chce w to wierzyć, albo Cię źle zrozumiałem.
Jak nie potraficie mi udzielić pomocy, to napiszcie gdzie indziej mam jej szukać.