Дело в том, что мир маглов не может взаимодействовать с магическим миром по своей инициативе. Мир населен 100500 магическими существами которцых не замечали. Нападение великанов люди вообще считали за шторм. А нападение было в книге на город. Такому количеству людей никто бы память не стер. Маглы изначально в сеттинге в жопе. Поэтому и остаются за кадром. Их проблемы магов не волнуют. Маги прячутся не от маглов, а просто что бы им не мешали. А не от страха, или чего-то схожего. Хотя во второй книге, машину таки заметили, но она сделана на основе технологии маглов, поэтому может этот фильтр восприятия в сеттинге и не сработал.