Звуки такого свойства бывают разные.
С другой стороны мы же считаем, что вроде как всё видим и даже понимаем, соответственно что-то неизвестное и непонятное - пугает.
Пугает лишь неизвестностью.

А звук? Ну звук... Это всего лишь звук. Мы его слышим ушами, а обрабатываем умом. Соответственно "мороз по коже" это нечто что мы когда-то про этот звук помнили, но забыли.