Со скалами Семь братьев связано множество легенд. Согласно большинству из них, эти останцы были людьми, которых некая могущественная сила превратила в камень. Тёмными ночами ещё можно услышать стук их сердец. Есть предание о Ермаке, которому семь волшебных братьев перегородили дорогу камнями. Преодолеет он одну гору, как тут же вырастает вторая, потом третья. На четвёртой устал Ермак и взмолился. Поднял крест, да и пошел на них. Хотят уйти волшебные люди, да не могут: ноги к земле приросли — камнем к камню; хотят руки опустить — руки не шелохнутся, камнем к каменным бокам прирастают, так обратились и в утесы. Иной раз ночью слышно, как сердца в них колотятся.

Другое предание связано с Никитой Демидовым. Узнал как-то он, что государевы люди собрались проверку учинить, чтобы выяснить, не чеканит ли заводчик у себя в Невьянске серебряные монеты. Собрали его люди несколько сундуков с деньгами и закопали в горе, а охранять поставили семерых братьев. Проверка шла долго. Братья на горе замерзли и превратились в каменных великанов. А клад до сих пор лежит под скалами Семь братьев.

Археологи не обнаружили в этих местах следов пребывания древнего человека. Вероятно, наши далекие предки видели грозные останцы издалека и опасались подходить к ним ближе. Скалы были священными, а значит посещать их было запрещено.

Популярным местом у туристов скалы Семь братьев стали только в конце XIX века. В начале ХХ века на вершину самого высокого останца можно было подняться по лестнице. По распоряжению управления Верх-Нейвинского завода там была оборудована площадка с деревянным настилом, ограждением и скамейкой. Использовали её для наблюдения за лесными пожарами. Среди местного бомонда стало модным ездить на Семь братьев на пикники и свидания. В 1930-е годы сооружение пришло в негодность и лестницу убрали. Сейчас на самый верх забираются только альпинисты, используя снаряжение. Без специальной подготовки можно вскарабкаться на приступок, который находится на северо-восточной стороне массива.

В 250 метрах восточнее основного гребня находится останец скала Любви (или Колдун). На таком же расстоянии, но на западе от Семи братьев — скала Сестра (или Камень-птица). В северном направлении на расстоянии 1,6 км от основного массива есть ещё три останца — это скала Три сестры. На её вершине археологи обнаружили древнее святилище и предметы раннего железного века и средневековья.