遷宮を自分たちの祭りにした町衆