Pedro Sem era um mercador rico mas não tinha títulos de nobreza, o que muito o afetava. Possuía muitas naus na Índia e era também usurário. Vivia rodeado de luxo à custa da desgraça alheia, pois emprestava dinheiro a juros elevados.
Um dia, estavam as suas naus para chegar, carregadas de especiarias e outros bens preciosos, quando a sua máxima ambição foi realizada: casou-se com uma jovem da nobreza, em troca do perdão das dívidas do seu pai.
Decorria a festa de casamento, que durou quinze dias consecutivos, quando as naus de Pedro Sem se aproximaram da barra do Douro.
O arrogante mercador, acompanhado pelos seus convidados, subiu à torre do seu palácio e, confiante do seu poder, desafiou Deus, dizendo que nem o Criador o poderia fazer pobre. Nesse momento, o céu azul deu lugar a uma grande tempestade!
Pedro Sem assistiu impotente ao naufrágio das suas naus. De seguida, a torre foi atingida por um raio que fez deflagrar um incêndio que destruiu todos os seus bens.
Arruinado, Pedro Sem passou a pedir esmola nas ruas, lamentando-se a quem passava: “Dê uma esmolinha a Pedro Sem, que teve tudo e agora nada tem…”.
A história diz que essa torre pertencia a Pero do Sem, doutor de leis, jurisconsulto e chanceler mor de D. Afonso VI no século XIV, mas a lenda remete para uma data posterior – século XVI – a existência de um personagem chamado Pedro Sem.
