Perhaps the answer is that the Middos issue is not really what the Torah is concerned with here. It is more about the Pirud Levavos which is caused by it.