Rav Meir Twersky in  Beis Yitchak suggested this as pshat in tosafos. He suggests that when tosafos explains the difference between kli rishon and kli sheini as whether the walls are hot it is not based on metzius but rather whether it is normal to cook that way. It is normal to cook in a kli rishon because the walls are hot and therefore it is prohibited. It is not normal to cook in a kli sheini because the walls are cold and therefore permitted. Likewise, by kalei habishul since they cook easily people cook then in a kli sheini and therefore you are chayav.