房子已经给您儿子了,说明房子跟他爸爸没关系,也说明房子跟您也没关系了。您没有必要操心的。尽管离婚,您儿子对他爸爸和您还都有法定的赡养义务。所以,他爸爸住在那房子里,也是合理的。离婚之前,您、您儿子的爸爸、您儿子是一家人。离婚之后,您和您儿子的爸爸不再是一家人;但是您和您儿子还是一家人;您儿子和他爸爸还是一家人。所以,如果您儿子的爸爸住在那套房子,不影响您儿子生活的话,就让他们先那么住着吧。