从法律从层面讲你有扶养他的义务，即使他没有尽到父亲跟丈夫的义务。 根据《中华人民共和国婚姻法》第二十条 夫妻有互相扶养的义务。 一方不履行扶养义务时，需要扶养的一方，有要求对方付给扶养费的权利。
理论上有义务。但是鉴于对方这么不忠，那你凭什么得委屈？别人怎么对自己，自己就怎么对别人。以德报怨做不到。
不要管他
