离婚后孩子归男方抚养，可是前夫没时间带孩子，孩子就爷爷奶奶带，每天晚上孩子爷爷又把孩子给我送过来，我给辅导作业。可是明明我没有说什么，送过来我就带，不送我也不打电话非得让送。但是男方家亲戚都说坏话，我到底哪里做错了，又该怎么做？