我们站一共有5个人,其中一个由于生孩子,两年没上班了,不过她每隔半年就去上级的上级那里换请假条。还有一个和我年纪相仿的男生同事,他被抽到拆迁组以后,就一直没来上过班,偶尔来过单位门卫两三次,是因为上级给他电话说,把奖金给他放门卫那里了,他有时间就过来拿,一直到现在将近一年半没上班了,他没有请假条,除了让他来拿奖金上级从未打电话催过他回来上班。所以单位只有我、上级、另一个阿姨级同事,他俩的工作全由我一个人做。前一段时间,我也被抽到拆迁组,项目还没有结束,只是丈量告一段落了,指挥部让等通知,然后我就以为我也和那位男同事一样,等通知期间不用回单位上班,所以就休息了几天,结果上级就越过我,直接和我的家人联系,问我没有什么事吧,为什么不去上班。结果搞得我被家人各种误会。我该怎么办,要不要说出这种不公平?