法律分析：可以向单位要回身份证。单位拒不返还的情况下，可以报警，或向劳动行政部门举报，维护自身合法权利。用人单位扣押劳动者身份证的行为是违法的。根据我国《身份证法》第十五条，任何组织或者个人不得扣押居民身份证。
法律依据：《中华人民共和国身份证法》 第十五条 任何组织或者个人不得扣押居民身份证。
《中华人民共和国劳动合同法》
第九条 用人单位招用劳动者，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物。
第八十四条 用人单位违反本法规定，扣押劳动者居民身份证等证件的，由劳动行政部门责令限期退还劳动者本人，并依照有关法律规定给予处罚。