法律分析：理论是必须把房子退掉的，但要以实际情况为准。公共租赁住房是指由国家提供政策支持，各种社会主体通过新建或者其他方式筹集房源、专门面向中低收入群体出租的保障性住房，是一个国家住房保障体系的重要组成部分。公共租赁住房不是归个人所有，而是由政府或公共机构所有，用低于市场价或者承租者承受起的价格，向新就业职工出租，包括一些新的大学毕业生，还有一些从外地迁移到城市工作的群体。
法律依据：《廉租住房保障管理办法》第二十五条 城市低收入住房困难家庭不得将所承租的廉租住房转借、转租或者改变用途。城市低收入住房困难家庭违反前款规定或者有下列行为之一的，应当按照合同约定退回廉租住房：
（一）无正当理由连续6个月以上未在所承租的廉租住房居住的；
（二）无正当理由累计6个月以上未交纳廉租住房租金的。