回国以后，姚开泰担任了学校肿瘤研究室主任。1985年，他又申请了国家“七五”重点攻关课题：“恶性肿瘤的分子生物学基础研究”。他带领助手们对鼻咽癌基因组中的生物物理性状在人群中的多态性、染色体定位、表达、活性以及它在人类鼻咽癌癌变过程中的作用等进行了系统深入的研究。他和他的研究生在自己的实验室里进一步开展了促瘤基因的研究。他们运用记忆内转移技术，在促瘤物质存在的条件下，初步探讨了7中人体组织DNA的促瘤基因活性，发现了人的胃癌、鼻咽癌活检组织和鼻咽癌上皮细胞DNA，均有促瘤基因活性。
他还以小鼠的促瘤基因作探针，与人体淋巴细胞的染色体作原位分子杂交，发现了人的染色体上也有促瘤基因的同源序列，并初步将其定位于6号染色体长臂。这一成果为进一步研究促瘤基因在人类恶性肿瘤中的广泛存在提供了新的实验证据，并且为分离人促瘤基因打下了基础。1987年，他们在人胚鼻咽上皮原代培养技术的基础上，进一步改进方法，用病人的鼻咽癌活检组织，接连成功地建立了3株鼻咽癌上皮细胞株，并命名为湖南1号、湖南2号和湖南3号，从而使世界上建立的鼻咽癌上皮细胞株的总数增加到6株，为实验肿瘤研究创造了新的条件。
这3株不同的鼻咽癌上皮细胞株有的已连续培养了80多代，并进行了EB病毒核抗原检测，其中湖南1号已检测到81代，EB病毒核抗原均为阳性；有2株已在裸鼠身上长出了肿瘤，其形态表现与活检组织一致，染色体数量达100多余条。他还深入探讨了7号染色体长臂与鼻咽癌易感性的关系，揭示了鼻咽癌的发病机制，使鼻咽癌的病因发病学研究进入了一个新的历史阶段。
建立研究室
1989年，他创建了肿瘤分子生物学研究室，从而也为鼻咽癌分子机理研究提供了更好的场所。同年，湖南医科大学肿瘤研究所诞生，他担任了该所所长。也就是在这一年，他所在的学科--病理生理学科一跃而成为国家教委的重点学科，他是这个学科的学术带头人。多年来，他领导的肿瘤研究室先后担任了国家自然科学基金委员会、国家教委、霍英东基金委员会资助的10项科研项目，1989年又获美国中华医学基金会（CMB）65万元美元科研资助。这使姚开泰如虎添翼，在攻克癌症的道路上开始一了更勇猛的进攻。
丰厚的报酬
辛勤的劳动，获得了丰厚的报酬，更获得了发言权。姚开泰曾先后三次登上了国际学术讲坛，报告了自己的研究成果，深得各国学者的赞赏。1986年，他参加了中国科协第三次代表大会；1987年他被授予“湖南省优秀科技工作者”称号。1988年被授予“卫生部有突出贡献奖的中青年科技工作者”称号。1985年他被选为中国抗癌协会第一界全国理事会理事、第二界理事会常务理事，中华医学会肿瘤学会理事长等职；1987年当选为中国病理生理学会肿瘤白血病专业委员会副理事长。1990年担任卫生部成果评定委员会终审委员；1991年担任湖南省科协副主席；1992年成为国家教委科技委员会学科组成员和国务院委员学科组成员。
探索分子发癌机理
接踵而至的荣誉，并未使姚开泰沉醉。他说：“在征服癌症的道路上荆棘丛生，人类还有一段相当艰巨的路要走。”1992年，他与中国预防医学科学院一起夺回了国家“八五”科研攻关课题：“EB病毒诱发鼻咽癌的分子机理的研究”。EB病毒是一种常见的病毒，与人类上呼吸道感染有关。姚开泰决定重点研究EB病毒的潜伏蛋白基因。他调兵遣将，划分课题，组织全所科研人员、研究生协同攻关。自己则亲自承担对鼻咽癌人群易感性及癌变过程的EB病毒与瘤基因关系的研究。他一方面与该校生殖工程研究所合作，采用转基因方法，将EB病毒基因片段转入正常小鼠体内，观察小鼠对化学致癌物的敏感性。另一方面，寻找人群易感性的物质基础。在相同的环境中为什么有的人患鼻咽癌，有的则不患呢？是不是与遗传因素有关？这正是姚开泰要解决的问题之一。在他的精心指导下，不久，他的研究生终于用实验证实人类第七号染色体长臂 末端有一等位基因与鼻咽癌的易感性密切相关,从而找到了鼻咽癌易感性的遗传物质基础.但姚开泰还要对它进行更深一步的研究,彻底揭开易感性之谜.难怪我国著名肿瘤学家李新铭教授就曾断言：“湖南医科大学的鼻咽癌分子生物学研究方向将指导全国鼻咽癌研究的发展方向。”
