1977年11月，根据中华人民共和国铁道部下达的设计任务书，田心机车车辆工厂和株洲电力机车研究所在学习法国进口6G型电力机车先进技术、总结韶山1型、韶山2型电力机车成熟经验的基础上，开始研制韶山3型电力机车。
韶山3型机车是中国铁路第二代电力机车，采用桥式全波整流、低压侧调压开关与晶闸管相控相结合的调压方式，实现了调压开关8级级间晶闸管相控平滑调压。这种调压方式实际上是调压开关调压向全相控调压两个发展阶段之间的过渡方案，由于中国当时大功率晶闸管的制造技术水平相对落后，采用级间相控调压能够降低晶闸管容量，从而避免直接上马相控电力机车带来的技术风险。在研制过程中，田心机厂和株机所曾经以韶山1型031号机车作为技术验证车，将原来的全波二极管整流、低压侧调压开关改造为级间相控平滑调压，试验结果显示机车性能有较大改善，与原来有级调压相比，机车起动牵引力提高了13%～18%，坡停起动时机车发挥功率提高了2～4倍。 1978年12月30日，首台韶山3型机车（0001）在田心机车车辆厂顺利落车，1979年3月试制完成出厂，随后在铁道部铁道科学研究院北京环形铁道进行了第一期性能试验，试验中发现机车存在一些较大的技术问题，决定回厂改进。经过对主变压器、调压开关、恒流控制环节、空转保护环节、悬挂系统等方面的调整和改进，韶山3型0001号机车于1980年3月再次赴北京进行第二期性能试验，经过近两个月的试验，证明机车各项主要性能指标均已经达到设计要求；在此期间， 时任中国铁道部部长郭维城、副部长刘建章曾于1980年4月30日来到环形铁道视察韶山3型电力机车 。1980年7月至1982年11月，这台机车配属成都铁路局马角坝电力机务段，在宝成铁路投入运行考核，期间总运行里程超过21万公里；后来经返厂解体检查，情况基本良好。1982年12月29日，铁道部在株洲厂召开 技术鉴定会，韶山3型电力机车通过部级技术鉴定。
完成技术鉴定后，株洲电力机车厂开始小批量生产韶山3型机车，并于1986年底开始大批量生产以取代韶山1型，到1992年共生产677台（0001～0677）。1990年起，大同机车厂开始转产电力机车，大同厂按照株洲厂的图纸试制的第一台韶山3型电力机车于1990年9月15日竣工，到1992年共生产了95台（6001～6095）。韶山3型电力机车曾获国家科技进步二等奖、国家优质产品奖。
此外，韶山3型电力机车也曾经先后三次参与中国铁路的两次重载试验。1983年11月25日，为配合大秦铁路的建设，北京环形铁道进行了中国铁路首次万吨重载试验，韶山1型、韶山3型电力机车双机牵引重载货物列车，总重10081吨，列车全长1748米，编组共102节。1988年，大秦铁路二期工程完成并开通运营，1990年在大秦线上进行了万吨重载列车运行试验。1990年6月10日，韶山3型电力机车双机重联牵引万吨重载列车运行试验获得成功，列车全长1.7公里，牵引总重为10698吨，其紧急制动距离不到800米。 韶山3型电力机车是在1970年代末设计定型的产品，经过长时间的试验、生产和运用，其固有缺点开始凸显出来，主要是粘着利用系数不高；而随着中国的晶闸管相控调压技术在电力机车上的应用日趋成熟，原本采用调压开关和晶闸管结合级间平滑调压的韶山3型机车也完成了其过渡角色。1991年，株洲电力机车研究所、成都铁路局和株洲电力机车工厂联合按照“标准化”、“系列化”要求对韶山3型电力机车进行技术改造，选定了马角坝机务段的韶山3型0123号机车进行试验，主要改进包括，以晶闸管相控平滑调压代替原调压开关级间调压，并采用两台转向架分别供电的主电路结构，更新电子控制系统并新增防空转保护，改用加馈电阻制动以扩大电制动范围；采用平行牵引拉杆降低牵引点高度、减少轴重转移。经过改造后的韶山3型0123号机车于1991年7月投入运行考核，试验证明其粘着利用比改造之前提高了10%，且牵引电动机和电子系统故障率大大降低。
经过改进后的韶山3型电力机车称为韶山3型4000系，自1992年开始批量生产。株洲电力机车厂累计生产251台（4001～4008；4085～4104；5029～5251）。根据铁道部统一安排，韶山3型4000系的设计图纸转交其他机车制造厂共同生产。自1993年至2006年，大同机车厂生产了525台（4009～4084；4108～4556）；自2000年至2002年，资阳机车厂生产了57台（8001～8057）；1994年，太原机车车辆厂试制了3台（4105～4107），这也是该厂生产的第一种电力机车。到2006年，韶山3型4000系列合计产量达到836台 。而1993年之前生产的韶山3型电力机车，其中大部分在后来大修时均按照4000系改进型的标准进行了技术改造，主要由宝鸡机车检修厂、大同电力机车公司、南车洛阳机车公司、太原轨道交通装备公司等机车检修单位负责。目前使用韶山3型电力机车的铁路局包括成都铁路局、昆明铁路局、南昌铁路局、兰州铁路局和呼和浩特铁路局等。
韶山3型4000系机车早期曾被称为“韶山3B型”，但未获铁道部批准采用新型号，官方规范的命名仍沿用韶山3型，而正式的韶山3B型是由2002年开始生产的韶山3B型双机重联电力机车。中国的铁路爱好者对前者用“小3B”，后者用“大3B”的称呼以示区别。
