(1)由题意，y′=lnx+1-2ax
令f′（x）=lnx-2ax+1=0得lnx=2ax-1，
函数y=xlnx-ax²有两个极值点，等价于f′（x）=lnx-2ax+1有两个零点，
等价于函数y=lnx与y=2ax-1的图象有两个交点，
在同一个坐标系中作出它们的图象（如图）
对于y=lnx，假设y=lnx与y=2ax-1相切。切点为(c，lnc)
斜率k=y'=1/x，则1/c=2a→2ac=1，又lnc=2ac-1，所以lnc=0→c=1，a=1/2
所以当a=1/2时，直线y=2ax-1与y=lnx的图象相切，
由图可知，当0＜a＜1/2时，y=lnx与y=2ax-1的图象有两个交点．
则实数a的取值范围是(0，1/2)．
故答案为：(0，1/2)．
(2)f（x）=xlnx-ax²，f′（x）=lnx-2ax+1=0，有两根x1,x2
f''(x)=1/x-2a=(1-2ax)/x
因为0＜a＜1/2
所以当x∈(0，1/2a)时，f''（x）＞0，x∈(1/2a，+∞)时，f''（x）＜0
∴f'（x）在x∈(0，1/2a)上单调递增，在x∈(1/2a，+∞)上单调递减。
又因为f'（x）有两个零点x1，x2，
即f'(x1)=f'(x2)=0
所以f'(x)先递增到大于0，然后再递减到小于0，这样既满足有两个零点，又满足在x∈(0，1/2a)上单调递增，在x∈(1/2a，+∞)上单调递减。
因为x1＜x2
∴当x∈（0，x1）时，f'（x）＜0，当x∈（x1，x2）时，f'（x）＞0，当x∈（x2，+∞）时，f'（x）＜0
∴f（x）在x∈（0，x1）上单调递减，在x∈（x1，x2）上单调递增，在x∈（x2，+∞）上单调递减
而f'(1/e)=-1-2a/e+1=-2a/e＜0
∴1/e∈（0，x1）
∴f(x1)＜f(1/e)=-1/e-a/e²＜0
所以f(x1)＜0