解:y=cos2α=2(cosα)^2-1=(1/2)x^2-1
曲线C的方程为y=(1/2)x^2-1 (1)
而直线l:x=ρcos(π/3),y=ρsin(π/3),
所以直线l的方程为y=tan(π/3)x=√(3)x (2)
联立(1)(2)可解得
x=√(3)+√(5),y=3+√(15),或x=√(3)-√(5),y=3-√(15)
故直线l与曲线C的交点O的直角坐标为(√(3)+√(5),3+√(15))或(√(3)-√(5),3-√(15) )