根据《国家税务总局关于印发〈增值税一般纳税人纳税辅导期管理办法〉的通知》（国税发〔2010〕40号）的规定，一般纳税人在辅导期结束后，若因增购专用发票而发生的预缴增值税有余额，主管税务机关应在纳税辅导期结束后的第一个月内，一次性退还纳税人。

简而言之，退税的时间是在辅导期结束后的第一个月内。