公司行政处罚记录通常在5年后可以消除。根据《中华人民共和国行政处罚法》第三十六条的规定，行政处罚信息自公示之日起届满5年的，记录于企业信用信息公示系统，但不再公示。需要注意的是，如果企业在5年内有未依照规定公示年度报告或其他违法行为，则记录可能不会被消除。