公司的行政处罚记录通常会在5年后消除。根据《中华人民共和国行政处罚法》第三十六条的规定,行政处罚信息自公示之日起届满5年的,记录于企业信用信息公示系统,但不再公示。需要注意的是,如果在这5年期间企业存在其他违法情形,如未按时公示年度报告等,则可能不会在5年后自动消除行政处罚记录。