正确答案 ：错

解析

本题考查行政处罚法。 行政机关在适用简易程序当场作出罚款决定的时候，除特殊情况可以当场收缴罚款以外，作出行政处罚决定的行政机关及其执法人员不得自行收缴罚款，当事人应当自收到行政处罚决定书之日起十五日内，到指定的银行缴纳罚款。特殊情况是指：（一）依法给予二十元以下的罚款的；（二）不当场收缴事后难以执行的；（三）在边远、水上、交通不便地区，行政机关及其执法人员依照法律规定作出罚款决定后，当事人向指定的银行缴纳罚款确有困难，经当事人提出，行政机关及其执法人员可以当场收缴罚款。由此可知，行政机关在适用简易程序当场作出罚款决定的时候，不一定当场收缴罚款。 故本题说法错误。