行政处罚是指行政主体依照法定职权和程序对违反行政法规范，尚未构成犯罪的相对人给予行政制裁的具体行政行为。行政处罚特征是:实施行政处罚的主体是作为行政主体的行政机关和法律法规授权的组织;行政处罚的对象是实施了违反行政法律规范行为的公民、法人或其他组织;行政处罚的性质是一种以惩戒违法为目的、具有制裁性的具体行政行为。综上，退港属于行政处罚，如果不服可以提起行政复议或者行政诉讼。
法律依据：
行政处罚的种类是海关行政处罚的外在和具体形式。
我国《行政处罚法》规定的法定处罚种类有6种，警告、罚款、没收违法所得、没收非法财产、责令停产停业、暂扣或者吊销许可证件、暂扣或者吊销执照，行政拘留。