违法建筑的认定与处理属于规划部分的常设职责，根据《城乡规划法》由城乡规划主管部分对违法建筑进行调查认定；在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的划定进行建设的，由乡、镇人民政府进行调查处理。
第一，从违法建筑的拆除程序抗辩。
“一事不再罚”是指行政机关对行为人的违法行为只作一次行政处罚，对已经进行行政处罚的，不再处罚。根据“一事不再罚”原则，假如之前被拆迁人已经过于违法建设的题目，被罚款等，则在拆迁中，房屋不宜再被当作违法建设而不予补偿。
第二，从“一事不再罚”角度抗辩。
《根据行政处罚法》第二十九条的划定：违法行为在二年内未被发现的，不再给予行政处罚。对违法建筑的处罚可以主张超过2年的处罚时效。
第三，从处罚时效长进行抗辩。
《城乡规划法》实施于2008年，对于2008年以前，未取得用地规划许可证和建设工程规划许可证的建筑，根据“法不溯及既往”的原则，不宜根据《城乡规划法》认定为违建。
第四，从法律合用上抗辩。
如前述，违法建筑由城乡规划主管部分进行认定，只要城乡规划主管部分对违法建设才有认定和处罚权，实践中，由城管部分作出处罚的情况屡见不鲜，城管作出限拆决定主体不适格。
第五，从违法建设认定主体上抗辩。
（采晴整理）