对于这个问题，首先要知道，如何认定违建？
首先，由乡政府调查取证。调查取证的执法人员应当持证且不得少于2人，调查的内容包括:（一）违建当事人的基本情况。包括个人信息、主要经济来源、除修建的违法建筑外，是否还有其他房屋，住房面积、违法建筑的用途等。（二）现场勘验记录。包括违法建筑的详细地理位置、面积、结构和修建时间。（三）被调查房屋的影像资料以及与当事人的谈话询问笔录。
其次，拟被拆迁人听取陈述申辩。根据《行政处罚法》，当事人有进行陈述和申辩的权利，乡政府必须充分听取拟被拆迁人的意见，对拟被拆迁人提出的事实、理由和证据应当进行复核。
最后，乡政府根据调查作出违建处罚决定。调查终结后，乡政府负责人根据情节轻重及具体情况，作出行政处罚决定。确有应受行政处罚的违法行为的，需制作行政处罚决定书。行政处罚决定书应当在宣告后当场交付当事人，当事人不在场的，认定主体应当在7日内送达当事人。
综上所述，所以，村委会是无权拆除违法建筑的。村委会擅自拆除违法建筑的，被拆迁人可以提起诉讼。
（采晴整理）