（一）法律依据不足
国家机构的设立，必须要有《宪法》依据。而我国几经修改的《宪法》从未涉及行政法院的设置问题，而修宪却不是一件动辄起议的事情，需要时间，更需要最高决策层的认可，这个问题不是短时期所能解决的。虽然有人认为《宪法》第124条第1款可以作为设立行政法院的依据，但行政法院毕竟不同于铁路、海事等专门法院，其设置的数量、职权范围、社会影响均不是其他专门法院可比拟的。设置行政法院可以称得上法院格局的大变动，修宪是情理之中的。
（二）成本巨大
设立行政法院恐会增加机构编制和成本，与中央缩减机关人员数量的一贯做法相悖。[11]设立行政法院必然会增设人员机构，如果不改变现有的按行政区划设置法院的方法，单是基层行政法院就会超过3000个，再加上中级和高级行政法院，全国行政法院总数目会突破3500个。[12]投入的人力、物力、财力都是无法估量的。而且在设置的过程中必将出现一些无法预估的支出，甚至有可能引起机构的不稳定，出现社会问题。
（三）前景不甚明朗
目前我国行政诉讼发展时间短，公民的行政诉讼意识并不强烈，行政诉讼案件数量本来就不多。很大的可能是出现建立起庞大的行政法院体系而又没有足够的案件的尴尬局面，这样的行政法院就成了空摆设。在投入巨大的成本之后，行政法院没有充分发挥其实际作用，这样的改革投入与产出的比例太不协调了。