你提出的优缺点，最重要的应该是工资福利、晋升和工作压力吧，这个可以直观对比分析。
财政局是当地政府直属工作部门，人事管理和工资福利由当地党委政府统筹。税务局属于中直部门，人事管理和工资福利标准一般按该省的执行，人事归上一级税务部门管理。
工资待遇方面，除了在东部少数发达地区，其他地区都是地方＜中直。因此绝大多数情况都是财政局待遇低于税务局。
晋升方面，由于税务局人事管理权限为上一级税务局，晋升一般只在本系统内提拔，提拔为局班子领导或其他不入班子的级别领导，很少能够提拔到当地的其他部门如发改、财政或下一级党委政府任职，因此晋升上空间更小，位置更少。而财政局为当地重点部门，人事由当地党委政府统筹，每次提拔时都是重点关照的部门，提拔到发改、商务、统计等等部门任副职，或到下一级政府任副职，机会很多，晋升选择和机会多很多。晋升上，财政＞税务。
工作压力上，财政和税务都是大部门，人员多，工作专业性强，工作量和压力没有很多差别，上手之后就没太大困难了，如果有相关专业知识当然更容易开展业务。
另外，两个部门都是强势的大部门，职权的没有太大区别。