Filedialog在windows上不支持文件格式过滤。但是你可以使用一下取巧的方法。
fileDialog.setFilename("*.txt;*.jpg;*.png;*.gif");
这样就可以只显示指定的txt，jpg，png，gif格式的文件了。
在windows上还是用JFileChooser吧。不过这个也有个问题就是不能以图片列表的形式来显示文件(针对图片选择的时候，不能显示预览)。