先看书吧，看不太懂也没关系，看完作品，有什么不懂的地方再仔细了解。
至于影视作品，目前有两部电影，一部动漫，不过个人觉得不看也可，毕竟将一部如《红楼梦》一样的长篇作品要在短短一两个小时表现出来，相比原著肯定有不少遗漏，动漫的我没有看过，如果个人喜欢动漫的话，可以看一看

可以看一看天海佑希版的源氏物语电影，比较容易接受。