河岸の駅で、高梁川に面して建っています。木造平屋建、切妻造瓦葺で、南面東寄りに切妻造の車寄を設けて出入口とし、北面に庇をかけています。駅名は、当地出身の幕末の漢学者山田方谷にちなんでおり、駅名に人名が使われた最初の例といわれています。腰を洗出し、壁を下見板張とし、車寄は柱を洗出しという技法を用いて、凝った意匠にするなど、ほかの駅舎には見られない特徴もあります。この車寄を主として、全体を直線的に仕上げており、非常に近代的な雰囲気を漂わせています。
 
 

完成：1928年
受賞：登録有形文化財