安政4年(1857年)山形県生まれ。東京大学別 課医学科修了後、山形県済生館医学寮長、山形県医学教諭兼幹事、同医学校長心得など歴任。
明治21年帝国大学医科大学に再入学、衛生学及び黴菌学を履修し、明治23年卒業(国家医学科)。
明治24年東京顕微鏡院の前身である東京顕微鏡検査所を創立。細菌検査の実践、細菌学の研究、細菌検査の専門家の養成などを開始。かたわら東京慈恵院医学校(東京慈恵医科大学の前身)講師、東京市衛生試験所長(初代・明治36年～大正5年)などの職を兼ねる。
明治36年医学博士。
昭和2年、内務大臣の許可を得て東京顕微鏡院を財団法人とし、初代院長に就任。
昭和3年10月1日死去。行年72歳。
東京顕微鏡検査所が創立された明治２0年代、わが国は近代国家へと歩み始めた頃で、結核やペストなどの伝染病が最大の脅威とされた時代です。遠山博士は、人びとのいのちを守るため、民間機関として初めて、当時希少であった顕微鏡で医事衛生の事業を展開し、広く衛生思想を普及啓発しました。また、保健部を新設して予防医療を提唱しました。この保健部が平成15年（2003年）に独立、拡充され現在の医療法人社団こころとからだの元氣プラザが誕生いたしました。
主な業績：東京顕微鏡学会の創立、ペスト菌の研究、脚気の治療方法の研究、東京市の上水道創立、全国主要都市の上水道開発の推進。