14세기 후반, 오야쿠엔이 있는 장소에 사람들의 병을 치료해주는 샘이 솟아나고 있었다고 합니다.
1432년에 아이즈를 통치하고 있었던 아시나 모리히사는 이 땅을 영지라고 생각하여 이 곳에 별장을 지었습니다. 이것이 오야쿠엔의 시작으로 여겨지고 있습니다. 그 후 일본은 전국시대로 들어가, 아이즈를 통치한 영주도 다테, 가모, 우에스기, 가토로 차례차례 바뀌게 됩니다.　또한 오랜 전란이 계속되어, 오야쿠엔은 전혀 사용되어지지 못하였습니다. 그러나, 17세기 전반에 아이즈를 통치한 마츠다이라는 영지인 이 땅을 부흥시켜 보양소로 사용하게 하였습니다.　
1670년 마츠다이라는 아이즈사람들을 병으로부터 구하고, 질병을 예방하고 싶은 생각으로 오야쿠엔 내에 약초를 심기로 하였습니다.
더우기 조선인삼을 시험적으로 심어 그 재배에 성공함으로 영내에서도 활발하게 재배를 하게 되었습니다. 그 결과, 아이즈의 조선인삼은 일본에서 처음으로 중국에도 수출이 될 만큼의 작물이 되었습니다. 또한, 약초를 많이 심어 그 약효 등의 연구도 행하였습니다.