Усадьба Ермоловых Долматово, XVI век