De geschiedenis gaat terug tot 1580, maar toen was er nog geen sprake van enige bebouwing die er nu ook staat. Het oudste gedeelte van Huize Adama is waarschijnlijk gebouwd in de jaren 1642 – 1645. Hiervoor is toen eerdere bebouwing op die plek gesloopt. In 1645 bestond het nog maar uit één deel van wat nu het huidige gebouw is. Door de jaren heen zijn er diverse vleugels aangebouwd en verbouwd. Hierdoor is het huidige Huize Adama veel groter en omsluit het nu het voormalig voorplein voor het oude Huize Adama, waardoor het Antoniusplein is ontstaan. Ondanks de diverse (ver-)bouw activiteiten zijn in Huize Adama nog enkele historische ruimten behouden gebleven.