Het Belasting & Douane Museum werd in 1937 opgericht door de directeur der Directe Belastingen en inspecteur der Invoerrechten en Accijnzen, Prof. Dr. J. Van der Poel. Als oprichter en hoofd van de Rijksbelastingacademie wilde hij zijn leerlingen aan de hand van objecten en verhalen onderwijzen in de belastinggeschiedenis. Naar zijn idee konden belastinginspecteurs hun werk niet goed doen zonder kennis van het verleden. Hij bouwde een collectie op in het belastingkantoor aan de Boompjes in Rotterdam. Hier was ook ‘zijn’ Rijksbelastingacademie gevestigd. In de meidagen van 1940 werd het belastingkantoor en de museumcollectie door vlammen verwoest.