小日子于645年大化改新，效仿唐朝制度，建立国、郡、里三级体系，共66个令制国，其行政层级相当于唐朝的州，号称“日本六十余州”（各国均有州名，比如美浓国别称浓州）。令制国依国力分大国、上国、中国、小国，底下有郡，共计506个，郡分三个级别：大郡四十里，中郡二十里，小郡五里。一里五十户，故一郡最多二千户、最少二百五十户，相当于唐朝1/3个县的规模，此框架历时上千年，奠定了日本行政区划的基础。
明治四年（1871年）七月，废藩置县，全国废除260余藩（当时很多大名的藩地不及一国之地），划为1使3府302县，同年11月调整为3府72县，到明治二十三年（1890年） 再调整为3府43县1道，虽然一级政区大多叫县，但面积和人口约等于东大的地级政区。此后100年除东京府在1943年改为东京都外，日本本部一级政区没有大的变动。

日本二级政区为郡（虚化）、市、支厅(振兴局），1921年内阁颁布《郡制废止法》废除了郡长和郡政府後，郡成为虚级化行政单位，到现在只是单独的地理区分。支厅作为一级行政区划的派出机关存在，由于日本各个都道府県下面市町村数量众多，难以管理，所以部分县会设立支厅以方便管理，在不同都道府県支厅有各类不同的叫法。在大部分设置了支厅的县下，支厅仅仅是作为政务代办机关存在，很难说成为了一层行政区划，但也有例外，例如在广袤的北海道，一级行政区划下设置了振兴局和総合振興局，他们是由支厅在2009年改组而来的，是事实上的北海道二级行政区划：

日本三级政区为町、村，经过三次大规模调整，明治大合并（1888-1889年）通过《町村合并标准》，将町村数量从71,314个减至15,859个，奠定近代地方行政体系基础。昭和大合并（1953-1961年）以《町村合并促进法》为框架，将市町村数量从9,868个降至3,472个，设定8000人规模标准适应战后城市化和中小学办学需求。平成大合并（1999-2010年）在《市町村合并特例法》支持下，市町村数量由3,229个减至1,727个，平均一个县管辖36个市町村和两百多万人。

最后假如东大行政区划参考小日子，将形成省--广域市、州、地区--县（虚化）、区（派出机构）、市（狭域市）--镇、乡、街道（派出机构）的架构，对乡镇和狭域市进行分级，符合要求的将获得更多的职权，促进本区域的发展，避免了县吸乡镇，但对于大部分广域市，乡镇还是会被吸的。