Yayoi được coi là thời kỳ mà xã hội nông nghiệp thể hiện đầy đủ những đặc điểm trọn vẹn của nó lần đầu tiên ở quần đảo Nhật Bản. Lúa được trồng ở những vùng đầm lầy đất phù sa, kê, lúa mạch và lúa mì được trồng ở những vùng đất cao hơn. Nông cụ vũ khí bằng đồng, thiếc và sắt đã được mang tới từ lục địa châu Á và được sử dụng phổ biến.

Thời kỳ Jōmon (縄文時代) đặt theo tên hiện vật khảo cổ là thứ đồ gốm có trang trí hình xoắn thừng (thằng văn 縄文). Vào khoảng thời gian cách đây hơn 10.000 năm lãnh thổ Nhật Bản và đất liền nối nhau ở phía nam qua Hàn Quốc và phía bắc qua Hokkaido và Sakhalin tạo thành một biển nội địa ở giữa. Những khu định cư ổn định xuất hiện vào khoảng năm 10.000 TCN tương ứng với nền văn hóa đồ đá giữa hoặc theo một số tranh cãi văn hóa đồ đá mới nhưng mang những đặc điểm của cả hai nền văn hóa đó. Những tổ tiên xa của tộc người Ainu của Nhật Bản hiện đại những thành viên đa dạng của nền văn hóa Jomon (10.000 – 300 TCN) để lại những di chỉ khảo cổ rõ ràng nhất. Nền văn hóa này cùng thời với các nền văn minh Lưỡng Hà, văn minh sông Nil và văn minh thung lũng Indus. Trong thời gian này không có dấu hiệu rõ ràng của việc trồng trọt mãi cho đến giữa thiên niên kỷ 1 TCN như kê, kiều mạch, cây gai dầu.

Đây là thời kỳ khoảng 100.000 đến 30.000 năm trước công nguyên khi những công cụ bằng đá sớm nhất được tìm thấy khoảng 14.000 năm TCN vào cuối thời kỳ băng hà tương ứng với sự mở đầu của thời kỳ đồ đá giữa Jōmon. Thời gian 35.000 năm TCN được phần lớn mọi người chấp nhân mọi niên đại của sự hiện diện con người trên đảo quốc này trước 30.000-35.000 năm TCN đều vẫn còn bàn cãi với các đồ tạo tác ủng hộ cho sự hiện diện con người trước năm 35.000 TCN về mặt khảo cổ học vẫn còn bị nghi ngờ về tính xác thực. Từ khoảng 15.000 năm đến 5.000 năm trước Công nguyên ở Nhật Bản đã có những bộ tộc người nguyên thủy sống du mục săn bắt và hái lượm.