日本国立国会图书馆的馆藏建设始于1959年的机构调整，成立了藏书构成审议会，后来在1992年成立了收集企画委员会，修订了图书收集方针。这个过程体现了图书馆社会功能的变化与适应时代需求的调整。
收集的目的是为了适应社会发展，国内资料广泛收集，包括新出版物和未收入的资料，通过购入、赠与等方式。国外资料则选择性收集，关注法令、议会资料、与日本相关的资料等。电子出版物和数据库的纳入标志着图书馆数字化趋势的加强。
1995年制定了"资料收集方针书"，并制定了"面向21世纪的藏书紧急整备计划"，明确了电子出版物和特定馆藏的收集策略。馆内的采选体制由收集企画委员会和选书调查委员会负责，通过多种途径如呈缴、购入等收集资料。
呈缴制度是日本出版物管理的核心，1948年起，随着信息技术发展，电子出版物呈缴制度也在2000年进行了修订，增加了对电子媒体的覆盖。国会馆积极收集文化遗产，包括政府、民间和外国出版物，并提供补偿给呈缴者。
馆藏内容丰富多样，包括特藏宪政资料、法令议会资料、科技资料、地图、音乐、亚洲资料等，截至2000年，藏书量达到了7,312,178册。这显示了图书馆作为知识宝库的重要地位和不断扩大的资料收集范围。
日本国立国会图书馆有两个源流。一是设立于1890年、隶属于旧宪法下帝国议会的贵族院众议院图书馆，另一则是设立于1872年、隶属于文部省的帝国图书馆。其中帝国图书馆经历了自书籍馆（1872）、东京书籍馆（1875）、东京府书籍馆（1877）、东京图书馆（1880）至帝国图书馆（1897）的变迁。1947年改称为国立图书馆。