1903年，張先生應邀出任“商務”編譯所所長，次年即籌建編譯所圖書資料室。張先生《燼余書錄序》云：“乃于編譯所前，寶山路左，置地十余畝，構筑層樓，而東方圖書館以成，聚所常用之書實之館中，以供眾覽。區所收宋元明舊刊暨鈔校本前人著述未刊之稿為善本，別辟數楹以貯之，顏曰‘涵芬樓’。”有記載云：1909年張委托孫毓修為資料室命名，孫原擬名為“涉園”，但張以為不妥，此可見11月15日，張先生致孫毓修書，云：“奉示敬悉。藏書室別定一名，并備異日印行古書之揭橥，用意甚善。惟以公眾之物，而參以私家之號，究屬不妥，還祈別選一名為宜。”后孫擬名為“涵芬”，這在孫毓修《起居記》（1909年12月29日）中即有“在涵芬樓所得之書為……”的記載，可見那時編譯所圖書室已用“涵芬樓”之名了。“涵芬”一詞，不見前人所用，按涵有包容及沉浸之意，芬有香氣及眾多意。

自古無聚而不散之物，聚固我幸，散亦理之常。故自來收藏家鮮有百年長守之局，近代如咸豐、同治之時，猶止百數十年，而煙云幻滅。如陸心源（潛園）皕宋樓者，正已不少，胡樸安為《測海樓舊本書目》題詞有云：“圖書聚散尋常事，楚得楚亡未足憂。最是傷心惟皕宋，大江混混向東流。”然而盡管如此，張元濟卻認為斯文未絕，吾道不孤，必且有盡發名山，以光盛世之一日。涵芬樓的早期藏書來源多為會稽徐氏熔經鑄史齋、長洲蔣氏秦漢十印齋、太倉顧氏張先生在中年時，每次去北京，必定捆載各種古籍而歸，其中不乏善本。至于估人持書叩門求售，茍未有者，輒留之。《校史隨筆》是張先生的古籍校勘學專著，由傅增湘作序，序云：“招延同志，馳書四出，又復舟車遠邁，周歷江海大都，北上燕京，東抵日本，所至官私庫藏，列肆冷攤，靡不恣意覽閱。耳聞目見，籍記于冊，海內故家，聞風景附，咸出篋藏，助成盛舉。”這就是當年張先生搜集圖書的真實寫照。“商務”同人曹嚴冰也有回憶：1918—1936年間，幾乎每天下午五時左右，總有兩三個舊書店的外勤人員，帶著大包小包的書，在商務發行所二樓美術柜前等候張先生閱看。對一些值得重視的本子，他都仔細翻閱，或帶回家去精心查核。

費力多多，必有所獲。涵芬樓所搜書籍中頗多重要藏書家的藏本，如寧波范氏天一閣、昆山徐乾學傳是樓、常熟毛氏汲古閣、錢氏述古堂、張氏愛日精廬、秀水朱氏曝書亭、歙縣鮑氏知不足齋、吳縣黃氏士禮居、長洲汪氏藝蕓書舍及泰興延令季氏、烏程蔣氏傳書堂等。

1927年3月21日，上海工人第三次武裝起義爆發，“商務”工人糾察隊400余人參加戰斗，起義總指揮部先設在“商務”職工醫院（療病房）內。東方圖書館一度被軍閥畢庶澄部某排占據，工人糾察隊采用圍攻和宣傳攻勢，次日守敵部分潛逃被俘，東方圖書館回到工人糾察隊手中，此后成為上海總工會工人糾察隊總指揮部。

所謂“秀才遇到兵，有理說不清”。在這樣的緊張形勢下，張先生非常擔憂這些承載中國傳統文化的古籍圖書的命運，為了保護好這批費盡辛苦而搜集到的先民撰述，他在涵芬樓所藏眾多善本中又遴選出五百余種“好書”，五千三百余冊，存放于租界的金城銀行地下保險庫內。張先生序《書錄》中又云“北伐軍起，訛言日至。東方圖書館距車站才數百武，慮有不測，又簡善本之精者，寄存于舊租界金城銀行”。是年3月24日，張致傅增湘信中有“此次閘北極危險，幸無恙。所借三種及公司好書租放租界銀行地庫中”。4月23日，張致傅信又云：“涵芬樓善本，多半已移存租界銀行公庫地庫內，檢尋甚不易，其存放工廠保險庫者尤為混亂，需用影元本《陵川集》恐稍需時日，方能檢寄。”

金城銀行于1917年成立，歷經北洋政府、南京政府及汪偽政權等不同時期，這家起步于天津的私營銀行一直堅持“審慎之中力求急進”的經營方針，始終沒有發生大的危機。在民國年間，居舊中國私營商業銀行之首。“金城”之名出自《漢書·蒯通傳》：“金城湯池，不可攻也。”1924年，“金城”在上海江西路東側上海公共租界工部局大廈對面興建大樓，1936年后，此處成為金城銀行總行。1956年，這座建筑改為上海市青年宮，后又為江西中路200號招待所，今為交通銀行上海分行所在地。