Não se conhece com exactidão as ra­zões do termo Tangram. Uma versão vincula o Tangram com a gente que vivia do comércio do ópio à beira do rio Tanka, na China. Os navegantes ocidentais que paravam nos seus portos provavelmente aprenderam a jogar ao Tangram e de volta a casa levaram-no para as suas terras. Outra versão indica que o termo é oriundo do inglês antigo "tamgram" que significa quebra-cabeças. 

Acerca das lendas sobre a origem deste passatempo saliente-se a de Sam Loyd¹ (1903) que no seu livro "The Eighth Book of Tan" escreveu sobre a origem do Tangram Chinês. Segundo a sua versão o jogo foi inventado há 4000 anos por Tan, lendário escritor chinês, adorado como um deus. Na composição das figuras dos seus sete livros² Tan propunha-se ilustrar os sete estádios da evolução da Terra e as origens das espécies. Tan também relacionava as sete peças que formam o Tangram Chinês com a Lua, Marte, Jupiter, Venus, Mercúrio, Saturno e o Sol - os sete astros errantes da Antiguidade que deram o nome aos dias da semana no calendário inglês. No seu livro, Sam Loyd propõe a construção de 652 figuras, usando as sete peças do Tangram Chinês, algumas da sua autoria e outras provenientes de publicações chinesas.