世界上最早集邮的人是谁?这个问题至今还是一个谜,因为那时候集邮还不象现在这样受到重视,也没有可靠的记载。
根据一般人的猜测,认为最早集邮的是英国女皇维多利亚,因为她是世界上第一枚邮票图案的对象,当然要留一枚作为纪念。也有人认为最早集邮的是弗莱德列克·希思(Frederick Heath),因为这枚邮票是他雕制印版的。这种根据第一枚邮票而猜测最早集邮的人,虽有相当理由,可惜人民币收藏界无法证实。但一九七O年英国发行《集邮一百三十年》邮票,图案是英国发行的世界上第一枚邮票,说明在第一枚邮票诞生后就有人开始集邮。
到了十九世纪五十年代,已有二十多个国家发行邮票,集邮也开始盛行起来。一八五二年,比利时地理学家温地美伦(vander Mailan)在比利时首都布鲁塞尔,用镜框陈列出八十八种邮票,这是世界上最早的邮票展览。一八六一年,法国人雷维尔特(Levianlt)出版一本书名为《Timbres Poste》(邮票),刊登了各国邮票五百多种,免费赠送集邮爱好者,这是世界最早出版的邮票目录。一八五六年,英国邮票商人吉本斯开办了一家专门经营邮票的商店。一八六三年,著名的英国《吉本斯邮票目录》和美国《司各脱邮票目录》首次出版。
一八六四年,法国人许宾(Herpin)创“集邮”专门名词“Philately”,这个字来源于希腊文,由“Philo”(爱好)和“Atles”(邮资)两字拼成。一八六五年,法国成立了一个集邮团体,这是世界上最早的集邮组织。一八六九年,英国皇家集邮会成立,该会会员都是集邮爱好者,邮商不能参加。一八七O年,美国司各脱邮票公司举行了第一次邮票拍卖。
一八七六年,在德国柏林召开的一次集邮会议上,开始使用“集邮家”专门名词“Philatelist”。一八七八年,在法国巴黎举行了世界上第一次国际集邮会议,有二十个国家的集邮家参加,会上宣读了不少有关邮票研究的文章,会后出版了《国际集邮会议录》,这是最早的国际性集邮文献。
一九二六年,国际集邮联合会在巴黎成立,按照联合会章程规定,联合会的会员必须是一个国家的全国性集邮组织。联合会每年举行一次代表大会,并每年举行一次国际邮票展览。到一九八二年,共有会员六十一个。