À l'origine, Yahoo! est un annuaire Web, le « Guide de Jerry pour le World Wide Web Â». L'acronyme Yet Another Hierarchical Officious Oracle est souvent cité comme signification, mais ses créateurs Jerry Yang et David Filo, qui devaient choisir un nom de projet commençant par un « Y Â» pour s'inscrire dans la nomenclature des projets informatiques de l'Université de Stanford, affirment avoir choisi le nom à cause des « Yahoos Â», créatures des Voyages de Gulliver de Jonathan Swift.

En 1995, Ziff Davis Inc., depuis racheté par CNET, lance le magazine Yahoo! Internet Life, originellement sous le nom ZD Internet Life. Le magazine était destiné à accompagner et compléter le site web.

Yahoo! réalise son offre publique d'entrée en bourse le 12 avril 1996, vendant 2,6 millions d'actions à 13 dollars l'unité. Sa capitalisation est de 43 milliards de dollars américains en début mars 2005. La filiale française Yahoo! France, dont Ziff Davis France est au départ actionnaire minoritaire, est lancée en septembre 1996, et devient en moins d'un mois la première destination du Web hexagonal en terme de trafic, dépassant son concurrent direct, l'annuaire francophone Nomade.