Oltre alla storia di come è stato castrato, non abbiamo molto retroscena su Varys nello show. Di seguito è riportato il suo retroscena dai libri:
Anni prima della ribellione di Robert, Varys e Illyrio Mopatis (il mercante all'inizio della stagione 1 che "vende" Daenerys a Khal Drogo e le dà le uova di drago) hanno iniziato un affari a Pentos dove Varys rubava oggetti ai ladri minori e Illyrio li rivendeva ai proprietari originali per una piccola tassa. Ben presto divennero le persone di riferimento a Pentos per il recupero di oggetti rubati ed entrambi si arricchirono.
Alla fine, rendendosi conto che le informazioni sono spesso più preziose dell'oro, Varys iniziò a costruire una rete di spie. Acquistò bambini orfani piccoli, veloci e tranquilli, insegnò loro a leggere e scrivere e li mise a lavorare copiando le informazioni nelle lettere, nei libri mastri e nelle tabelle dei ricchi e dei potenti. (La rete di spie di bambini di Varys alla fine divenne nota come i suoi "uccellini".) Usando queste informazioni per fare scambi di informazioni privilegiate, per ricatti, ecc., Varys e Illyrio aumentarono la loro ricchezza di dieci volte.
Alla fine Varys divenne così famigerato che la parola delle sue abilità raggiunse King Aerys II (il Re Folle) ad Approdo del Re. A questo punto il re stava iniziando a diventare paranoico e non si fidava più di sua moglie Rhaella, di suo figlio Rhaegar o del suo Hand Tywin Lannister. Aerys ha contattato Varys, che ha accettato di essere il Maestro dei sussurri del re. Varys si guadagnò rapidamente la sua fiducia segnalando traditori e intriganti, e man mano che la paranoia del re cresceva, anche l'influenza di Varys.
Alla fine della ribellione di Robert, Varys ha cercato di mettere in guardia il re Aerys dal lasciare che l'ospite di Tywin Lannister varchi i cancelli. Il Gran Maestro Pycelle lo convinse del contrario e Approdo del Re fu licenziato. Jaime Lannister ha ucciso il Re Folle quando ha chiesto ai suoi piromanti di rasa al suolo la città, e Robert Baratheon ha preso il trono per sé. I talenti di Varys erano abbastanza utili da poterlo tenere in giro, quindi gli è stato permesso di rimanere Master of Whisperers.