Förutom sin intensiva karriär har Togashi även ett intressant privatliv. Han är gift med Naoko Takeuchi (1967), Sailor Moons tecknare. De gifte sig den 6:e januari 1999 och har två barn ihop. De har även gjort några projekt tillsammans, bland annat Oobo – Nu – Tochiibo – Nu – där Takeuchi skrev och Togashi illustrerade.
Han är dessutom nära vän med Masashi Kishimoto (1974), skaparen av Naruto, och Eiichiro Oda (1975), skaparen av One Piece. Alla tre har publicerat sina verk i Shounen Jump.
Han har vid flera tillfällen nämnt att skräckgenren är någonting han gillar väldigt mycket och att han tagit inspiration från olika skräckikoner. Bland annat är han väldigt förtjust i H.R. Gigers designer. Denna fascination avspeglar sig i hans mangor, som ofta innehåller skräckelement och gore trots att de faller inom shounen och äventyrsgenren. Där är till och med vissa rutor i Hunter X Hunter som blivit censurerade med screentone för att de är för hemska för att visa i en shounenmanga.
Ett av Togashi största problem sedan han började skriva Yu Yu Hakusho har varit stress och de fysiska problem han har fått som konsekvenser av detta. Stressen blir inte bättre av att han dessutom är en perfektionist som helst skulle vilja göra allt själv. Det har resulterat i att han numer inte ger ut mer än några kapitel om året (vilket är anledningen till att Hunter X Hunter fortfarande håller på) och detta är en ständig källa för både sympati och frustration hos hans fans.
Själv säger han att han har som avsikt att avsluta serien, och skämtar om att han hoppas att han inte dör innan det händer. Trots att han har full förståelse för att fans blir frustrerade på honom, eftersom han själv blivit frustrerad på mangaskapare som han ansåg drog ut på storyn, ber han sina läsare att ha tålamod och helt enkelt följa honom ända till slutet.
Trots att vissa blir frustrerade över att han inte ger ut nytt material så ofta slänger alla hans fans sig över de nya kapitlerna när de väl publiceras eftersom Togashi är en mycket unik mangaskapare vars verk har fångat hjärtan över hela världen och kommer att fortsätta att göra det även i framtiden.