Γεννήθηκε στη Δρόβιανη της Β. Ηπείρου το 1903 μ.Χ. (και όχι το 1905 μ.Χ., όπως από λάθος είναι γραμμένο στα αρχεία) και το κοσμικό του όνομα ήταν Αναστάσιος - Αθανάσιος Γρέκας. Από τον πατέρα του, Ιωάννη, πήρε την αυστηρότητα προς τον εαυτό του και από τη μητέρα του, Αθηνά, τη βαθιά, άδολη και ανυπόκριτη θρησκευτική ευλάβεια. Σύχναζε στην εκκλησία του χωριού του και στα εξωκλήσια των βουνών. Είχε επίδοση στα γράμματα, γιατί ήταν ευφυής και είχε καλή μνήμη. Τη βασική του μόρφωση έλαβε στον Πειραιά και την Αθήνα, όπου γνώρισε και τον Άγιο Νεκτάριο Πενταπόλεως . Από τον Πειραιά έφυγε με πλοίο για το Άγιον Όρος στις 15 Αυγούστου 1923 μ.Χ.

Μετέβη στην Καλύβη του Τίμιου Προδρόμου στη σκήτη της Μικράς Αγίας Άννης υπό τον Γέροντα Μελέτιο Ιωαννίδη. . Μετά ένα έτος ευδόκιμης δοκιμής κείρεται μοναχός, στις 20 Οκτωβρίου του 1924 μ.Χ. κατά την διάρκεια της αγρυπνίας στη μνήμη του αγίου Γερασίμου Κεφαλληνίας. Μετά μία πενταετία αναχωρεί ο Γέροντάς του για τον κόσμο και μένει μόνος στην έρημο. Η παρουσία του Θεού τού γίνεται πιο αισθητή τότε. Μόνη παρηγοριά του η προσευχή και η μελέτη. Μελετούσε συνέχεια, αχόρταγα, προσεκτικά. Μετά μία εικοσαετία απέκτησε μία μικρή συνοδεία καλών πατέρων. Ο μακάριος Γέροντας δίδασκε και με τη σιωπή και με τον λόγο του. Τη σιωπή θεωρούσε «μητέρα σοφωτάτων εννοιών». Ο λόγος ήταν πάντα προσεγμένος, ωραίος, διδακτικός και ψυχωφελής. Οι φιλοξενούμενοι κατεγοητεύοντο από τη συνομιλία μαζί του. 

Εκεί όμως που αναδείχθηκε κι έγινε παντού γνωστός είναι η υμνογραφία του. Να πως περιγράφει την αρχή του έργου του περί το 1926 μ.Χ.: «Όταν συνέταξα τον πρώτο κανόνα της Παναγίας, τον είδε ο μακαρίτης ο Γέροντας ο δικός μου· ήξερε λίγα γράμματα. Πολύ ωραίος είπε. Τον πήγα στον Καλλίνικο στα Κατουνάκια. Ήταν έγκλειστος σαράντα χρόνια, με νοερά προσευχή, με θείο φωτισμό και τον συμβουλευόμουν. Λίγα γράμματα γνώριζε, αλλά είχε πείρα μεγάλη και χάρη Θεού. Άλλωστε «ερώτησον τους πρεσβυτέρους σου και ερούσι σε». Λέει ο Καλλίνικος, «είναι άριστος ο κανών, αλλά ένα σου λέω: ταπείνωση, ταπεινοφροσύνη. Πρόσεχε καλά μην σε πολεμήσει ο διάβολος».

Υμνογραφεί κατόπιν επισταμένης μελέτης και πολλής προσευχής. Λέγει πάλι ο ίδιος: «Ό,τι κάνω το οφείλω εις την προσευχήν. Προ της εργασίας θα κάνω μίαν προσευχήν ένθερμον, αυτοσχέδιον μεν, αλλά θερμοτάτην, η οποία ενεργεί και επενεργεί και φέρει ό,τι αποτέλεσμα ωραίον φέρνει. Προσευχή, το παν. Μη στηριζόμαστε στην εξωτερικήν σοφίαν· στα μέτρα. Είναι ένας ψυχρός λόγος. Ο ψυχρός αυτός λόγος πρέπει να γίνει ζωντανός. Και ζωντανός θα γίνει μόνον διά της προσευχής». Το πλούσιο υμνογραφικό του έργο υπολογίζεται σε περισσότερες από 2000 ιερές ακολουθίες. Πολλοί πολλά έγραψαν περί αυτού και του έργου του και πολλοί τον τίμησαν και τον βράβευσαν γι’ αυτό, τον σπουδαίο αυτόν Υμνογράφο της Μεγάλης του Χριστού Εκκλησίας. Μάλιστα, στις 25 Ιουνίου το 1963 μ.Χ., επί πατριαρχείας Αθηναγόρα, το Οικουμενικό Πατριαρχείο βράβευσε τον Άγιο Γεράσιμο Μικραγιαννανίτη για τη συμβολή του στους εορτασμούς για τη χιλιετηρίδα του Αγίου Όρους ενώ στις 28 Δεκεμβρίου 1968 μ.Χ. τον τίμησε με αργυρό μετάλλιο η Ακαδημία Αθηνών.

Όπως διηγούνται οι υποτακτικοί του είχε παρακαλέσει την Παναγία να έχει τα λογικά του έως τέλους για να μην κουράσει κανένα. Πράγματι είχε διαύγεια μέχρι την τελευταία αναπνοή του. Είπε τρεις φορές: «Άγιε Νεκτάριε, βοήθει μοι» και εξέπνευσε. Μία γλυκύτητα ήταν ζωγραφισμένη στο πρόσωπό του, νόμιζες πως κοιμόταν γαληνά. Ανεπαύθη στις 7 Δεκεμβρίου 1991 μ.Χ. Ο βιογράφος του Γέροντας Θεόκλητος Διονυσιάτης τον χαρακτηρίζει· σεμνό και άριστο υμνογράφο, σπάνια προσωπικότητα και αληθινό άνθρωπο του Θεού. Ο αρχιμανδρίτης Γεώργιος Χρυσοστόμου λέει ότι ο Γέροντας ήταν εξέχουσα μορφή τού αγιορειτικού μοναχισμού, κορυφαία, διάσημη, χαρισματική και μοναδική. Έφυγε με τ’ όνομα του θαυματουργού αγίου Νεκταρίου στα χείλη του, στον οποίο είχε συνθέσει μία από τις ωραιότερες ιερές ακολουθίες του.

Στις 10 Ιανουαρίου 2023 μ.Χ. η Αγία και Ιερά Σύνοδος του Οικουμενικού Πατριαρχείου αποφάσισε την κατάταξη του Οσίου Γερασίμου Μικραγιαννανίτη στο Αγιολόγιο της Ορθόδοξης Εκκλησίας.

Ἀπολυτίκιον
Ἦχος πλ. α ́. Τὸν συνάναρχον Λόγον.
Συνεργίᾳ τῆς Χάριτος κόσμῳ ἔλαμψας ὡς ὑμνηπόλος Ἁγίων, ἐγκρατευτὰ θαυμαστέ, Ἄννης Σκήτεως Μικρᾶς Ἁγίας ἔνοικε, χρηστοηθείας κορυφὴ καὶ εὐχῆς καρδιακῆς, Γεράσιμε, μυροθήκη· διὸ τιμῶντές σε πόθῳ θερμὰς εὐχάς σου ἐκδεχόμεθα.