בגמרא מסופר, שפעם אחת גזרו תענית על הגשמים והתפללו ולא נענו, וירד רבי עקיבא לפני התיבה, ואמר: "אבינו מלכנו, אין לנו מלך אלא אתה! אבינו מלכנו, למענך רחם עלינו!", וירדו גשמים. וכתבו הראשונים, שכשראו חכמי אותו דור שנענה באותה תפילה, הוסיפו עליה דברי בקשות ותחנונים, וקבעום לעשרת ימי תשובה.
בגרסת רבנו חננאל וה'עין יעקב' בגמרא שם מופיעות עוד ארבע פסקאות. בסידור הראשון שבידנו, סידור רב עמרם גאון, מופיע נוסח בן עשרים וחמש פסקאות. בסידורים אחרים ניתוספו עוד בקשות, עד שבמנהג אשכנז-פולין יש ארבעים וארבע פסקאות. על-פי ה'לבוש', כל הבקשות שבי"ג הברכות האמצעיות של תפילת העמידה (שמונה-עשרה) מופיעות בנוסח 'אבינו מלכנו'.
ה'בית-יוסף' כתב שהנוהגים לומר את תפילת 'אבינו מלכנו' בראש-השנה (שאין מתוודים בו) ידלגו על כל מקום שנזכר בו חטא ועוון, וכן נהגו הספרדים והחסידים, ואילו הרמ"א כתב לאומרה "על הסדר". כאשר ראש-השנה חל בשבת, כבשנה זו, וכן בשבת שובה, אין האשכנזים אומרים אותה כלל, משום שאין 'שאלת צרכיו' בשבת. בין הספרדים יש נוהגים לאומרה, הן בראש-השנה והן בשבת שובה. בעשרת ימי תשובה הכול אומרים אותה בשחרית ובמנחה. ביום-הכיפורים אומרים אותה ללא דילוג, וכשחל בשבת, הנמנעים מלאומרה בשבת אומרים אותה רק במנחה (והאשכנזים – בנעילה), "שאם לא עכשיו – אימתי".
בנוסח אשכנז, וכן בנוסח חסידי חב"ד בדורותינו, נהגו לאומרה גם בתענית ציבור.
למנהג הספרדים, שליח-הציבור אומר 'אבינו מלכנו' והקהל עונה אמן, חוץ מכמה פסקאות שהציבור חוזר עליהן. למנהג האשכנזים, רבים אומרים מקצת הפסקאות (ויש הנוהגים לומר כך את כולה בנעילה) פסוק בפסוק, חזן וקהל, ולמנהג חב"ד אומרים את כולה יחדיו ללא חזרה.
