تنفيذا لتوصيات مؤتمر القمة الأولى لرؤساء دول وحكومات منظمة الوحدة الأفريقية وجامعة الدول العربية، الذي انعقد في القاهرة في الفترة من ٧ إلى ٩ مارس ١٩٧٧. حيث اتفق الطرفان على ترسيخ وتطوير علاقاتهما الثقافية من خلال إبرام اتفاقيات حول:
١. المبادلات الثقافية وتنظيم المهرجانات
٢. تقديم منح دراسية وتنظيم برامج تدريبية ورياضية.
وفي هذا الإطار، تم تكوين فريق عمل في مايو ١٩٧٨ وأنيط به مهمة دراسة سبل تطوير التعاون الثقافي بين المجموعتين الإفريقية والعربية.
في مايو ١٩٨١، قام السكرتير العام لمنظمة الوحدة الأفريقية بتقديم اقتراحات حول تعزيز التعاون الثقافي الأفريقي العربي خلال الدورة العادية السابعة والثلاثين لمجلس وزراء منظمة الوحدة الأفريقية التي انعقدت في نيروبي (كينيا). صدر عنها القرار رقم (د-٨٦٢) باعتماد قرارات وتوصيات اللجنة المشتركة وبالخصوص ما يتعلق بإنشاء صندوق ثقافي ومركز للبحث الثقافي الأفريقي العربي.
في يوليو ١٩٨٥ اعتمدت الدورة العادية الثانية والأربعين لمجلس وزراء منظمة الوحدة الأفريقية مشروع النظام الأساسي للمعهد الثقافي الأفريقي العربي.
وفي شهر فبراير ١٩٨٦ ، قامت الدورة العادية الثالثة والأربعين لمجلس الوزراء بـ:
أ) دراسة التكاليف المادية للمشروع واعتماد تمويله من طرف منظمة الوحدة الأفريقية من جهة وجامعة الدول العربية والمنظمة العربية للتربية والثقافة والعلوم من جهة ثانية.
ب) تعيين خمس دول أفريقية كأعضاء في المجلس التنفيذي: كينيا، ملاوي، سنغال، تشاد، تونس وخمس دول عربية: مصر، العراق، الأردن، ليبيا ولبنان.
ج) تكليف الأمين العام لمنظمة الوحدة الأفريقية بالتعاون مع الأمين العام لجامعة الدول العربية ومدير عام المنظمة العربية للتربية والثقافة والعلوم من أجل اتخاذ الإجراءات اللازمة بخصوص:
١. اختيار المقرّ الدائم للمعهد وتم اختيار باماكو- بجمهورية مالي. وكان
٢. تعيين المدير العام وكان هذا المنصب من نصيب المملكة العربية السعودية.
٣. تعيين المدير العام المساعد، الذي كان من نصيب جمهورية تشاد.
وقد افتتح المعهد في أبريل عام ٢٠٠٢ خلال الدورة الأولى للمجلس التنفيذي الذي انعقد في مقر المعهد (باماكو– مالي).