แม้ขอนแก่นจะเป็นบ้านเมืองที่ตั้งขึ้นใหม่เมื่อราวสองร้อยกว่าปีมานี้ก็ตาม แต่ในอดีตกาลยุคก่อนประวัติศาสตร์ ในบริเวณเขตจังหวัดขอนแก่นเคยมีชุมชนก่อนประวัติศาสตร์ได้เข้ามาอาศัยก่อนแล้ว เช่น การค้นพบแหล่งโบราณคดีที่บ้านโนนนกทา อำเภอภูเวียง พบว่ามีเครี่องปั้นดินเผาที่มีอายุใกล้เคียงกับแหล่งโบราณคดีบ้านเชียง คือมีอายุราว 5,500 ปีมาแล้ว ต่อมาชุมชนเหล่านี้ก็ได้วิวัฒนาการมาสู่ชุมชนแห่งรัฐ และกลายเป็นบ้านเมืองขึ้นในสมัยทวารวดี ก่อนที่ขอมจะมามีอำนาจในดินแดนส่วนนี้ เช่น พบแหล่งโบราณคดีที่วัดศรีเมืองแอม อำเภอเขาสวนกวาง ซึ่งปรากฏจารึกศรีเมืองแอมที่ขอมได้เข้ามามีอำนาจในดินแดนส่วนนี้หรือที่ปรากฏเป็นปรางค์กู่ต่าง ๆ ในเขตจังหวัดขอนแก่น เป็นต้น
ประวัติศาสตร์การสร้างเมืองขอนแก่นได้เริ่มเกิดขึ้นเมื่อปี พ.ศ. 2322 ขณะนั้นเมืองเวียงจันทน์ได้เกิดเหตุพิพาทกับกลุ่มของเจ้าพระวอจนถึงกับยกทัพไปตีค่ายของเจ้าพระวอแตกที่บ้านดอนมดแดง (อุบลราชธานีปัจจุบัน) และจับเจ้าพระวอประหารชีวิต สมเด็จพระเจ้ากรุงธนบุรีทรงถือว่าฝ่ายเจ้าพระวอเป็นข้าขอบขัณฑสีมาของไทยจึงทรงพระกรุณาโปรดเกล้าฯ ให้เจ้าพระยามหากษัตริย์ศึกกับเจ้าพระยาสุรสีห์ยกทัพขึ้นไปตีเวียงจันทน์ จากนั้นจึงได้ยกทัพกลับมายังกรุงเทพมหานคร พร้อมกับได้อัญเชิญพระแก้วมรกต พระพุทธปฏิมากร และพระบางกลับมาถวายแต่สมเด็จพระเจ้ากรุงธนบุรีด้วย
เจ้าแก้วบุฮม (แก้วบรม) กับพระยาเมืองแพน (หรือเพี้ยเมืองแพน) สองพี่น้อง ซึ่งเป็นโอรสของเจ้าแสนปัจจุทุม (ท้าวแสนแก้วบุฮม) ได้ยกกองทัพจากบ้านเพี้ยปู่ เขตแขวงเมืองทุละคม (ธุระคม) ซึ่งขึ้นกับเมืองเวียงจันทน์ในทุกวันนี้ ข้ามแม่น้ำโขงมาตั้งถิ่นฐานที่อยู่บ้านโพธิ์ตาก (บ้านโพธิ์ตาก ตำบลบ้านกง อำเภอเมืองขอนแก่น) และบ้านยางเดี่ยว บ้านโพธิ์ศรี (บ้านโพธิ์ศรี ตำบลบ้านโนน อำเภอกระนวน) บ้านโพธิ์ชัย (บ้านโพธิ์ชัย อำเภอมัญจาคีรี) เมืองมัญจาคีรีหรืออำเภอมัญจาคีรี ปรากฏอยู่ในทำเนียบมณฑลอุดร กล่าวว่า เมื่อ พ.ศ. 2433 พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวโปรดเกล้าฯ ให้ตั้งเมืองขึ้นชื่อเมืองมัญจาคีรี โดยมีจางวางเอกพระยาพฤติคุณธนเขม (สน สนธิสัมพันธ์) เป็นเจ้าเมืองคนแรกเมื่อ พ.ศ. 2433-2439 เจ้าเมืองคนที่ 2 คือ พระเกษตรวัฒนา (โส สนธิสัมพันธ์) เมื่อ พ.ศ. 2439-2443 และมีปรากฏประวัติเมืองมัญจาคีรีในหนังสือประวัติจังหวัดในประเทศไทย ในห้องสมุดของสถาบันบัณฑิตพัฒนบริหารศาสตร์ (นิด้า) บ้านสร้าง บ้านชีโหล่น (อยู่ในเขตเมืองสุวรรณภูมิ อำเภอสุวรรณภูมิ จังหวัดร้อยเอ็ดปัจจุบัน)
ในปัจจุบัน บางบ้านก็อยู่ในเขตอำเภอเมืองขอนแก่น บางบ้านก็อยู่ในเขตอำเภอน้ำพอง บางบ้านก็อยู่ในเขตอำเภออาจสามารถ (จังหวัดร้อยเอ็ด) บางบ้านก็อยู่ในเขตจังหวัดยโสธร บางบ้านก็อยู่ที่อำเภอมัญจาคีรี และบางบ้านก็อยู่ที่อำเภอคำเขื่อนแก้ว (จังหวัดยโสธร) เป็นต้น ทั้งนี้เป็นเพราะได้มีการเปลี่ยนแปลงเขตเมืองในสมัยหลัง ๆ ต่อมานั่นเอง
เจ้าแก้วบุฮมได้อพยพเข้ามาตั้งบ้านเรือนอยู่ที่บ้านโพธิ์ชัย พระยาเมืองแพนอพยพเข้ามาตั้งบ้านเรือนอยู่ในบ้านชีโหล่น คุมไพร่พลคนละ 500 คน ขึ้นกับเมืองท่งหรือเมืองสุวรรณภูมิ ครั้นต่อมาอีกราว 9 ปี ในปี พ.ศ. 2331 เพี้ยเมืองแพนก็ได้พาราษฎรและไพร่พลประมาณ 330 คน ขอแยกตัวออกจากเมืองสุวรรณภูมิไปตั้งบ้านเรือนอยู่ที่ฝั่งบึงบอน ยกขึ้นเป็นเมืองที่บ้านดอนพยอมเมืองเพี้ย (ปัจจุบันคือ บ้านเมืองเพี้ย ตำบลเมืองเพี้ย อำเภอบ้านไผ่)
บึงบอนหรือดอนพยอมในปัจจุบันได้ตื้นเขินเป็นที่นาไปหมดแล้ว แต่ก็ยังปรากฏเป็นรูปของบึงซึ่งมีต้นบอนขึ้นอยู่มากมาย ต่อมาก็ได้รับพระกรุณาโปรดเกล้าฯ ให้เมืองแพนเป็นพระนครศรีบริรักษ์ เจ้าเมืองขอนแก่น ดังปรากฏข้อความในพงศาวดารหัวเมืองมณฑลอีสานของหม่อมอมรวงศ์วิจิตรว่า “ลุจุลศักราช 1159 ปีมเสง นพศก (พ.ศ. 2340) ฝ่ายเพี้ยเมืองแพน บ้านชีโล่น เมืองสุวรรณภูมิ เห็นว่าเมืองแสนได้เป็นเจ้าเมืองชนบท ก็อยากจะได้เป็นบ้าง จึงเกลี้ยกล่อมผู้คนให้อยู่ในบังคับสามร้อยคนเศษ จึงสมัครขึ้นอยู่ในเจ้าพระยานครราชสีมา แล้วขอตั้งบ้านบึงบอนเป็นเมือง เจ้าพระยานครราชสีมาได้มีใบบอกมายังกรุงเทพฯ จึงโปรดเกล้าฯ ตั้งให้เมืองแพนเป็นที่พระยานครศรีบริรักษ์ เจ้าเมือง ยกบ้านบึงบอนขึ้นเป็นเมืองขอนแก่น ขึ้นกับเมืองนครราชสีมา...”
เอกสารพงศาวดารอีสานฉบับพระยาขัติยวงศา (เหลา ณ ร้อยเอ็ด) ได้กล่าวถึงการตั้งเมืองขอนแก่นว่า “...ได้ทราบข่าวว่าเมืองแพน บ้านชีโล่น แขวงเมืองสุวรรณภูมิ พาราษฎร ไพร่พลประมาณ 330 คน แยกจากเมืองสุวรรณภูมิไปขอตั้งฝั่งบึงบอนเป็นเมือง จึงทรงพระกรุณาโปรดเกล้าฯ ให้เมืองแพนเป็นพระนครศรีบริรักษ์ ผู้ว่าราชการเมืองขอนแก่น...” ขอนแก่นจึงได้ที่มาว่าเป็นเมืองคู่กับมหาสารคามนั้นเอง