Theo Google, phiên bản mạnh mẽ nhất của Gemini AI đã vượt trội ChatGPT trên hơn 30 trong số 32 (khoảng 90%) điểm chuẩn học thuật, bao gồm 10 trong số 12 điểm chuẩn về văn bản và suy luận phổ biến, 9 trong số 9 điểm chuẩn về hiểu ảnh, 6 trong số 6 điểm chuẩn về hiểu video và 5 trong số 5 điểm chuẩn nhận dạng giọng nói và dịch giọng nói. Liệu điều này có nghĩa là Gemini tốt hơn ChatGPT? Chắc chắn rồi, trong nhiều phương thức, nhưng cả hai ngang nhau về mặt văn bản.
Trong một bài kiểm tra MMLU (Hiểu ngôn ngữ đa nhiệm vụ khổng lồ) bao gồm 57 môn học, bao gồm toán, vật lý và luật, Gemini AI thậm chí còn đạt được điểm 90%, vượt qua 86,4% của ChatGPT. Tuy nhiên, việc so sánh trực tiếp có thể không hoàn toàn chính xác vì các bài kiểm tra sử dụng các phương pháp đánh giá khác nhau: Gemini sử dụng Chain of Thoughts (CoT@32) trong khi ChatGPT dựa vào kỹ thuật 5-shots, có thể ảnh hưởng đến điểm cuối cùng của chúng.
Mô hình Pro ít mạnh mẽ hơn của Gemini AI đã hoạt động tốt, vượt trội GPT-3.5 (LLM đằng sau phiên bản miễn phí của ChatGPT) trong sáu trong số tám bài kiểm tra.