Ta có: \(ax^2\equiv by^2\left[p\right]\Rightarrow a^2x^4\equiv b^2y^4\left[p\right]\Rightarrow\left(p-b^2\right)x^4\equiv b^2y^4\left[p\right]\Rightarrow b^2\left(x^4+y^4\right)⋮p\)
Dễ thấy \(\left(b,p\right)=1\), nên \(\left(x^4+y^4\right)⋮p\), suy ra \(\left(x^8-y^8\right)⋮p\)
Giả sử \(\left(x,p\right)=\left(y,p\right)=1\), và không mất tính tổng quát, giả sử \(\left(x,y\right)=1\) (nếu \(\left(x,y\right)=d>1\) thì đặt \(x=dx';y=dy'\), thì ta có \(x'^4+y'^4⋮p\) và \(\left(x',y'\right)=1\)). Ta sẽ chứng minh \(p\equiv1\left[8\right]\)
Gọi n là số nguyên dương nhỏ nhất sao cho \(\left(x^n-y^n\right)⋮p\) (có thể ghi lại là \(n=ord_p\left(\dfrac{x}{y}\right)\)).
Ta có tính chất: Nếu m là số nguyên dương thoả \(\left(x^m-y^m\right)⋮p\) thì \(m⋮n\).
Thật vậy, ta có nhận xét sau: Nếu \(\left(x,y\right)=1\) thì \(\left(x^m-y^m,x^n-y^n\right)=x^{\left(m,n\right)}-y^{\left(m,n\right)}\)
Chứng minh: Sử dụng thuật toán chia Euclid cho m,n, ta được:
\(m=a_0n+b_0,0\le b_0< n\)
\(n=a_1b_0+b_1,0\le b_1< b_0\)
\(b_0=a_2b_1+b_2,0\le b_2< b_1\)
....
\(b_{k-1}=a_{k+1}b_k+b_{k+1},0\le b_{k+1}< b_k\)
\(b_k=a_{k+2}b_{k+1}\).
Khi đó \(b_{k+1}=\left(m,n\right)\).
Ta có: \(x^m-y^m=x^{a_0n+b_0}-y^{a_0n+b_0}=x^{a_0n+b_0}-x^{b_0}y^{a_0n}+x^{b_0}y^{a_0n}-y^{a_0n+b_0}=x^{b_0}\left[\left(x^n\right)^{a_0}-\left(y^n\right)^{a_0}\right]+y^{a_0n}\left(x^{b_0}-y^{b_0}\right)=p_0\left(x^n-y^n\right)+y^{a_0n}\left(x^{b_0}-y^{b_0}\right)\)
Do \(\left(x,y\right)=1\), nên \(\left(x^m-y^m,y^{a_0n}\left(x^{b_0}-y^{b_0}\right)\right)=\left(x^m-y^m,x^{b_0}-y^{b_0}\right)\left(1\right)\)
Ta áp dụng thuật toán chia\(x^{b_{k-1}}-y^{b_{k-1}}=p_{k+1}\left(x^{b_k}\right)\) như sau:
\(x^m-y^m=p_0\left(x^n-y^n\right)+y^{a_0n}\left(x^{b_0}-y^{b_0}\right)\)
\(x^n-y^n=p_1\left(x^{b_0}-y^{b_0}\right)+y^{a_1b_0}\left(x^{b_1}-y^{b_1}\right)\)
...
\(x^{b_{k-1}}-y^{b_{k-1}}=p_{k+1}\left(x^{b_k}-y^{b_k}\right)+y^{a_{k+1}b_k}\left(x^{b_{k+1}}-y^{b_{k+1}}\right)\)
\(x^{b_k}-y^{b_k}=p_{k+2}\left(x^{b_{k+1}}-y^{b_{k+1}}\right)\)
Từ nhận xét (1), ta có: \(\left(x^m-y^m,x^n-y^n\right)=\left(x^n-y^n,y^{a_0n}\left(x^{b_0}-y^{b_0}\right)\right)=\left(x^n-y^n,x^{b_0}-y^{b_0}\right)=...=\left(x^{b_{k+1}}-y^{b_{k+1}}\right)=\left(x^{\left(m,n\right)}-y^{\left(m,n\right)}\right)\)(đpcm)
Quay lại bài toán, ta có: \(\left(x^m-y^m,x^n-y^n\right)=x^{\left(m,n\right)}-y^{\left(m,n\right)}\), do đó \(\left(x^{\left(m,n\right)}-y^{\left(m,n\right)}\right)⋮p\). Do tính nhỏ nhất của n, nên \(\left(m,n\right)=n\Rightarrow m⋮n\).
Như vậy, \(8⋮n\). Dễ dàng kiểm tra \(n=8\). Mặt khác, theo định lí Fermat nhỏ, ta lại có \(\left(a^{p-1}-b^{p-1}\right)⋮p\), nên \(\left(p-1\right)⋮8\), hay \(p\equiv1\left[8\right]\), vô lí.
=>đpcm.