Para $b=1$ tenemos las soluciones $(2k, 1)$ para todo entero positivo $k$. Asumimos a partir de ahora que $b\geqq2$.
Sea $u=2ab^2-b^3+1$, con $u\geqq 1$ por hipótesis. Tenemos claramente $b^2\mid u-1$. Ahora la condición es que $u\mid a^2=(\frac{u+b^3-1}{2b^2})^2$, es decir, $4b^4u\mid (u+b^3-1)^2$, que implica $u\mid (b^3-1)^2$.
Que $b^2\mid u-1$ nos dice que $u=b^2r+1$, con $r\geqq 0$. Como $u\mid (b^3-1)^2$, $u=\frac{(b^3-1)^2}{q}$ con $q\geqq 1$ entero. Luego $b^2\mid u-1 = \frac{(b^3-1)^2}{q}-1 = \frac{(b^3-1)^2-q}{q}$, que implica $b^2\mid (b^3-1)^2-q$ y $b^2\mid q-1$, por lo que $q=b^2s+1$, con $s\geqq 0$.
Si $r=0$ tenemos $u=1$, que es $2ab^2-b^3+1=1$, $2ab^2=b^3$, $2a=b$, que da las soluciones $(k,2k)$ para todo entero positivo $k$ (en efecto, $\frac{k^2}{2k(2k)^2-(2k)^3+1}=k^2$). Si $s=0$ tenemos $q=1$, $u=(b^3-1)^2$, que es $2ab^2-b^3+1=(b^3-1)^2$, $2ab^2=(b^3-1)b^3$, $2a=(b^3-1)b$, lo que da $$\frac{a^2}{2ab^2-b^3+1}=\frac{(\frac12(b^3-1)b)^2}{(b^3-1)^2} = \left(\frac b2\right)^2,$$ que es entero si y sólo si $2\mid b$. Esto da las soluciones $((8k^2-1)k, 2k)$ para todo entero positivo $k$.
Resta considerar el caso $r,s\geqq 1$. Teníamos $uq=(b^3-1)^2$, lo que, reemplazando, da $(b^2r+1)(b^2s+1)=(b^3-1)^2$. Expandiendo tenemos $b^4rs + b^2(r+s)+1=b^6-2b^3+1$, luego $b^2rs + r+s=b^4-2b$, y $b\mid r+s$. Dividiendo por $b$ tenemos $brs+\frac{r+s}b=b^3-2$ y $\frac{r+s}b+2=b(b^2-rs)$. Si $t=b^2-rs$, $t$ es un entero, $t\geqq 1$ y $r+s=b(bt-2)$.
Si $t=1$ tenemos $r+s=b(b-2)$ y $rs=b^2-1$. Tenemos que $(r-1)(s-1)=rs-r-s+1=2b>0$, por lo que $r,s\geqq2$ y $(r-2)(s-2)\geqq0$, lo que da $-b^2+4b+3\geqq0$, que es $b(4-b)\geqq-3$, que si $b\geqq 5$ no se cumple. Luego $2\leqq b\leqq4$. Ahora $(r-s)^2=(r+s)^2-4rs=b^4-4b^3+4$. Probamos $b=2,3,4$ y sólo $b=4$ cumple que $b^4-4b^3+4$ es cuadrado perfecto. Arroja $(r,s)=(5,3)$ y $(3,5)$, que dan $u=81$, $a=4.5$ (no entero), y $u=49$, $a=3.5$ (tampoco entero). Por lo tanto no hay soluciones en este caso.
Resta considerar $t\geqq 2$. Teníamos $r+s=b(bt-2)\geqq b(2b-2)=2b(b-1)$. Como $r,s\geqq 1$, tenemos $(r-1)(s-1)\geqq0$ por lo que $rs\geqq r+s-1=b(bt-2)-1 \geqq b(2b-2)-1=2b^2-2b-1$. Teníamos (ver dos párrafos atrás) $brs+\frac{r+s}b=b^3-2$, que da $b^3-2 \geqq 2b^3-2b^2+b-2$, es decir, $b^3-2b^2+b\leqq 0$, o sea $b(b-1)^2\leqq 0$, imposible porque estamos asumiendo $b\geqq 2$.
Listo. Las soluciones son, pues, $(2k,1)$, $(k,2k)$ y $((8k^2-1)k, 2k)$ con $k$ entero positivo.
$\frac{a^2}{2ab^2-b^3+1}=c \Leftrightarrow a^2=c(2ab^2-b^3+1)=2acb^2-b^3c+c \Leftrightarrow a^2-2acb^2+b^3c-c=a^2-a(2cb^2)+(b^3c-c)=0 \\$
Y ahora?? Y si, como dice un famoso refrán en mi pueblo "Si la montaña no va a Mahoma, Mahoma hace una cuadrática en a y chequea que su discriminante tiene que ser un cuadrado perfecto", y es exactamente lo que vamos a hacer.
(Antes que nada hacemos la observación de que $a>1$, por otro lado, si $b=1$ nos queda $\frac{a^2}{2a}=\frac{a}{2}$, por lo que $a=2q$ anda, y por ende los pares de la pinta $(2q,1)$ funcionan para todo entero positivo $q$. A patir de ahora, vamos a suponer $b \geq 2$).
Planteando la cuadrática en $a$ nos queda que su discriminante $4c^2b^4-4b^3c+4c$ tiene que ser un cuadrado perfecto para que $a$ sea efectivamente un entero positivo. Ahora se viene el truquito de encerrar al discriminante entre cuadrados... Estaría bueno no tirar un galerazo no? Así que acompañenme a la aventura de intentar construir las cotas...
Por un lado, en el discriminante tenemos un $4c^2b^4$, por lo que tiene una re pinta de que en las cotas deberían ser de la pinta $(2cb^2+algo)^2$ para que sean cosas medianamente comparables. Por otro lado tenemos un $-4b^3c=-2 \times (2cb^2) \times b$... Suena prometedor entonces que las cotas ahora sean de la pinta $(2cb^2-b+algo)^2$. Y bueno, ahora tiene sentido que ese "algo" sea algún numerito. Y vemos que si $algo=-1$, reemplazando nos queda $(2cb^2-b-1)^2=4c^2b^4+b^2+1-4cb^3-4cb^2+1$, por lo que:
$4c^2b^4+b^2+1-4cb^3-4cb^2+2b < 4c^2b^4-4b^3c+4c \Leftrightarrow +b^2+1-4cb^2+2b = (b^2-cb^2)+(1-cb^2) +(2b-2cb^2) < 4c $, pero el lado izquierdo es menor o igual a cero, y el lado derecho es positivo, por lo que la cota inferior que propusimos funciona.
Por otro lado, siempre al hacer este truquito, la cota de arriba no suele estar muy lejos, por lo que tras probar con $(2cb^2-b+1)^2$ y hacer las cuentitas llegamos a que esa cota funciona
y tenemos entonces $(2cb^2-b-1)^2 < 4c^2b^4-4b^3c+4c < (2cb^2-b+1)^2$, por lo que $4c^2b^4-4b^3c+4c=(2cb^2-b)^2$. Desarrollando nos queda $4c^2b^4-4b^3c+4c = 4c^2b^4-4b^3c+b^2$, o equivalentemente, $b^2=4c$, de donde $b=2\sqrt{c}=2k$. , y reemplazando en la cuadrática nos queda:
$a=k$ y $a=8k^4-k$
Luego, los pares $(a,b)$ que cumplen son $(2k,1), (k, 2k), (8k^4-k, 2k)$ con $k$ entero positivo
