AI al inicio de 2026
En la actualidad trabajo como ingeniero de software para mi cliente actual. En este contexto, tengo acceso a los modelos LLM más recientes de distintos proveedores (tres, concretamente). En este post quiero compartir una retrospectiva, a la fecha, sobre cómo ha sido esa experiencia.
Para comenzar, debo aclarar que en muy pocas tareas en las que he utilizado modelos LLM he considerado aceptable permitir que el modelo realice acciones sin una revisión de mi parte. Es decir, en contadas ocasiones he hecho vibe coding. Mi lógica es simple: no puedo aceptar algo que no esté dispuesto a mantener. La experiencia de otros puede variar, y no afirmo que el vibe coding no tenga casos de uso válidos.
Respecto a cómo han cambiado las cosas, cabe mencionar que las soluciones con acceso al proyecto completo y a herramientas han sido una evolución agradable frente a las versiones iniciales que únicamente autocompletan líneas de código. El aumento del contexto disponible ha sido, sin duda, una mejora muy positiva, incluso al comparar distintas generaciones de modelos.
Ahora bien, mi experiencia reciente es que debo revisar —y muy detenidamente— cada cambio propuesto por los LLM, por varias razones:
- Es como trabajar con un actor malicioso dentro del equipo. He tenido que detenerlos de realizar acciones que no estaban incluidas en el plan, de modificar los objetivos por considerarlos “difíciles”, e incluso los he visto mentir afirmando que una meta fue alcanzada cuando no lo fue.
- Es como trabajar con alguien a quien no le importan las reglas. En un mismo día he tenido que indicarles que lean las instrucciones específicas del proyecto más de cinco veces, en sesiones distintas. Y no se trata de instrucciones largas: son claras, concretas y bien definidas.
- Es alarmante la cantidad de código de pésima calidad que generan los LLM. Esto evidencia la baja calidad de los datos utilizados para su entrenamiento. No se trata de que el modelo esté desactualizado, sino de que fue entrenado con información deficiente.
Todo esto dejando de lado el hecho —para mí evidente— de que estos modelos no razonan. Por tanto, utilizarlos para tareas de alto nivel, como la planificación, es exigirles más de lo que pueden ofrecer. Un ejemplo concreto: pedirles que, para un proyecto específico, creen un plan para actualizar Angular de la versión 13 a la 14. He tenido que enumerar explícitamente todos los aspectos que deben cumplirse para ejecutar la actualización de forma satisfactoria. No es que no puedan buscar información en internet; eso lo hacen. El problema es que se quedan cortos. Son incapaces de contextualizar.
A día de hoy no existe ningún modelo a mi disposición que pueda mantener en contexto un proyecto completo y, por ende, proponer cambios que sean siempre consistentes con su estado actual.
Honestamente, el porcentaje de propuestas que termino aceptando no supera el 30%, y eso siendo generoso. Con el tiempo, Al hacer una revisión de pares empiezas a ver cuando te han enviado lo sugerido por el LLM sin revisarlo. Cada día más.
En mi tiempo libre he experimentado también con modelos de pago considerados top tier, y la experiencia no difiere sustancialmente. En estos experimentos intento llevar a los modelos hacia estándares de excelencia técnica y procedimientos de ingeniería rigurosos. Incluso en proyectos compuestos por dos archivos de código fuente, esto resulta imposible. No es que el código no quepa en el contexto; simplemente, no razonan.
No existe un modelo que, ante un problema, comience aplicando principios de ingeniería adecuados al contexto, ni siquiera cuando se le solicita explícitamente. Resulta frustrante observar cómo, para proyectos cuyo objetivo es la Web, todos los modelos recurren inmediatamente a crear un proyecto en React, incluso cuando el problema podría resolverse con un único archivo HTML.
Si los LLM van a reemplazarme como ingeniero, en este punto no depende de mí. Depende de cuán viable perciba mi cliente que un LLM pueda generar y mantener un producto sin un humano en el medio aportando aquello que el LLM no puede ofrecer: razonamiento, análisis y visión a largo plazo.
Comments
Post a Comment