Una startup centrada en la creación de modelos de IA personalizados para grandes empresas ha anunciado el lanzamiento público de Reka Core, un modelo de lenguaje multimodal capaz de procesar entradas de texto, imágenes, vídeo y audio. La empresa de software empresarial Reka AI fue fundada en 2022 por investigadores de Google. DeepMind, el gigante tecnológico chino Baidu y Meta. Ya ha recaudado 60 millones de dólares en financiación de inversores como New York Life Ventures, Radical Ventures, Snowflake Ventures, DST Global y el empresario inversor Nat Friedman. Reka Core es el modelo más grande y capaz de la empresa hasta la fecha. Y Reka AI, haciendo referencia a sus propias pruebas, dice que resiste bien a muchos modelos mucho más grandes y bien financiados. En un artículo de investigación que agrega los resultados de varios puntos de referencia sintéticos, Reka afirma que su modelo Core puede competir con las herramientas de inteligencia artificial de OpenAI, Anthropic y Google. Una de las métricas clave es el MMMU, el punto de referencia masivo multidisciplinario de comprensión y razonamiento multimodal. Es un conjunto de datos diseñado para probar las capacidades de los modelos de lenguaje grandes (LLM) en comprensión y razonamiento multimodal a un nivel comparable al de los expertos humanos. «Core es comparable a GPT-4V en MMMU, supera a Claude-3 Opus en nuestra evaluación humana multimodal realizada por un tercero independiente, y supera a Gemini Ultra en tareas de video», dijo Reka AI en su artículo de investigación. «En tareas de lenguaje, Core es competitivo con otros modelos de vanguardia en puntos de referencia bien establecidos». Cuando se trata de comprender la entrada de video, medido con el punto de referencia Perception-Test, Core supera a Gemini Ultra, el único otro modelo con capacidad de video.Imagen: Reka AI En general, Reka Core tiene capacidades multimodales (imagen y video), buena capacidad de razonamiento, puede generar código y tiene fluidez multilingüe. La interfaz del chatbot es de uso gratuito y Reka Core también está disponible a través de API. Para el acceso a la API, los desarrolladores pueden esperar pagar $10 por cada millón de tokens y $25 por la misma cantidad de tokens de salida. Sin embargo, el modelo tiene problemas con indicaciones largas. Su versión gratuita maneja sólo 4.000 tokens de contexto por razones de eficiencia, con un contexto extendido de hasta 128.000 tokens, según Reka. Los modelos competitivos de OpenAI, Anthropic y Google tienen una ventana de contexto estándar de 128.000 con versiones experimentales que manejan hasta 1 millón de tokens. Reka Core se entrenó desde cero en miles de GPU durante varios meses. La compañía dijo que utilizó datos textuales de 32 idiomas, lo que le permitió dominar el inglés y varios idiomas asiáticos y europeos. Sus desarrolladores dicen que también recibió capacitación multilingüe de un conjunto de datos de Wikipedia que contiene 110 idiomas, lo que le brinda un conocimiento básico limitado de muchos idiomas y dialectos poco comunes. Reka Core está disponible para pruebas gratuitas, pero no es de código abierto. Reka AI dice que está trabajando con muchas plataformas tecnológicas globales y organizaciones gubernamentales líderes como Snowflake, Oracle y AI Singapore.
Probando Reka
Decrypt puso a prueba Reka Core, a través de su interfaz de chatbot público. Se parece bastante al de ChatGPT, usando una pantalla en modo oscuro con reflejos azules y morados. Capacidades visuales
Las capacidades visuales de Reka Core son impresionantes, pero es importante tener en cuenta que no puede generar imágenes como ChatGPT Plus, Meta AI o Google Gemini.
Sin embargo, las capacidades de visión de Reka son rápidas y precisas, lo que la convierte en una gran herramienta para tareas que requieren análisis visual.
En nuestras pruebas, Reka fue más rápido que GPT-4 y proporcionó resultados precisos, tanto cuando se le pidió que describiera algo como cuando usó información visual contextualmente para responder a una tarea. Por ejemplo le mostramos a Reka una foto de la Torre Eiffel y le preguntamos qué podíamos hacer para disfrutar de un fin de semana en esa ciudad. Reka entendió el contexto y nos dio un itinerario con lugares para visitar en París, sin incluir la Torre Eiffel.
Reka AI parece ser muy consciente de qué tan bien se comparan las capacidades visuales de su modelo con las de la competencia. Crearon una muestra especial de ejemplos de diferentes resultados proporcionados por Reka, GPT-4 y Claude 3 Opus. Reka escribe código Reka Core es un asistente de codificación capaz, pero tiene algunas limitaciones. En las pruebas de Decrypt, Reka requirió una redacción cuidadosa antes de proporcionar resultados precisos, ya que toma todo de manera muy literal. Esto puede resultar un desafío para los usuarios novatos que no saben cómo explicar las cosas de una manera que Reka pueda entender. Una vez que las indicaciones están redactadas correctamente, Reka puede generar un buen código y resultados satisfactorios.
Decrypt le pidió al modelo que creara el código para un juego que no existe. El primer resultado no funcionó, aunque en realidad escribía exactamente lo que pedíamos. Cuando fuimos más explícitos y reformulamos nuestro mensaje, creó un código funcional pero imperfecto en su primer intento, con mejores resultados que los proporcionados por Claude 3 Opus. El ejemplo de código está disponible aquí, junto con las versiones generadas por otros LLM.Reka tiene fuertes configuraciones de seguridad. Reka Core tiene controles de seguridad incorporados y se niega a generar resultados que se consideren dañinos o poco éticos, incluso si son legales. Por ejemplo, se negó a proporcionar consejos para seducir a la pareja romántica de un amigo. En nuestras pruebas, Reka resistió las técnicas básicas de jailbreak y fue más neutral que otros modelos como GPT-4, Llama-3 y Claude. Cuando se le preguntó sobre temas controvertidos como la identidad de género y las ideologías políticas, Reka brindó respuestas equilibradas e imparciales.
En otro ejemplo, proporcionó argumentos a favor y en contra del capitalismo y el socialismo, a pesar de que se le había pedido que decidiera qué modelo era mejor. Además, cuando se le pidió que definiera a una mujer, Reka brindó una respuesta detallada y matizada que reconocía factores tanto biológicos como sociológicos, siendo concreta al definir a una mujer como “un ser humano femenino adulto, caracterizado por atributos biológicos, psicológicos y sociales típicamente asociados con el género femenino”. Además, Reka tuvo cuidado de reconocer las complejidades de la identidad de género y de brindar una respuesta respetuosa e inclusiva.
Reka prueba la escritura creativa Las capacidades de escritura creativa de Reka Core son sólidas, pero no excepcionales. Le pedimos al modelo que creara una historia sobre una persona que viajó desde el año 2160 al año 1000 para solucionar un problema y, sin darse cuenta, provocó una paradoja temporal. El estilo narrativo de Reka Es claro y atractivo, con algunos bonitos detalles descriptivos aquí y allá. Sin embargo, la prosa no alcanza las alturas imaginativas de otras IA como Claude. La trama también se siente un poco poco elaborada y tiene una vibra creada por IA.
Como se señaló anteriormente, un punto débil de Reka es su falta de capacidades contextuales, lo que podría dificultar la generación de historias largas o el mantenimiento de una narrativa coherente a lo largo de diferentes capítulos. En este campo, el claro ganador es Claude. En términos de habilidad narrativa pura (la capacidad de elaborar una historia apasionante y emocionalmente resonante con una prosa hermosa y una voz narrativa segura), Claude supera a los demás. En términos generales, la prosa de Claude tiene una maravillosa calidad literaria. Aquí puedes encontrar una muestra de los cuentos generados por Reka, Claude, ChatGPT, Mistral y Llama-3.Conocimiento y razonamiento
Las capacidades de conocimiento y razonamiento de Reka Core son realmente buenas. En las pruebas de Decrypt, Reka pudo manejar preguntas complejas que requerían análisis y demostró algunas capacidades matemáticas. Además, Reka pudo explicar su razonamiento lógico de manera clara y concisa.
También es bueno para preguntas de seguimiento, iterando sobre el mismo problema sin perder contexto, siempre y cuando las preguntas de seguimiento no lleven el modelo más allá de sus límites técnicos. Si eso sucede, resulta imposible seguir interactuando con él. Reka también publicó un vídeo explicando cómo los usuarios podrían implementar agentes de IA utilizando su API, lo que podría ampliar aún más sus capacidades, haciéndolo más potente en este sentido. Comprensión del lenguaje
Las capacidades de comprensión del lenguaje de Reka Core son excelentes. En nuestras pruebas, Reka pudo comprender el texto incluso si contenía muchos errores. Fue también un hábil corrector, capaz de adoptar diferentes estilos y tonos en una narración.
El modelo también comprende matices en diferentes idiomas. Pudo traducir y también extraer marcos contextuales para comprender completamente el mensaje de una traducción. Entendió un dicho común en español, nos dio el equivalente cultural adecuadamente adaptado y explicó su significado.
Conclusión
Decrypt quedó bastante impresionado con Reka Core. Reka es mejor que Google Gemini en términos de resultados y trabajo general, pero Gemini ofrece 2 TB de almacenamiento e integración con el conjunto de productos de Google, un gran beneficio para algunos usuarios. Si las capacidades visuales son una prioridad Definitivamente vale la pena considerar a Reka. Como es gratuito y rápido, puede ganarse los corazones de muchos entusiastas de la IA deseosos de explorar el próximo gran avance por delante de las masas. Si necesita centrarse en la escritura creativa, Claude sigue siendo el claro ganador. Si eso no es una prioridad, no hay mucha diferencia entre Claude y Reka. Claude es mejor por sus capacidades de contexto prolongado y Reka es mejor por sus excelentes capacidades de visión. En términos generales, si las personas necesitan un chatbot avanzado con una amplia gama de capacidades, Reka es una excelente alternativa para ahorrar dinero a los usuarios que de otro modo considerarían una suscripción mensual a un servicio pago. Editado por Stacy Elliott.
