Cohere es la OpenAI canadiense dedicada al mundo empresarial. Y lo hace todo al revés que Sam Altman
En 2017 Aidan Gomez (en la imagen, en el centro) era el más joven de un grupo de ocho investigadores muy especial. Todos ellos formaban parte de Google Brain, la división que acabó fusionándose con DeepMind. Y todos ellos publicaron en aquel momento el estudio más relevante del campo de la inteligencia artificial en años.
Aquella publicación, titulada ‘Attention is all you need‘, introdujo el concepto de Transformer. Ese fue el detonante de la aparición de los modelos de IA generativa y de chatbots como ChatGPT.
Gomez acabaría trabajando con Geoffrey Hinton en su laboratorio de Toronto, pero no duraría mucho allí. En 2019 decidió fundar Cohere junto a Nick Frosst (en la imagen, a la derecha) y a Ivan Zhang (a la izquierda).
Todos ellos habían estudiado en la Universidad de Toronto, y aquello ha acabado haciendo que se unan para crear una startup de IA que comienza a hacer ruido y que podría plantar cara a las grandes.
Así se diferencia Cohere de las gigantes de IA
Cohere es una empresa canadiense con unos 300 empleados que se ha convertido en una interesante alternativa en este segmento. Y lo es porque tiene un enfoque muy distinto a sus rivales, y en especial al de OpenAI, con el que se la compara a menudo. ¿Por qué? Tres razones.
- Modelo SaaS. Empresas como OpenAI ofrecen acceso a sus modelos de IA a través de una API y cobran por cada token que generan sus LLMs. Además esas empresas ejecutan esas consultas en infraestructura que tienen montada en infraestructuras en la nube como las de Microsoft, Google o Amazon. Cohere plantea un modelo SaaS (Software-as-a-Service) en el que el cliente ya tiene su propia infraestructura, y usa modelos de Cohere, que cobra una comisión por ello. Como explicaba Gomez, “eso nos permite tener márgenes mucho más altos, porque no estamos pagando por la computación”.
- El chatbot no importa (tanto). Las grandes de la IA presumen de chatbots, pero Cohere no tiene un producto de ese tipo. Estos asistentes, que aprovechan el modelo freemium, requieren una enorme infraestructura de computación y ciertamente permiten convencer a muchos usuarios de pasarse a sus planes de pago, pero en Cohere prefieren ahorrarse mucho en costes de inferencia (generar respuestas). “Estamos comenzando a llegar al punto de inflexión en el que el casto en computación para inferencia es más alto que el del entrenamiento [de los modelos], lo que indica la madurez del mercado”, destacaba Gomez.
- Modelos ad hoc para empresas. El otro gran punto diferencial de Cohere es que no está orientado a usuarios finales sino a empresas. Y es a estas empresas a las que ofrece modelos muy afinados para propósitos específicos. Nick Frosst explicaba en Business Insider cómo “hemos descubierto que ajustar pequeños modelos con conjuntos de datos [especializados] permite obtener grandes resultados”.
Modelos pequeños, precisos y baratos
Esa estrategia parece ir ganando fuerza. En marzo de 2024 la empresa lanzó un modelo generativo escalable específicamente orientado a empresas al que llamó Command R. Un mes después lanzaba Command R+, una versión supervitaminada del anterior que también ofrece una ventana de contexto de 128k tokens.
La interfaz de Coral en Cohere, que permite evaluar modelos como Command R.
Ambos se pueden usar (con límites y consiguiendo una API gratuita de prueba) en plataformas como OpenRouter o Hugging Face, pero también desde la propia plataforma de Cohere a través de Coral, su interfaz de usuario para evaluar sus modelos.
En ambos casos Cohere promete algo importante: hace uso de un sistema de generación por recuperación aumentada (RAG, Retrieval Augmented Generation), que según ellos reduce las habituales “alucinaciones” de los modelos de IA. Para ello incluye citas y referencias —al estilo de lo que hace por ejemplo Perplexity.ai— y sobre todo trata de adaptarse a las necesidades específicas de cada empresa y a cada escenario en el que se usan esos modelos.
Eso permite ventajas importantes según los responsables de Cohere. En pruebas internas indicaban cómo al analizar información científica y financiera, las versiones afinadas de Command R eran más precisas que sus rivales.
Así, al resumir reuniones la precisión de Command R fue del 80,2%, mientras que GPT-4 fue del 78,8% y en Claude Opus del 77,9%. En el análisis de datos financieros el modelo de Cohere fue un 6,2% más preciso que el de OpenAI y un 5,3% que el de Anthropic, aunque insistimos, según pruebas internas.
Más importante e interesante aún es el coste: ejecutar estos modelos afinados de Cohere, lo que se denominan costes de inferencia, es notablemente más barato que usar los de OpenAI: generar un millón de tokens cuesta entre 2 y 4 dólares con Cohere, pero cuesta entre 30 y 60 dólares con GPT-4.
No son las únicas propuestas de Cohere, que hace tan solo unos días presentaba sus modelos Aya 23 8B y 35B, que plantean una apuesta cercana a Llama 3, con modelos de pesos abiertos, comportamiento aparentemente notable y además disponibles en 23 idiomas distintos.
Pero también hay incertidumbre
En junio de 2023 Cohere anunciaba una ronda de financiación de 270 millones de dólares protagonizada por la firma de inversión Inovia Capital, pero en la que también participaban gigantes como NVIDIA, Oracle o Salesforce.
Eso hacía que la valoración de la firma ascendiese a los 2.100 millones de euros, una cifra destacable. Aún así, esa inversión queda lejos de las que se habían hecho hasta entonces en firmas como OpenAI (11.300 millones de dólares según TechCrunch), o Anthropic (450 millones de dólares).
En las últimas semanas se habla de que se está preparando una nueva ronda de inversión de otros 500 millones de dólares que haría que su valoración de mercado ascendiese a los 5.000 millones de dólares. Eso proporcionaría aún más margen de crecimiento para la empresa y consolidaría su apuesta por un modelo diferente al de otras empresas de este ámbito, pero también hay incertidumbre sobre su futuro.
Sobre todo, por los ingresos, aún muy modestos. Según The Information, Cohere solo había metido en caja 13 millones de dólares en todo 2023, aunque la cosa mejoró a principios de año: al terminar el primer trimestre del año esa cifra había aumentado a 35 millones.
Esos datos se quedan muy atrás si observamos los teóricos ingresos de Anthropic y de OpenAI. Una vez más según The Information, Anthropic generará más de 850 millones de dólares en este 2024, mientras que OpenAI llegará a los 5.000 millones según las estimaciones.
La competencia además está acelerando, sobre todo en el caso de las grandes, que están invirtiendo ingentes cantidades de dinero para desarrollar sus modelos y ponerlos a disposición de todos los públicos.
El auge de los modelos Open Source —aunque no sean del todo Open Source— como Llama 3 también amenaza la propuesta de Cohere, sobre todo porque facilita esa puesta en marcha de implantaciones a medida si las empresas tienen expertos que puedan entrenar y afinar de forma segura y privada esos modelos.
Cohere tiene sin duda grandes bazas para lograr ser relevante en este mercado cada vez más competitivo, pero será interesante ver si su enfoque, notablemente diferente al de sus competidores, acaba dando los frutos que esperan.
Imagen | Cohere
