Model Card: Saptiva Turbo

Descripción General

• Nombre del Modelo: Saptiva Turbo / Gemma2 27B.

• Tipo de Modelo: Creación de contenido y comunicación, Investigación y educación.

• Desarrollado por: Google.

• Tamaño en Parámetros: 27B.

Uso Previsto

Casos de Uso Recomendados

• Este modelo se puede utilizar para generar formatos de texto creativos, como poemas, guiones, código, textos de marketing y borradores de correo electrónico.

• Genera resúmenes concisos de un corpus de texto, artículos de investigación o informes.

• Puede servir como base para que los investigadores experimenten con técnicas de PLN, desarrollen algoritmos y contribuyan al avance del campo.

Casos de Uso No Recomendados

• Este modelo no debe implementarse en ningún sistema donde la seguridad o la vida humana estén en juego. Esto incluye sistemas médicos de diagnóstico o tratamiento, infraestructuras críticas, sistemas de control de tráfico o navegación autónoma, y cualquier aplicación de respuesta a emergencias. La naturaleza probabilística del modelo y su potencial para generar respuestas inexactas lo hace inadecuado para estos escenarios de alta criticidad.

• Gemma no debe utilizarse en sistemas que tomen decisiones automatizadas que afecten significativamente a las personas. Esto abarca evaluaciones de crédito, procesos de selección de personal, calificaciones académicas automáticas y cualquier sistema que procese información médica confidencial, datos financieros personales o información gubernamental clasificada

Factores y Métricas de Rendimiento

Datos de Entrenamiento

• Estos modelos se entrenaron con un gran conjunto de datos de texto que incluye una amplia variedad de fuentes, con un total de 15 billones de tokens. Estos son los componentes clave:

  • Documentos web: una colección diversa de texto web garantiza que el modelo esté expuesto a una amplia gama de estilos lingüísticos, temas y vocabulario. Principalmente contenido en idioma inglés.

  • Código: exponer el modelo al código lo ayuda a aprender la sintaxis y los patrones de los lenguajes de programación, lo que mejora su capacidad para generar código o comprender preguntas relacionadas con el código.

  • Matemáticas: el entrenamiento con texto matemático ayuda al modelo a aprender razonamiento lógico, representación simbólica y a abordar consultas matemáticas. La combinación de estas diversas fuentes de datos es crucial para entrenar un modelo de lenguaje poderoso que pueda manejar una amplia variedad de tareas y formatos de texto diferentes.

Métricas de Evaluación

• TBD graphic

Limitaciones y Sesgos

Limitaciones Técnicas

• Datos de entrenamiento

  • La calidad y diversidad de los datos de entrenamiento influyen significativamente en las capacidades del modelo. Los sesgos o las lagunas en los datos de entrenamiento pueden provocar limitaciones en las respuestas del modelo.

  • El alcance del conjunto de datos de entrenamiento determina las áreas temáticas que el modelo puede manejar de manera eficaz.

• Complejidad del contexto y de la tarea

  • Los LLM son mejores en las tareas que se pueden enmarcar con instrucciones y estímulos claros. Las tareas abiertas o muy complejas pueden ser un desafío.

  • El rendimiento de un modelo puede verse influenciado por la cantidad de contexto proporcionado (un contexto más extenso suele generar mejores resultados, hasta cierto punto).

• Ambigüedad y matices del lenguaje

  • El lenguaje natural es intrínsecamente complejo. Los LLM pueden tener dificultades para captar matices suaves, sarcasmo o lenguaje figurado.

• Sentido común

  • Los LLM se basan en patrones estadísticos del lenguaje. Es posible que carezcan de la capacidad de aplicar el razonamiento de sentido común en determinadas situaciones.

• Consideraciones éticas y riesgos Sense

  • El desarrollo de modelos de lenguaje grandes (LLM) plantea varias cuestiones éticas. Al crear un modelo abierto, hemos considerado cuidadosamente lo siguiente:

    • Sesgo y equidad: Los LLM entrenados con datos de texto del mundo real a gran escala pueden reflejar sesgos socioculturales incorporados en el material de entrenamiento. Estos modelos se sometieron a un escrutinio minucioso, se describió el preprocesamiento de los datos de entrada y se informaron evaluaciones posteriores en esta tarjeta.

    • Transparencia y responsabilidad: Esta tarjeta de modelo resume los detalles sobre la arquitectura, las capacidades, las limitaciones y los procesos de evaluación de los modelos. Un modelo abierto desarrollado de manera responsable ofrece la oportunidad de compartir la innovación al hacer que la tecnología LLM sea accesible para desarrolladores e investigadores en todo el ecosistema de IA.

    • Riesgos identificados y mitigaciones: Perpetuación de sesgos: se recomienda realizar un seguimiento continuo (mediante métricas de evaluación, revisión humana) y la exploración de técnicas de eliminación de sesgos durante el entrenamiento del modelo, el ajuste y otros casos de uso.

Consideraciones Éticas y de Seguridad

Directrices de Seguridad

• Seguridad del contenido de texto a texto: evaluación humana sobre indicaciones que cubren políticas de seguridad, incluido el abuso y la explotación sexual infantil, el acoso, la violencia y el gore, y el discurso de odio.

• Daños representativos de texto a texto: comparación con conjuntos de datos académicos relevantes, como WinoBias y BBQ Dataset.

• Memorización: evaluación automatizada de la memorización de datos de capacitación, incluido el riesgo de exposición de información de identificación personal.

• Daño a gran escala: pruebas de "capacidades peligrosas", como riesgos químicos, biológicos, radiológicos y nucleares (CBRN).