Model Card: Phi 4

Texto, más adecuado para indicaciones en formato de chat.

Descripción General

• Nombre del Modelo: Phi-4

• Tipo de Modelo: Generación de texto.

• Desarrollado por: Microsoft Research

• Tamaño en Parámetros: 14B

Uso Previsto

Casos de Uso Recomendados

• Entornos con limitaciones de memoria/computación.

• Escenarios con limitaciones de latencia.

• Razonamiento y lógica.

Casos de Uso No Recomendados

• Los desarrolladores deben considerar las limitaciones comunes de los modelos de lenguaje al seleccionar casos de uso, y evaluar y mitigar la precisión, la seguridad y la equidad antes de usarlos dentro de un caso de uso posterior específico, en particular para escenarios de alto riesgo.

• Los desarrolladores deben conocer y cumplir con las leyes o regulaciones aplicables (incluidas las leyes de privacidad, cumplimiento comercial, etc.) que sean relevantes para su caso de uso, incluido el enfoque del modelo en inglés.

• Nada de lo contenido en esta Tarjeta de modelo debe interpretarse ni considerarse una restricción o modificación de la licencia bajo la cual se publica el modelo.

Factores y Métricas de Rendimiento

Datos de Entrenamiento

• Los datos de entrenamiento son una extensión de los datos utilizados para Phi-3 e incluyen una amplia variedad de fuentes de:

  1. Documentos disponibles públicamente filtrados rigurosamente por su calidad, datos educativos seleccionados de alta calidad y código.

  2. Datos sintéticos de reciente creación, “similares a los de un libro de texto”, con el propósito de enseñar matemáticas, codificación, razonamiento de sentido común y conocimiento general del mundo (ciencia, actividades diarias, teoría de la mente, etc.).

  3. Adquirió libros académicos y conjuntos de datos de preguntas y respuestas.

  4. Formato de chat de alta calidad que supervisa datos que cubren varios temas para reflejar las preferencias humanas en diferentes aspectos, como seguimiento de instrucciones, veracidad, honestidad y utilidad.

  Los datos multilingües constituyen aproximadamente el 8 % de los datos generales. Se centró en la calidad de los datos que podrían mejorar potencialmente la capacidad de razonamiento del modelo y filtró los documentos disponibles públicamente para que contengan el nivel correcto de conocimiento.

• Phi-4 ha adoptado un sólido enfoque de capacitación posterior a la seguridad. Este enfoque aprovecha una variedad de conjuntos de datos sintéticos generados internamente y de código abierto. La técnica general empleada para realizar la alineación de seguridad es una combinación de SFT (ajuste fino supervisado) y DPO (optimización de preferencia directa) iterativa, que incluye conjuntos de datos disponibles públicamente centrados en la utilidad y la inocuidad, así como varias preguntas y respuestas dirigidas a múltiples categorías de seguridad.

  Evaluación de seguridad y trabajo en equipo

  Antes del lanzamiento, se siguió un enfoque de evaluación multifacético. La evaluación cuantitativa se realizó con múltiples puntos de referencia de seguridad de código abierto y herramientas internas que utilizan simulación de conversaciones adversarias. Para la evaluación de seguridad cualitativa, se colaboro con el AI Red Team (AIRT) independiente de Microsoft para evaluar los riesgos de seguridad que plantean los escenarios de usuario promedio y adversario. En el escenario de usuario promedio, AIRT emuló interacciones típicas de un solo turno y de múltiples turnos para identificar comportamientos potencialmente riesgosos. El escenario de usuario adversario probó una amplia gama de técnicas destinadas a subvertir intencionalmente el entrenamiento de seguridad del modelo, incluidos jailbreaks, ataques basados ​​en codificación, ataques de múltiples turnos y ataques de sufijo adversario.

Consulte el informe técnico para obtener más detalles sobre la alineación de seguridad.

Métricas de Evaluación

• TBD graphic

Limitaciones y Sesgos

Limitaciones Técnicas

Al igual que otros modelos lingüísticos, phi-4puede comportarse de maneras injustas, poco fiables u ofensivas. Algunos de los comportamientos limitantes que hay que tener en cuenta son los siguientes:

• Calidad del servicio: el modelo se entrena principalmente con texto en inglés. Los idiomas distintos del inglés tendrán un peor rendimiento. Las variedades del idioma inglés con menos representación en los datos de entrenamiento podrían tener un peor rendimiento que el inglés estadounidense estándar. phi-4no está diseñado para admitir el uso en varios idiomas.

• Representación de daños y perpetuación de estereotipos: estos modelos pueden sobrerrepresentar o subrepresentar a grupos de personas, eliminar la representación de algunos grupos o reforzar estereotipos degradantes o negativos. A pesar de la seguridad posterior al entrenamiento, estas limitaciones aún pueden estar presentes debido a los diferentes niveles de representación de diferentes grupos o la prevalencia de ejemplos de estereotipos negativos en los datos de entrenamiento que reflejan patrones del mundo real y sesgos sociales.

• Contenido inapropiado u ofensivo: estos modelos pueden producir otros tipos de contenido inapropiado u ofensivo, lo que puede hacer que no sea apropiado implementarlos en contextos sensibles sin mitigaciones adicionales que sean específicas para el caso de uso.

• Confiabilidad de la información: Los modelos de lenguaje pueden generar contenido sin sentido o fabricar contenido que podría parecer razonable pero que es inexacto u obsoleto.

• Alcance limitado para el código: la mayoría de phi-4los datos de entrenamiento se basan en Python y utilizan paquetes comunes como typing, math, random, collections, datetime, itertools. Si el modelo genera scripts de Python que utilizan otros paquetes o scripts en otros lenguajes, recomendamos encarecidamente que los usuarios verifiquen manualmente todos los usos de la API.

Consideraciones Éticas y de Seguridad

Directrices de Seguridad

• Se recomienda encarecidamente utilizar servicios de seguridad como Azure AI Content Safety, que cuentan con medidas de seguridad avanzadas. Las áreas importantes a tener en cuenta incluyen:

  • Asignación: Los modelos pueden no ser adecuados para escenarios que podrían tener un impacto consecuente en el estatus legal o la asignación de recursos u oportunidades de vida (por ejemplo, vivienda, empleo, crédito, etc.) sin evaluaciones adicionales y técnicas de eliminación de sesgos.

  • Escenarios de alto riesgo: los desarrolladores deben evaluar la idoneidad de utilizar modelos en escenarios de alto riesgo en los que los resultados injustos, poco fiables u ofensivos podrían resultar extremadamente costosos o provocar daños. Esto incluye brindar asesoramiento en ámbitos sensibles o especializados en los que la precisión y la fiabilidad son fundamentales (por ejemplo, asesoramiento jurídico o sanitario). Se deben implementar salvaguardas adicionales a nivel de la aplicación según el contexto de implementación.

  • Desinformación: los modelos pueden generar información inexacta. Los desarrolladores deben seguir las mejores prácticas de transparencia e informar a los usuarios finales de que están interactuando con un sistema de IA. A nivel de aplicación, los desarrolladores pueden crear mecanismos de retroalimentación y canales para fundamentar las respuestas en información contextual específica del caso de uso, una técnica conocida como Generación Aumentada de Recuperación (RAG).

  • Generación de contenido dañino: los desarrolladores deben evaluar los resultados para su contexto y utilizar clasificadores de seguridad disponibles o soluciones personalizadas apropiadas para su caso de uso.

  • Mal uso: pueden ser posibles otras formas de mal uso, como fraude, spam o producción de malware, y los desarrolladores deben asegurarse de que sus aplicaciones no violen las leyes y regulaciones aplicables.