Local blog for Spanish speaking developers in LATAM
Blog de Google AI; Smart Compose: Uso de redes neuronales para la redacción de correos electrónicos
viernes, 25 de mayo de 2018
Publicado por Yonghui Wu, ingeniero principal, equipo de Google Brain
La semana pasada, en
Google I/O
, presentamos
Smart Compose
: una nueva función en Gmail que usa aprendizaje automático a fin de ofrecer, de forma interactiva, sugerencias para completar oraciones a medida que escribes, lo que te permite crear borradores de correos electrónicos rápidamente. Smart Compose, creado con tecnología desarrollada para
Smart Reply
, ofrece una nueva manera de ayudarte a redactar mensajes, ya sea para responder un correo electrónico entrante o escribir uno nuevo desde el principio.
Durante el desarrollo de Smart Compose, enfrentamos algunos desafíos claves:
Latencia:
debido a que Smart Compose proporciona predicciones según la pulsación de teclas, lo ideal es que responda dentro de 100 ms para que el usuario no note demoras. Equilibrar la complejidad del modelo y la velocidad de interferencia fue un aspecto crucial.
Escalamiento:
Gmail tiene más de 1400 millones de usuarios. A fin de poder proporcionar una función de compleción automática que resulte útil para todos los usuarios de Gmail, el modelo debe tener la capacidad de modelado suficiente para poder realizar sugerencias personalizadas en contextos ligeramente diferentes.
Equidad y privacidad:
al desarrollar Smart Compose, debimos abordar las causas de posibles compensaciones en el proceso de preparación y cumplir con las mismas normas estrictas de privacidad del usuario de Smart Reply, para lo cual tuvimos que asegurarnos de que nuestros modelos nunca expusieran la información privada del usuario. Además, los investigadores no pudieron acceder a correos electrónicos, lo cual significó que debieron desarrollar y preparar un sistema de aprendizaje automático para trabajar en conjuntos de datos que ellos mismos no pueden leer.
Búsqueda del modelo correcto
Los modelos típicos de generación de lenguaje, como los de
ngram
,
bolsa de palabras neuronal
(BoW) y
lenguaje RNN
(RNN-LM), aprenden a predecir la siguiente palabra según la secuencia de palabras que la anteceden. No obstante, en un correo electrónico las palabras que ya escribió el usuario en la sesión de redacción actual de este son solo una “señal” que un modelo puede usar para predecir la siguiente palabra. Para incorporar más contexto sobre lo que el usuario quiere decir, nuestro modelo también está condicionado por el asunto del correo electrónico y el cuerpo del correo electrónico anterior (si el usuario responde a un correo electrónico entrante).
Un enfoque para incluir ese contexto adicional consiste en detectar el problema como una tarea de traducción automática de un
modelo secuencial
(seq2seq), en la cual la secuencia de origen es la concatenación del asunto y el cuerpo del correo electrónico anterior (si hubiera uno), y la secuencia de destino es el correo electrónico actual que el usuario está redactando. Si bien este enfoque funcionó bien en términos de calidad de la predicción, no pudo satisfacer nuestras limitaciones estrictas de latencia en varios órdenes de magnitud.
Para mejorar esto, combinamos un modelo BoW con uno RNN-LM, que es más rápido que los modelos seq2seq, y se hizo un pequeño sacrificio en la calidad de predicción del modelo. En este enfoque híbrido, codificamos el asunto y el correo electrónico previo promediando la
incorporación de palabras
en cada campo. Luego unimos esas incorporaciones promediadas y las insertamos en el modelo secuencial de destino RNN-LM en cada paso de decodificación, como se muestra en el diagrama del modelo, a continuación.
Arquitectura del modelo RNN-ML de Smart Compose El asunto y el correo electrónico previo se codifican promediando la incorporación de palabras en cada campo. Luego, las incorporaciones promediadas se insertan en el modelo RNN-LM en cada paso de decodificación.
Aceleración de la preparación y del servicio del modelo
Por supuesto, una vez que decidimos seguir este enfoque de modelado, todavía debíamos ajustar varios hiperparámetros de modelos y preparar los modelos con miles de millones de ejemplos, lo que puede llevar mucho tiempo. Para acelerar el procedimiento, realizamos experimentos con un
pod TPUv2
. De este modo, podemos preparar un modelo por completo en menos de un día.
Incluso después de preparar nuestro modelo híbrido más rápido, la versión inicial de Smart Compose en una CPU estándar tuvo una latencia de servicio de cientos de milisegundos, lo que aún es inaceptable de cara a un futuro en el que se apunta a ahorrar tiempo para los usuarios. Por suerte, también se pueden usar TPU en el punto de interferencia para acelerar enormemente la experiencia del usuario. Al descargar la totalidad de los cómputos en TPU, mejoramos la latencia promedio a decenas de milisegundos y también aumentamos notablemente la cantidad de solicitudes que puede abordar una sola máquina.
Equidad y privacidad
La equidad en el aprendizaje automático
es muy importante, ya que los modelos de comprensión de lenguaje pueden reflejar sesgos cognitivos humanos que generen asociaciones de palabras no deseadas y oraciones mal completadas. Como señalan Caliskan y otros en su ensayo reciente: “
La semántica derivada automáticamente de cuerpos lingüísticos contiene sesgos similares a los humanas
”; estas asociaciones están profundamente enredadas en datos del lenguaje natural, lo que representa un desafío importante para la compilación de cualquier modelo de lenguaje. Investigamos activamente formas de continuar reduciendo los posibles sesgos en nuestros procedimientos de preparación. Asimismo, debido a que Smart Compose se prepara con miles de millones de frases y oraciones, tal como lo hacen los modelos de aprendizaje automático de spam, hemos realizado muchas pruebas para asegurarnos de que nuestro modelo solo memorice las frases comunes que utilizan varios usuarios, para lo que nos basamos en los hallazgos de
este documento
.
Trabajo a futuro
Trabajamos constantemente con el objetivo de mejorar la calidad de sugerencia del modelo de generación de lenguaje, para lo cual aplicamos arquitecturas de última generación (como
Transformer
y
RNMT+
, entre otras) y experimentamos con las técnicas de preparación más recientes y avanzadas. Una vez que logremos atenernos a nuestras estrictas limitaciones de latencia, implementaremos esos modelos más avanzados para producción. También estamos trabajando para incorporar a nuestro sistema modelos de lenguaje personales, diseñados para emular con mayor precisión el estilo de escritura de una persona.
Agradecimientos
El modelo de generación de lenguaje Smart Compose fue desarrollado por Benjamin Lee, Mia Chen, Gagan Bansal, Justin Lu, Jackie Tsay, Kaushik Roy, Tobias Bosch, Yinan Wang, Matthew Dierker, Katherine Evans, Thomas Jablin, Dehao Chen, Vinu Rajashekhar, Akshay Agrawal, Yuan Cao, Shuyuan Zhang, Xiaobing Liu, Noam Shazeer, Andrew Dai, Zhifeng Chen, Rami Al-Rfou, DK Choe, Yunhsuan Sung, Brian Strope, Timothy Sohn, Yonghui Wu y muchos más.
Labels
.app
.dev
.txt
#AMP
#CPU
#DeveloperStudentClubs
#DevFest
#DragonBall
#DSC
#Forsety
#ForsetySecurity
#freeandopen
#GCP
#Google
#GoogleCloud
#GoogleCloudPlatform
#GoogleLaunchpad
#iio2009
#Kubernetes
#MaterialDesign
#OneCommunity
#Security
#TensorFlow
#UPGlobal
#UpLatam
#WithGoogle
+page
10 YEARS
2013
2019
64 bits
A/B Testing
AA
Accelerator
Action on Goolge
actionbar
Actions
Actions Console
AdMob
Ads
adwords
adwords api
AI
AIY
ajax
alarmmanager
ALFA
almacenamiento
alojamiento de proyectos en google code
AMP
AMP Conf
AMP Project
amp-date-picker
amphtml
Analytics
Andorid
android
Android (operating System)
Android 3.1
android 3.3
android 4.2
android 9
Android 9 Pie
Android App Bundle
android design
Android Dev Summit
Android Developers
android Jetpack
Android P
Android SDK
Android Studio
Android Things
Android Wear
AndroidDevStory
androititlan
angelina jolie
Annotation
Announcements
anuncios
API
API Analytics YouTube
Apigee
APIs
Aplicaciones
aplicaciones chrome
app
app engine
App Indexing
app invites
App Server
applications
AppQuality
apps
Apps Script
AR
ARCore
arte
ATLAS
AWP
backend
Base64
batch
Bava
Betatesting
Better Ads Standars
bigdata
BigQuery
Biometrics
blink
bootcamp
BOT
BQ
Business
búsqueda ajax
by Google
byCases
byCommunity
byDevelopers
byGoogle
C++
CALENDAR
Cardboard
case
caso de éxito
Casos de éxito
casos destacados
CCOSS
Century Fox
chat
chrome
chrome web store
chromebook
chromecast
chromium
Cinéfilos
cloud
Cloud Anchors
CLOUD endpoints
Cloud Firestore
Cloud Functions
Cloud IoT Core
Cloud Next
Cloud Scheduler
Cloud services
cloud test lab
Cloud Text-to-Speech
Cloud Translation
CMD en vivo
coconut
code
code-in
code.org
CodeLabs
código
código abierto
Colab
colombia
Communities
Comunidades
concurso google
conference
contenedores
convocatoria
Coordinate
crashlytics
CRE
crear aplicaciones ajax
creatividad
Crowdsource
CSS
cws
daniela robles
dart
dart sdk
dartium
dartlang
Dataset
DCL
denis labelle
desarrolladores
Desarrolladores Google
desarrolladores LatAm
Desarrollar
Design
Design Sprint
Destacados
dev
Dev.f
DevArt
DevBus
DevBusLatAm
Developer Bus
Developer Summit
DeveloperConsole
developers
DevFest
devoxx
dialogflow
diseño UX
Distribuir
DNS
DOM
domain
DonkeyCar
doubleclick
Drive SDK
Drivers
ecommerce
ecosistema
elections
elizalde
Emoticons
emprendedores
empresas
engagement
english
Enhanced Campaigns
enterprise
eventos
Events
evolución de aplicaciones
Excel
ExpertosDicen
Faas
Family
FanBridge
FCM
FCP
Featured
fido
find people
Fintech
firebase
Firebase Cloud Messaging
firebase summit
flu trends
Flutter
Flutter 1.0
flutter 1.7
flutter developers
Flutter Live
FlutterLive
FoundersLab
Freebase
Fuction
Fuctions
Full-Stack
functional programming
G Suite Dev Show
G+
g+ goto gal
G+GotoGal
GAE
game
games
GCloud
gcm
GCP
GCS
GDA
GDE
GDG
GDH
GDL
GDLevent
GDS
Get Inspired
get.app
GitHub
GLP
gmail
golang
GOMO
Google
Google Accelerator
Google AdMob SDK
Google AdWords
Google Analytics
Google APIS
Google App Engine
Google Apps
Google Apps Script
Google Art Project
Google Assistant
google calendar
google cast
Google Charts
Google Chrome
Google Cloud
Google Cloud Console
Google Cloud Messaging
Google Cloud Next
Google Cloud Platform
Google Cloud Platform Newsletter
google cloud platforn
Google Cloud Storage
google code-in
Google Compute Engine
Google Dataset
Google Developer Groups
google developers
Google Developers Academy
google developers expert
Google Developers Hackademy
google dns
Google Drawings
Google Drive
Google Earth
Google for games
Google Forms
google geo
Google Home
google i/o
google i/o extended
google io
Google Keep
Google Kubernetes Engine
Google Launchapad
Google Launchpad
Google Maps
google maps coordinate
Google Maps Platform
Google Mexico
Google Nose
google now
Google Person Finder
google places api
Google Play
Google Play Books
Google Play Developer API
google play games
Google Play Movies
Google Play Protect
Google Play Services
Google Plus
Google Science Fair
google search
Google Sheets
google sign in
Google Top Geek
Google+
Google+ Communities
Google+ Hangouts
google+ sign-in
GoogleAPI
googlecloud storage
GoogleCloudPlatform
googledevs
GooglePlay
Googleplex
Goolge Lunchpad
GTG
Hackademy
hackers
Haiko
Haití
hangouts
Hangouts Remote Desktop
hardcode
Heello
honeycomb
HTML
HTML5
HTTPS
I/O
IA
IAM
IETF
IFAI
in app purchases
in-app
ingles
Ingress
instagram
integración de soluciones
interactive post
Interesante
International
International Women’s Day
IO
io15
io18
io19
iOS
IoT
istio
IU
IVR
J2EE
java
JavaScript
jelly bean
JS
JSON
Juegos
juegos html5
Kit ML
Knative
kotlin
kUBERNATES
Kubernetes
LATAM
latamRegionSur
Launchpad
Launchpad Studio
Lenovo Mirage Solo
lightbox
linux
lucero galindo
machine learning
Made with Code
Mapdata
Mapeo
maps
Maps Ad Unit
Maps API
Maps Engine
Market
Marketing
Marshmallow
MATERIAL DESIG
Material Design
mejores apps 2013
México
michelle marie
MIT
MIT Global Start-up Labs
MIT-AITI
ML
ML Kit
mobile
monetizar
mongoDB
MOOC
Motorola
Mountain View
móvil
MQTT
mr.white
mTLS
natalie villalobos
Navigation
NBA JAM
NES
Next Big Sound
Next Level
nfc
Niantic
Nik
NINTENDO
node.js
NoSQL
nube
OAuth2
Objective-C
OClock
open source
OPenApi
OS
OSS
Paas
PageSpeed
PagesSpeed
parallel18
patrones
patters
performance
permisos
Pipeline API
Pixability
pixel
Píxel
play
Play Console
Playtime
Podcast
pollito pio
Polymer
por lote
Posse
Prediction API
primer
Producto
programación
Propositos
Protocol Buffers
proyecto 20%
Push API
PYMES
python
Q
Q4
quickoffice
Rasberry Pi Zero WH
Raspberry Pi
Realtime
Reflectly
register
Release
Resources
robots.txt
Safe
SDK
Search
Security
seedbank
seguridad
SEO
servidores
Showyou
sign-in
SNES
SO
social media
Spain
SpLATAM
SQL
SQLite
Start
startup grind
Startup Launch
startup weekend
startup weekend for the planet
startupbus
startups
StayAtHome
story
Street View
subtitles
success
sw
SyScan
tablet
Tablet Optimization Tips
tabletas
takeaction
Tango
tendencias 2013
TensorFlow Developer Summit
testing
TextView
TF JAM
The Garage
The Venture City
tips G+
tips gmail
TLD
TLS
Top Experts
Top Geek
top level domain
TopExpert
topics
traducciones
Transparency Report
triggers
Tubular Labs
twilio
Tyka
TypeScript
UAC
udacity
ui
Umbrales
UNAM
unity
Unity3D
universal search
UX
Vector
VectorDrawable
video juegos
vidIQ
ViewPager
Visual Progress
Voicekit
VPC
VR
VSCode
web
Web hosting
Web móvil
WebAssembly
with google
Wizdeo
WizTracker
Women at Google
Women Techmakers
workmanager
WTM
XKCD
XML
Yifat Cohen
youtube
YouTube Analytics API
YouTube API
YouTube Data API
YouTube One Channel
YouTube Player API
Archive
2024
sept
2023
nov
oct
sept
ago
jun
may
abr
mar
ene
2022
dic
nov
oct
sept
ago
jul
jun
may
abr
mar
feb
ene
2021
dic
nov
oct
sept
ago
jul
jun
may
abr
mar
feb
2020
dic
nov
oct
sept
ago
jul
jun
may
abr
mar
feb
ene
2019
dic
nov
oct
sept
ago
jun
may
abr
mar
feb
ene
2018
dic
nov
oct
sept
ago
jul
jun
may
abr
mar
feb
2017
nov
sept
ago
jul
jun
may
abr
ene
2016
nov
oct
sept
ago
jul
jun
may
abr
mar
feb
ene
2015
dic
nov
oct
sept
ago
jul
jun
may
abr
mar
feb
ene
2014
dic
oct
sept
ago
jul
jun
may
abr
mar
feb
ene
2013
dic
nov
oct
ago
jul
jun
may
abr
mar
feb
ene
2012
dic
nov
oct
sept
ago
jul
2011
nov
oct
may
mar
2010
dic
nov
oct
sept
ago
jul
jun
may
abr
mar
feb
ene
2009
dic
nov
sept
ago
jul
jun
may
abr
mar
feb
ene
2008
oct
sept
ago
jul
jun
may
abr
mar
feb
ene
2007
dic
Feed
Desarrolladores
Eventos y Comunidad
Casos Destacados
Dicen los Expertos
Google Accelerator