mongodb-user
[Arriba] [Todas las Listas]

Re: [mongodb-Usuario] consiguiendo writeError (mongo/util/concurrency/rw

To: mongodb-user <mongodb-user@xxxxxxxxxxxxxxxx>
Subject: Re: [mongodb-Usuario] consiguiendo writeError (mongo/util/concurrency/rwlock.h:204) durante masivo insertar archivos a mongoDB con gridfs
From: "'Asya Kamsky' via mongodb-user" <mongodb-user@xxxxxxxxxxxxxxxx>
Date: Thu, 10 Aug 2017 06:55:09 -0700
Arc-authentication-results: i=2; gmr-mx.google.com; dkim=pass header.i=@mongodb.com header.s=google header.b=VKMKEBWn; spf=pass (google.com: domain of asya.kamsky@xxxxxxxxx designates 2a00:1450:400c:c09::230 as permitted sender) smtp.mailfrom=asya.kamsky@xxxxxxxxx; dmarc=pass (p=REJECT sp=REJECT dis=NONE) header.from=mongodb.com
Arc-authentication-results: i=1; gmr-mx.google.com; dkim=pass header.i=@mongodb.com header.s=google header.b=VKMKEBWn; spf=pass (google.com: domain of asya.kamsky@xxxxxxxxx designates 2a00:1450:400c:c09::230 as permitted sender) smtp.mailfrom=asya.kamsky@xxxxxxxxx; dmarc=pass (p=REJECT sp=REJECT dis=NONE) header.from=mongodb.com
Arc-message-signature: i=2; a=rsa-sha256; c=relaxed/relaxed; d=google.com; s=arc-20160816; h=list-unsubscribe:list-subscribe:list-archive:list-help:list-post :list-id:mailing-list:precedence:reply-to:to:subject:message-id:date :from:references:in-reply-to:mime-version:arc-authentication-results :arc-message-signature:dkim-signature:arc-authentication-results; bh=lmAsefAzZmk6KVdXDKVl11FUpiQROPiSZ7o+DvM7v7w=; b=VG9Cu0j0pQFfS4bTdjLJGJeQvFbBGT+NOsjXwf9fLK1+5t3IzCdLfJmHUJ9y2y6GHV Yj7+0WP2P+BunPFPT1Wbfrri794SvUc++n1AhkH3ym6DXCODzQYSl0DvOSSC4jkrsj3H nk5apiFdQdd4h+0rrsdCNDhaIJylDjr1y7gJTvw/sn3d9iXe7qLnj3Gu5s2yNGvBvW1k whAP8UJ8QznMc/gU9jnGoAZiqmf69LyY2trQZ5/ML6EY48dmUD9FhrJI05Mc8Poz8N4n ulv+4I3sIBKOdfiKb8nbKlj5ioD5pNQMm5dLkZGbWo04adJbCpzM34uW7z0daF37XAFr Jn+w==
Arc-message-signature: i=1; a=rsa-sha256; c=relaxed/relaxed; d=google.com; s=arc-20160816; h=to:subject:message-id:date:from:references:in-reply-to:mime-version :dkim-signature:arc-authentication-results; bh=e7MGf0YdmaxBsdjB3vBhiwRaxtrHD06XIgScQXTxE1E=; b=EOlqMxFPNdmGvZK3wW4koHg+U+HMXppCCy3g38lPM/bqd3H0uV2U6m8GdG5stY3Pra PuO2ZdgJWDq+5+Gf7NQY3gvezhDN2RuQLPuvybwWLkTtWLUmb2ejL9j9GbC7VrPPz95r jODbNksl4lhaEPBGUEWW2FybAWc4toMH5Y+45t8fOIF+RqYdyZSh7FtUIOql7Ra8TUkr Qo5zbU8UU7lKcqhXvOmujOoTyVFkH0B58jd4l8CPnX5TRlNDuZ0cp8PnDz8cDGnX4yOV Ji52ImvEO2ErE3rCKxJWyhdEr3jIpbODafoQVt1iky38zBzUdT/PpXnuhY5Q7kcRbj6V qccA==
Arc-seal: i=2; a=rsa-sha256; t=1502373316; cv=pass; d=google.com; s=arc-20160816; b=ao8eBNn/49hLV3j4iWihzTuwsGH+zBB1TorkVTvgpcFE3S3dC9Aye2YVhqU2+myWOF iPNh3fIPbsr4+FpWH/yDrxMdszU0ebGTxTzyl1bE+s64kmZyB65Wn5/KGahU/QoKZG8j NTzD5n1kTB0376deljRgm86/GUNKnxW+0XARP5WwlRczpdDNo8/wcEtC4miu6lD8R2Zz O1lVApGEVJnnb8WG0hpp4SXNZoJjYUzvjkj/n33F7MViGDK5rUACeE5lDrpL1HvcaUTH ypnwjqqmndQ8C0D+SjGY0D1TjB/YuU6NyYpi26gdraKZ8QaOlNE1ukO4KCPIDptrTgis qWxQ==
Arc-seal: i=1; a=rsa-sha256; t=1502373310; cv=none; d=google.com; s=arc-20160816; b=prTUwAEplTKy23v/nqZIpLBklmQCNP+Rb5WzZQ8gL1ptk25leR9ezbV2MFRJZs8rRS iwEzMZnmiGeVTYxeRn84BcC8H4JhZs88f0sDgAL4hrMhGkCCddUJFKdHvNsGI+lV8+g8 uuM1U/IMs1z+UIBgcKvm/Ul+vh7hJhXdbm7Qor0gh5+5pKlNZwKjICk++IKBd4yyFdZd yuvIDgr4CANkYDGsdFq5zuAz6JV1qRNPOds3mKcWN/3zI7SXkOxYZ1Ch8aGjr/2UBckC lgToxFn4HVp8mUbTHIL1OstbSM9xO2l7/RrUl7agqIBw48C7hOsVZHOx5c1G2p5jvUgh QrOA==
Delivery-date: Thu, 10 Aug 2017 09:55:22 -0400
Dkim-signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=googlegroups.com; s=20161025; h=mime-version:in-reply-to:references:from:date:message-id:subject:to :x-original-sender:x-original-authentication-results:reply-to :precedence:mailing-list:list-id:list-post:list-help:list-archive :list-subscribe:list-unsubscribe; bh=lmAsefAzZmk6KVdXDKVl11FUpiQROPiSZ7o+DvM7v7w=; b=ms78oPjs9ZriRyyTGhdEZiDcx+xKbLKCU6SSbr19bpb8d45gMpIVs+PgFioAwmocjo yzWuTXRTNlxEQ6nKc1q5XSR9D40ys1hWqho7B/GnZWdpH4ubd2EbTxTT9yRNkwWLk2C0 jATdPUBBAKaugCSfWkuiH5Y6qsMVXnJKPtYA4njW0BPV7oG2TKWcYyDamlKEW5kNGZY7 DJ4U5sIu5fS8/MBniyvvXFdXM/A8pL6DHkyHc/r1q3q98Xk/5E/QgE7Ex/vqTs5+esxi FG4+S1bnb8mFOcNBq1L2cuUaz8JqZF/sC/1FBln88MTLJZsYm01qzNPcIHLpJnard7at T6ug==
Envelope-to: traductor@xxxxxxxxxxx
In-reply-to: <797c142a-1015-4fe0-82bb-a51ec8ad22ff@googlegroups.com>
List-archive: <https://groups.google.com/group/mongodb-use>
List-help: <https://groups.google.com/support/>, <mailto:mongodb-user+help@googlegroups.com>
List-id: <mongodb-user.googlegroups.com>
List-post: <https://groups.google.com/group/mongodb-user/post>, <mailto:mongodb-user@googlegroups.com>
List-subscribe: <https://groups.google.com/group/mongodb-user/subscribe>, <mailto:mongodb-user+subscribe@googlegroups.com>
List-unsubscribe: <mailto:googlegroups-manage+1044811755470+unsubscribe@googlegroups.com>, <https://groups.google.com/group/mongodb-user/subscribe>
Mailing-list: list mongodb-user@xxxxxxxxxxxxxxxx; contact mongodb-user+owners@xxxxxxxxxxxxxxxx
References: <797c142a-1015-4fe0-82bb-a51ec8ad22ff@googlegroups.com>
Reply-to: mongodb-user@xxxxxxxxxxxxxxxx
Podrías mirar en el **mongod* *logs para ver lo que dice.  Podría ser que
eres fuera de algún recurso en el sistema.

*Asya


En *Wed, *Aug 9, 2017 en 1:43 AM, <roman.koblents@xxxxxxxxx> escribió:

> *Hi, Todo!
>
> Un tener una bruja de guión de la pitón toma una lista enorme de imágenes y moverles en
> un círculo a *mongoDB utilizando *gridfs (almacena archivos en dos *mongoDB
> colecciones, archivos y *chunks).
> Después de que pocos millares de transferencias exitosas estoy empezando para conseguir siguiendo
> error:
>
> *assertion *C:\dato\*mci\77*b70*aa30*ca8170*c4*ee9abeja2*ba42*cf1*f\*src\*src\*mongo/*util/
> *concurrency/*rwlock.*h:204
>
> intenté depurarlo y mira, que acontece falla durante *chunk
> inserta, pero por qué esto pasa no sé.
> Pruebo guión en mi local *mongoDB y aquí es un código en pitón, el cual utilizo
>
> importación *pymongo
> de *pymongo importación *MongoClient
> importación *gridfs
>
>
> *fs = *gridfs.*GridFS(*db)
>
>
> Para imagen en lista_de imágenes:
>
>   con abierto(*vers['camino'], '*rb') como *fileObj:
>     prueba:
>         # prueba:
>         prueba:
>             verja_en = *fs.Archivonuevo(*filename=imagen[1]['nombre'],
>                                   *metadata"#unknown{^*imageId": imagen[1]['_*id'],
>                                             "versión": versión})
>             verja_dentro.Escribe(*fileObj)
>             archiva_*id = verja_dentro._*id
>         Finalmente:
>             verja_dentro.Cercano()
>
>
>   excepto *pymongo.Errores.*WriteError Cuando nosotros:
>     impresión('%*s %*s:%*s' % (imagen[1]['_*id'], nosotros, *vers['camino']))
>     verja_dentro.Aborta()
>     continúa
>
>
> *fileObj.Cerrado
>
>
>
>
> yo también probado *gridfs.Puesto en vez de archivonuevo y escribir y también *GridFSBucket.Abierto_*upload_corriente y *GridfsBuscket.*upload_De_corriente - resultado siempre igual.
>
> Desde algún momento estoy consiguiendo error, el cual un mencionado encima
>
>
>  sabes por qué esto pasa y cómo puede lo soluciono?
>
>
> O quizás al menos puedes contestar siguiendo cuestión:
>
>
> - puede ser algunos problemas debido a insertar las mismas imágenes poco tiempo? O imágenes con mismo *filename?
>
> - Lo #poder ser error debido a acceso a *mongoDB (cerradura *mechanizm o *smth) y cómo puede yo entonces lo cambia para evitar cualesquier conflictos?
>
>
> Si tienes algunos otras ideas, ellos todos son *welcome.
>
>
> *Thank te!
>
> --
> Recibiste este mensaje porque eres *subscribed al *Google Grupos
> "*mongodb-grupo"
> de usuario.
>
> Para otro *MongoDB opciones de apoyo técnico, ve:
> *https://*docs.*mongodb.*com/Apoyo/manual/
> ---
> recibiste este mensaje porque eres *subscribed al *Google Grupos
> "*mongodb-grupo" de usuario.
> A *unsubscribe de este grupo y la parón que recibe *emails de él, enviar un
> *email a *mongodb-usuario+unsubscribe@xxxxxxxxxxxxxxxx.
> A correo a este grupo, envía *email a *mongodb-user@xxxxxxxxxxxxxxxx.
> Visita este grupo en *https://grupos.*google.*com/Grupo/*mongodb-usuario.
> Para ver esta discusión en la visita de web *https://grupos.*google.*com/*d/
> *msgid/*mongodb-Usuario/797*c142un-1015-4*fe0-82*bb-#uno51*ec8anuncio22*ff%40*googlegroups.*com
> <*https://Grupos.*google.*com/*d/*msgid/*mongodb-Usuario/797*c142un-1015-4*fe0-82*bb-#uno51*ec8anuncio22*ff%40*googlegroups.*com?*utm_Medio=*email&*utm_fuente=*footer>
> .
> Para más opciones, visita *https://grupos.*google.*com/*d/*optout.
>



-- 
*Asya *Kamsky
Director de Producto de la ventaja
*MongoDB
Descarga *MongoDB - *mongodb.*org/Descarga
estamos Contratando! - *https://Www.mongodb.com/carreras

-- 
recibiste este mensaje porque eres *subscribed al *Google Grupos "*mongodb-grupo"
de usuario.

Para otro *MongoDB opciones de apoyo técnico, ve: *https://*docs.*mongodb.*com/Apoyo/manual/
--- 
recibiste este mensaje porque eres *subscribed al *Google Grupos "*mongodb-grupo" de usuario.
A *unsubscribe de este grupo y la parón que recibe *emails de él, enviar un *email a *mongodb-usuario+unsubscribe@xxxxxxxxxxxxxxxx.
A correo a este grupo, envía *email a *mongodb-user@xxxxxxxxxxxxxxxx.
Visita este grupo en *https://grupos.*google.*com/Grupo/*mongodb-usuario.
Para ver esta discusión en la visita de web *https://grupos.*google.*com/*d/*msgid/*mongodb-Usuario/*CAOe6*dJA9*MGQ1*bJABs%2*Br06quién4*wWf4*oY1*UoikEKncyhTAUufVoQ%40correo.*gmail.*com.
Para más opciones, visita *https://grupos.*google.*com/*d/*optout.
You might look in the *mongod* logs to see what it says.  It might be that
you are out of some resource on the system.

Asya


On Wed, Aug 9, 2017 at 1:43 AM, <roman.koblents@xxxxxxxxx> wrote:

> Hi, All!
>
> A have a python script witch takes a huge list of images and move them in
> a circle to mongoDB using gridfs (it stores files in two mongoDB
> collections, files and chunks).
> After few thousands of successful transfers I am starting to get following
> error:
>
> assertion C:\data\mci\77b70aa30ca8170c4ee9bee2ba42cf1f\src\src\mongo/util/
> concurrency/rwlock.h:204
>
> I tried to debug it and it looks, that it becomes fail during chunk
> insert, but why this happens I don't know.
> I test script on my local mongoDB and here is a code on python, which I use
>
> import pymongo
> from pymongo import MongoClient
> import gridfs
>
>
> fs = gridfs.GridFS(db)
>
>
> for image in images_list:
>
>   with open(vers['path'], 'rb') as fileObj:
>     try:
>         # try:
>         try:
>             grid_in = fs.new_file(filename=image[1]['name'],
>                                   metadata={"imageId": image[1]['_id'],
>                                             "version": version})
>             grid_in.write(fileObj)
>             file_id = grid_in._id
>         finally:
>             grid_in.close()
>
>
>   except pymongo.errors.WriteError as we:
>     print('%s %s:%s' % (image[1]['_id'], we, vers['path']))
>     grid_in.abort()
>     continue
>
>
> fileObj.closed
>
>
>
>
> I also tried gridfs.put instead of new_file and write and also GridFSBucket.open_upload_stream and GridfsBuscket.upload_from_stream - result always the same.
>
> Since some moment I am getting error, which a mentioned above
>
>
> Do you know why this happens and how can I solve it?
>
>
> Or maybe you can at least answer following question:
>
>
> - can be some problems because of inserting the same images few times? or images with same filename?
>
> - can it be error because of access to mongoDB (lock mechanizm or smth) and how can I then change it to avoid any conflicts?
>
>
> If you have some other ideas, they all are welcome.
>
>
> Thank you!
>
> --
> You received this message because you are subscribed to the Google Groups
> "mongodb-user"
> group.
>
> For other MongoDB technical support options, see:
> https://docs.mongodb.com/manual/support/
> ---
> You received this message because you are subscribed to the Google Groups
> "mongodb-user" group.
> To unsubscribe from this group and stop receiving emails from it, send an
> email to mongodb-user+unsubscribe@xxxxxxxxxxxxxxxx.
> To post to this group, send email to mongodb-user@xxxxxxxxxxxxxxxx.
> Visit this group at https://groups.google.com/group/mongodb-user.
> To view this discussion on the web visit https://groups.google.com/d/
> msgid/mongodb-user/797c142a-1015-4fe0-82bb-a51ec8ad22ff%40googlegroups.com
> <https://groups.google.com/d/msgid/mongodb-user/797c142a-1015-4fe0-82bb-a51ec8ad22ff%40googlegroups.com?utm_medium=email&utm_source=footer>
> .
> For more options, visit https://groups.google.com/d/optout.
>



-- 
Asya Kamsky
Lead Product Manager
MongoDB
Download MongoDB - mongodb.org/downloads
We're Hiring! - https://www.mongodb.com/careers

-- 
You received this message because you are subscribed to the Google Groups "mongodb-user"
group.

For other MongoDB technical support options, see: https://docs.mongodb.com/manual/support/
--- 
You received this message because you are subscribed to the Google Groups "mongodb-user" group.
To unsubscribe from this group and stop receiving emails from it, send an email to mongodb-user+unsubscribe@xxxxxxxxxxxxxxxx.
To post to this group, send email to mongodb-user@xxxxxxxxxxxxxxxx.
Visit this group at https://groups.google.com/group/mongodb-user.
To view this discussion on the web visit https://groups.google.com/d/msgid/mongodb-user/CAOe6dJA9MGQ1bJABs%2Br06wHO4wWf4oY1UoikEKncyhTAUufVoQ%40mail.gmail.com.
For more options, visit https://groups.google.com/d/optout.
<Anterior por Tema] Tema Actual [Siguiente por Tema>