mongodb-user
[Arriba] [Todas las Listas]

[mongodb-Usuario] consiguiendo writeError (mongo/util/concurrency/rwlock

To: mongodb-user <mongodb-user@xxxxxxxxxxxxxxxx>
Subject: [mongodb-Usuario] consiguiendo writeError (mongo/util/concurrency/rwlock.h:204) durante masivo insertar archivos a mongoDB con gridfs
From: roman.koblents@xxxxxxxxx
Date: Wed, 9 Aug 2017 01:43:09 -0700 (PDT)
Delivery-date: Wed, 09 Aug 2017 18:18:59 -0400
Dkim-signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=googlegroups.com; s=20161025; h=sender:date:from:to:message-id:subject:mime-version :x-original-sender:reply-to:precedence:mailing-list:list-id :list-post:list-help:list-archive:list-subscribe:list-unsubscribe; bh=YtFpHt4YpqrnzV/jcMUQie7bAIwedGXfgBi0Lk/uSxE=; b=TbWQWgwEsgxwLfadPplmRijkjmZo/FuGSA7QBEuhfHyzIerR6n8UAU3shHDrJdZ3c2 9ZxDEENDYcgQ6FpP4MlXBMHSzeiu54gZ6bqpi40BUxfws675/AY9RaMlVEDAJk0W4hxG E/7OhBgU+hib63uqfZ18tiKPuafaE+ENWDXyxQG5dofrYDO/Cm9UDG9i2d6RvO7EPWNN HxQaIypniopTQ3qOR6kgj/uzf8rMNzyY4joJdA0VN8NAs2A3EKNHxwx0tFoA2DaJJr/R i6+fvdSGJYzaoc4cEi1vcNOXLGarMRBE7JtEv8uuXhtJaSp4Wi2rVFmwzgoT50uKnhJp tLjA==
Envelope-to: traductor@xxxxxxxxxxx
List-archive: <https://groups.google.com/group/mongodb-use>
List-help: <https://groups.google.com/support/>, <mailto:mongodb-user+help@googlegroups.com>
List-id: <mongodb-user.googlegroups.com>
List-post: <https://groups.google.com/group/mongodb-user/post>, <mailto:mongodb-user@googlegroups.com>
List-subscribe: <https://groups.google.com/group/mongodb-user/subscribe>, <mailto:mongodb-user+subscribe@googlegroups.com>
List-unsubscribe: <mailto:googlegroups-manage+1044811755470+unsubscribe@googlegroups.com>, <https://groups.google.com/group/mongodb-user/subscribe>
Mailing-list: list mongodb-user@xxxxxxxxxxxxxxxx; contact mongodb-user+owners@xxxxxxxxxxxxxxxx
Reply-to: mongodb-user@xxxxxxxxxxxxxxxx
Sender: mongodb-user@xxxxxxxxxxxxxxxx
*Hi, Todo!

Un tener una bruja de guión de la pitón toma una lista enorme de imágenes y moverles en 
un círculo a *mongoDB utilizando *gridfs (almacena archivos en dos *mongoDB colecciones, 
archivos y *chunks).
Después de que pocos millares de transferencias exitosas estoy empezando para conseguir siguiendo 
error:

*assertion 
*C:\dato\*mci\77*b70*aa30*ca8170*c4*ee9abeja2*ba42*cf1*f\*src\*src\*mongo/*util/*concurrency/*rwlock.*h:204

intenté depurarlo y mira, que acontece falla durante *chunk inserta, 
pero por qué esto pasa no sé. 
Pruebo guión en mi local *mongoDB y aquí es un código en pitón, el cual utilizo

importación *pymongo
de *pymongo importación *MongoClient
importación *gridfs


*fs = *gridfs.*GridFS(*db)


Para imagen en lista_de imágenes:

  con abierto(*vers['camino'], '*rb') como *fileObj:
    prueba:
        # prueba:
        prueba:
            verja_en = *fs.Archivonuevo(*filename=imagen[1]['nombre'],
                                  *metadata"#unknown{^*imageId": imagen[1]['_*id'],
                                            "versión": versión})
            verja_dentro.Escribe(*fileObj)
            archiva_*id = verja_dentro._*id
        Finalmente:
            verja_dentro.Cercano()


  excepto *pymongo.Errores.*WriteError Cuando nosotros:
    impresión('%*s %*s:%*s' % (imagen[1]['_*id'], nosotros, *vers['camino']))
    verja_dentro.Aborta()
    continúa


*fileObj.Cerrado




yo también probado *gridfs.Puesto en vez de archivonuevo y escribir y también *GridFSBucket.Abierto_*upload_corriente y *GridfsBuscket.*upload_De_corriente - resultado siempre igual. 

Desde algún momento estoy consiguiendo error, el cual un mencionado encima


 sabes por qué esto pasa y cómo puede lo soluciono?


O quizás al menos puedes contestar siguiendo cuestión:


- puede ser algunos problemas debido a insertar las mismas imágenes poco tiempo? O imágenes con mismo *filename?

- Lo #poder ser error debido a acceso a *mongoDB (cerradura *mechanizm o *smth) y cómo puede yo entonces lo cambia para evitar cualesquier conflictos? 


Si tienes algunos otras ideas, ellos todos son *welcome. 


*Thank te!

-- 
Recibiste este mensaje porque eres *subscribed al *Google Grupos "*mongodb-grupo"
de usuario.

Para otro *MongoDB opciones de apoyo técnico, ve: *https://*docs.*mongodb.*com/Apoyo/manual/
--- 
recibiste este mensaje porque eres *subscribed al *Google Grupos "*mongodb-grupo" de usuario.
A *unsubscribe de este grupo y la parón que recibe *emails de él, enviar un *email a *mongodb-usuario+unsubscribe@xxxxxxxxxxxxxxxx.
A correo a este grupo, envía *email a *mongodb-user@xxxxxxxxxxxxxxxx.
Visita este grupo en *https://grupos.*google.*com/Grupo/*mongodb-usuario.
Para ver esta discusión en la visita de web *https://grupos.*google.*com/*d/*msgid/*mongodb-Usuario/797*c142un-1015-4*fe0-82*bb-#uno51*ec8anuncio22*ff%40*googlegroups.*com.
Para más opciones, visita *https://grupos.*google.*com/*d/*optout.
Hi, All!

A have a python script witch takes a huge list of images and move them in a 
circle to mongoDB using gridfs (it stores files in two mongoDB collections, 
files and chunks).
After few thousands of successful transfers I am starting to get following 
error:

assertion 
C:\data\mci\77b70aa30ca8170c4ee9bee2ba42cf1f\src\src\mongo/util/concurrency/rwlock.h:204

I tried to debug it and it looks, that it becomes fail during chunk insert, 
but why this happens I don't know. 
I test script on my local mongoDB and here is a code on python, which I use

import pymongo
from pymongo import MongoClient
import gridfs


fs = gridfs.GridFS(db)


for image in images_list:

  with open(vers['path'], 'rb') as fileObj:
    try:
        # try:
        try:
            grid_in = fs.new_file(filename=image[1]['name'],
                                  metadata={"imageId": image[1]['_id'],
                                            "version": version})
            grid_in.write(fileObj)
            file_id = grid_in._id
        finally:
            grid_in.close()


  except pymongo.errors.WriteError as we:
    print('%s %s:%s' % (image[1]['_id'], we, vers['path']))
    grid_in.abort()
    continue


fileObj.closed




I also tried gridfs.put instead of new_file and write and also GridFSBucket.open_upload_stream and GridfsBuscket.upload_from_stream - result always the same. 

Since some moment I am getting error, which a mentioned above


Do you know why this happens and how can I solve it?


Or maybe you can at least answer following question:


- can be some problems because of inserting the same images few times? or images with same filename?

- can it be error because of access to mongoDB (lock mechanizm or smth) and how can I then change it to avoid any conflicts? 


If you have some other ideas, they all are welcome. 


Thank you!

-- 
You received this message because you are subscribed to the Google Groups "mongodb-user"
group.

For other MongoDB technical support options, see: https://docs.mongodb.com/manual/support/
--- 
You received this message because you are subscribed to the Google Groups "mongodb-user" group.
To unsubscribe from this group and stop receiving emails from it, send an email to mongodb-user+unsubscribe@xxxxxxxxxxxxxxxx.
To post to this group, send email to mongodb-user@xxxxxxxxxxxxxxxx.
Visit this group at https://groups.google.com/group/mongodb-user.
To view this discussion on the web visit https://groups.google.com/d/msgid/mongodb-user/797c142a-1015-4fe0-82bb-a51ec8ad22ff%40googlegroups.com.
For more options, visit https://groups.google.com/d/optout.
<Anterior por Tema] Tema Actual [Siguiente por Tema>