diff options
| -rw-r--r-- | Makefile | 3 | ||||
| -rw-r--r-- | commcrawler/locale/fr/LC_MESSAGES/django.po | 72 | ||||
| -rw-r--r-- | commcrawler/models.py | 8 | ||||
| -rw-r--r-- | commorganization/locale/fr/LC_MESSAGES/django.po | 2 | ||||
| -rw-r--r-- | docs/database.fr.md | 22 | ||||
| -rw-r--r-- | docs/images/models.png | bin | 156976 -> 155650 bytes |
6 files changed, 72 insertions, 35 deletions
@@ -21,6 +21,7 @@ run: ## run test server $(PYTHON) manage.py runserver 0.0.0.0:8000 generate_graphs: ## generate graph model for documentation - $(PYTHON) manage.py graph_models -g -n -L fr-fr $(APPS) > /tmp/$(PROJECT).dot + $(PYTHON) manage.py graph_models \ + -S --arrow-shape normal -g -n -L fr-fr $(APPS) > /tmp/$(PROJECT).dot dot -Tpng /tmp/$(PROJECT).dot > docs/images/models.png rm /tmp/$(PROJECT).dot
\ No newline at end of file diff --git a/commcrawler/locale/fr/LC_MESSAGES/django.po b/commcrawler/locale/fr/LC_MESSAGES/django.po index a839672..021b9a6 100644 --- a/commcrawler/locale/fr/LC_MESSAGES/django.po +++ b/commcrawler/locale/fr/LC_MESSAGES/django.po @@ -2,7 +2,7 @@ msgid "" msgstr "" "Project-Id-Version: PACKAGE VERSION\n" "Report-Msgid-Bugs-To: \n" -"POT-Creation-Date: 2019-08-01 18:26+0200\n" +"POT-Creation-Date: 2019-08-01 19:52+0200\n" "PO-Revision-Date: YEAR-MO-DA HO:MI+ZONE\n" "Last-Translator: FULL NAME <EMAIL@ADDRESS>\n" "Language-Team: LANGUAGE <LL@li.org>\n" @@ -38,125 +38,137 @@ msgstr "Date de création" #: models.py:18 msgid "Start date" -msgstr "Date de création" +msgstr "Date de début" #: models.py:20 msgid "End date" msgstr "Date de fin" -#: models.py:25 models.py:38 models.py:96 +#: models.py:22 +msgid "Status" +msgstr "État" + +#: models.py:27 models.py:40 models.py:98 msgid "Crawl" msgstr "Session d'indexation" -#: models.py:26 +#: models.py:28 msgid "Crawls" msgstr "Session d'indexation" -#: models.py:39 +#: models.py:41 msgid "Target" msgstr "Cible" -#: models.py:41 +#: models.py:43 msgid "Number of external links" msgstr "Nombre de liens externes" -#: models.py:43 +#: models.py:45 msgid "Number of internal links" msgstr "Nombre de liens internes" -#: models.py:45 +#: models.py:47 msgid "Number of images" msgstr "Nombre d'images" -#: models.py:47 +#: models.py:49 msgid "Number of Facebook links" msgstr "Nombre de liens Facebook" -#: models.py:49 +#: models.py:51 msgid "Number of Twitter links" msgstr "Nombre de liens Twitter" -#: models.py:51 +#: models.py:53 msgid "Number of Instagram links" msgstr "Nombre de liens Instagram" -#: models.py:53 +#: models.py:55 msgid "Number of Youtube links" msgstr "Nombre de liens Youtube" -#: models.py:55 +#: models.py:57 msgid "Number of Dailymotion links" msgstr "Nombre de liens Dailymotion" -#: models.py:57 +#: models.py:59 msgid "Number of Vimeo links" msgstr "Nombre de liens Vimeo" -#: models.py:59 +#: models.py:61 msgid "Number of videos" msgstr "Nombre de vidéos" -#: models.py:61 +#: models.py:63 msgid "Number of audios" msgstr "Nombre de fichiers audio" -#: models.py:63 models.py:67 +#: models.py:65 msgid "Number of internal PDF" msgstr "Nombre de PDF internes" -#: models.py:65 models.py:69 +#: models.py:67 msgid "Number of external PDF" msgstr "Nombre de PDF externes" +#: models.py:69 +msgid "Number of internal office documents" +msgstr "Nombre de liens document office internes" + #: models.py:71 +msgid "Number of external office documents" +msgstr "Nombre de liens document office externes" + +#: models.py:73 msgid "Website is online" msgstr "Site en ligne" -#: models.py:73 +#: models.py:75 msgid "Redirection" msgstr "Redirection" -#: models.py:76 +#: models.py:78 msgid "Crawl result" msgstr "Résultat d'indexation" -#: models.py:77 +#: models.py:79 msgid "Crawl results" msgstr "Résultats d'indexation" -#: models.py:84 +#: models.py:86 msgid "Result" msgstr "Résultat" -#: models.py:85 +#: models.py:87 msgid "Link" msgstr "Lien" -#: models.py:88 +#: models.py:90 msgid "Crawl link" msgstr "Indexation - lien" -#: models.py:89 +#: models.py:91 msgid "Crawl links" msgstr "Indexations - liens" -#: models.py:97 +#: models.py:99 msgid "Source" msgstr "Source" -#: models.py:99 +#: models.py:101 msgid "Destination" msgstr "Destination" -#: models.py:101 +#: models.py:103 msgid "Number" msgstr "Nombre" -#: models.py:104 +#: models.py:106 msgid "Crawl relation" msgstr "Indexation - Relation" -#: models.py:105 +#: models.py:107 msgid "Crawl relations" msgstr "Indexations - Relations" diff --git a/commcrawler/models.py b/commcrawler/models.py index bf73ce3..0050ad8 100644 --- a/commcrawler/models.py +++ b/commcrawler/models.py @@ -18,7 +18,9 @@ class Crawl(models.Model): verbose_name=_("Start date"), blank=True, null=True) ended = models.DateTimeField( verbose_name=_("End date"), blank=True, null=True) - status = models.CharField(max_length=1, choices=STATUS, default='C') + status = models.CharField( + verbose_name=_("Status"), + max_length=1, choices=STATUS, default='C') targets = models.ManyToManyField(Target, blank=True) class Meta: @@ -64,9 +66,9 @@ class CrawlResult(models.Model): nb_external_pdf = models.IntegerField( verbose_name=_("Number of external PDF"), default=0) nb_internal_office = models.IntegerField( - verbose_name=_("Number of internal PDF"), default=0) + verbose_name=_("Number of internal office documents"), default=0) nb_external_office = models.IntegerField( - verbose_name=_("Number of external PDF"), default=0) + verbose_name=_("Number of external office documents"), default=0) is_online = models.BooleanField( verbose_name=_("Website is online"), default=False) redirection = models.URLField( diff --git a/commorganization/locale/fr/LC_MESSAGES/django.po b/commorganization/locale/fr/LC_MESSAGES/django.po index 8ed6282..5081e5d 100644 --- a/commorganization/locale/fr/LC_MESSAGES/django.po +++ b/commorganization/locale/fr/LC_MESSAGES/django.po @@ -2,7 +2,7 @@ msgid "" msgstr "" "Project-Id-Version: PACKAGE VERSION\n" "Report-Msgid-Bugs-To: \n" -"POT-Creation-Date: 2019-08-01 18:26+0200\n" +"POT-Creation-Date: 2019-08-01 19:52+0200\n" "PO-Revision-Date: YEAR-MO-DA HO:MI+ZONE\n" "Last-Translator: FULL NAME <EMAIL@ADDRESS>\n" "Language-Team: LANGUAGE <LL@li.org>\n" diff --git a/docs/database.fr.md b/docs/database.fr.md index 29ceee4..55396f1 100644 --- a/docs/database.fr.md +++ b/docs/database.fr.md @@ -2,3 +2,25 @@ Modèle de données =================  + +La partie métier du programme est découpée en deux modules : + +- commorganization : regroupant les données concernant les structures interrogées ; +- commcrawler : regroupant les données concernant les sessions d'indexation + +commorganization +---------------- + +Ce module est centré sur le modèle `Organisation`. À celui-ci est rattaché un `Type d'organisation` (exemple : Commune, Université, Média, etc.) et éventuellement une `Zone`. La `Zone` est à entendre comme entité géographique, les `Types de zone` reprennent de fait certains types d'organisation (Commune, EPCI) mais ce découpage permet de regrouper les organisations qui partagent une même zone géographique. + +Chaque `Organisation` est associée à une ou plusieurs `Cibles`. Ces `Cibles` sont les adresses Internet qui seront effectivement parcourues. Une même `Organisation` peut donc avoir plusieurs adresses associées. + +commcrawler +----------- + +Ce module permet de stocker les éléments collectés lors des `Sessions d'indexation`. +Une `Session d'indexation` est associées à plusieurs `Cibles`. Ainsi il est possible de lancer des `Sessions d'indexation` en ne prenant en compte qu'un sous-ensemble des `Cibles` définies. + +À chaque `Session d'indexation` est aussi associée des `Résultats d'indexation`. Cette table reprend le décompte des éléments qui nous intéressent pour chaque `Cible` ainsi que tous les `Liens` rencontrés. + +Cette collecte exhaustive de `Liens` rencontrés permet a posteriori d'établir les éventuelles `Relations` entre les structures mais permet aussi éventuellement d'identifier des nouvelles structures à intégrer à l'étude. diff --git a/docs/images/models.png b/docs/images/models.png Binary files differindex ea23876..378c8a5 100644 --- a/docs/images/models.png +++ b/docs/images/models.png |
