sous-projet pdf_du_cours/from_latex

[Karduin]

J'ouvre cette issue avec une copie du read me.
Aprés avoir generé le pdf du cours avec Sphinx à partir des imports en .rst, et puisque dans ce cas, Sphinx utilise LaTeX,
Je tente une nouvelle approche en utilisant directement LaTeX et les imports du cours en .tex.

Je precise qu'avant ce cours je n'utilisai ni l'un ni l'autre, du coup il y aura certainenemnt des maladresses.

Pourquoi ?

Sphinx

• Je ne maitrise pas vraiment le rst (il est possible donc qu'il y ai une astuce),
  mais certaines limitations sont pénalisantes dans le cas du cours.
  • Par exemple : Je ne peux pas imbriquer les enrichissements de texte (mette gras et italique ne marche pas)
  • L'utilisation des niveaux de titre et hierarchisés. Impossible de mettre un niveau trois si le deux nexiste pas.
• Je ne sais pas si cela vient des fichiers Markdown d'origine ou de la generation des rst par ipython, mais les listes ne sont
  pas bien gérées.(Visiblement en LaTeX il y a aussi ce problème mais beaucoup moins fréquent).
• Les Tables, Aie gros point noir...
• Bref, autant pour du html ou de l'epub Sphinx et super, autant pour du pdf il faut absolument que les fichiers rst soit parfait.

LaTeX

• Je ne maitrise pas plus LaTeX que Sphinx puisque decouvert tout récement...
• Beaucoup de problèmes rencontrés avec les .rst disparaissent avec les .tex.
• En structurant les fichiers .tex comme ceci :
  • un fichier maître contenant tout les parametres du fichier à rendre, la page de garde et un include de chaque fichier .tex des notebook(purger des paramètres).
  • On peu travailler en équipe, chacun gérant un chapitre par exemple.
  • Si une modification est necessaire, seul un fichier est concerné.
  • Gestion des TOC, notes, bibliographie, etc.
• Il y a quand de petits choses à corriger dans certains fichiers .tex, mais le résultat est interessant, assez proche du cours et la coloration syntaxique est plus à mon goût.

Comment ?

Ca commence à faire long. Je vais faire un how to pour expliquer la demarche.

[parmentelat]

Merci d'avoir exposé le pdf directement dans le repo.

Ce qui me serait le plus utile à ce stade, ce serait

• de savoir comment je peux reproduire moi même, à partir typiquement du contenu du cours qui est donc toujours sur http://github.com/parmentelat/flotpython;
• aussi comment tu as prévu de faire pour les semaines optionnelles ? il n'y a plus de corrigés après w6, mais pour les compléments c'est surtout pour la semaine 7 que je suis intéressé, car les deux autres w8 et w9 sont assez légères en termes de notebooks

Je n'avais pas réellement conscience d'en avoir écrit autant que ça en fait ;)

Merci en tous cas à tous les deux !

[parmentelat]

en fait j'avais eu un peu du mal à suivre les diverses mutations depuis corriges2rst jusque dans les recoins de pdf_du_cours - que j'avais hativement pris pour juste un moyen d'exposer le résultat

je précise donc que le readme dont veut parler @Karduin c'est celui-ci:
https://github.com/parmentelat/moocpython/blob/master/pdf_du_cours/from_latex/read_me.md

aussi je change le nom de l'issue pour refléter qu'on s'intéresse à pdf_du_cours

[parmentelat]

mais alors maintenant du coup je suis un peu perdu entre les différentes versions de Python3.pdf qui sont sous git; a quoi correspond celle qui est dans corriges2rst, si ce repo s'intéresse seulement aux corrigés (d'après son nom) mais que le pdf contient aussi les notebooks ?

c'est pas forcément très grave, j'essaie juste de suivre :)

[jgorene]

Salut à vous,

Oui en effet à ce stade... pas évident de s'y retrouver mais ça vient un peu de moi en fait, dsl ;)

Je pensais m'en être expliqué sur l'issue du corriges2rst... mais bon à fortiori... ma démarche apporte plus de confusion qu'autre chose, ce n'est pas bien grave de toute façon c'est vrai !

Je vais donc supprimer du dossier corriges2rst le pdf "Python 3" de compilation et les 2 scripts concernés qui sont en fait des "intrus" dans ce dossier, c'est vrai...
Ce sera en effet plus facile à suivre pour les visiteurs de passage; c'est important :)

Sinon @Karduin ta nouvelle approche pour générer le pdf du cours est une bonne idée car le langage rst, bien que je commence à m'y retrouver, ce n'est pas évident du tout, en tout cas au départ...
A suivre alors, pas de souci...

[Karduin]

@parmentelat pas de problème j'ai prévu d'intégrer la totalité du cours.
Dans le how to concernant latex que je vais rédiger, tu auras toutes les explications nécessaires pour générer ou modifier toi même ou ton équipe les futurs versions du cours.
Sinon que pensez vous de la version issue directement de latex ?

[Karduin]

@parmentelat
Thierry, j'ai rédigé le how to qui, j’espère, est suffisamment clair.
Tu peu voir le pdf en exemple et les fichiers utilisés dans l'archive mooc_pyton.7z

Je n'avais pas réellement conscience d'en avoir écrit autant que ça en fait ;)

Oui ça commence à faire des pages quand même... :-)

[parmentelat]

Pour répondre à ta question dans le howto:

Dans le github maitre, on trouve tous les notebooks au format ipynb; pour les transformer en latex plutot que de les prendre sur fun ce qui est fastidieux, il est préférable je pense de juste faire un nbconvert --to latex ou quelque chose dans ce genre

[Karduin]

J'avais oublié cette commande. Reste à voir comment gérer quelles cellules sont exécuter. Je me souviens que l'on peux dire dans la commande de tout exécuter mais peut on n'en exclure certaines ?

[parmentelat]

pour les pdf qui circulent, tu/vous avez fait comment par rapport à l'évaluation des cellules ?
toutes les cellules évaluées, aucune évaluée, choix fait à la main ?

[Karduin]

Pour tous les notebooks exercices ou python tutor choix manuel.(il y en a relativement peu)
Pout tout les autres en automatique.
Il me semble qu'avec nbconvert il y a une option pour évaluer les cellules en même temps que la conversion.
Il faut voir si avec nbconvert on peu choisir lesquelles évaluer.

[Karduin]

j'ai fait quelques essais en ligne de commande avec nbconvert.
Pour les notebooks sans exercices ou python tutor, avec une ligne comme celle ci aucun problème.
jupyter nbconvert --ExecutePreprocessor.kernel_name='python3' --to latex --execute w2-s3-c1-slices.ipynb
Pour les autres, on peu contourner le problème comme ça. Mais, si le fichier est bien généré, l'erreur s'affiche dans la cellule concernée.
jupyter nbconvert --ExecutePreprocessor.kernel_name='python3' --to latex --execute --allow-errors w3-s2-x1-comptage.ipynb
J'ai vu que l'on pouvait aussi faire une liste des fichiers à traiter

c.NbConvertApp.notebooks = ["notebook1.ipynb", "notebook2.ipynb"]  

L’idéal serait qu'avec --allow-errors on puisse lui dire de ne rien afficher.
Sinon clairement, on peut via un script traiter tout les ipynb d'un seul coup.
Reste à écrire un script pour modifier les fichiers latex comme expliqué dans le how to.
Je vais creuser encore un peu...

edit: J'ai trouvé un truc mais j'ai du mal à comprendre comment l'utiliser :

from nbconvert.preprocessors import CellExecutionError
try :
    out = ep.preprocess(nb, {'metadata': {'path': run_path}})
except CellExecutionError:
    out = None
    msg = 'Error executing the notebook "%s".\n\n' % notebook_filename
    msg += 'See notebook "%s" for the traceback.' % notebook_filename_out
    print(msg)
    raise
finally:
    with open(notebook_filename_out, mode='wt') as f:
        nbformat.write(nb, f)

Est ce qu'avec ça on pourrai générer le fichier sans que l'erreur s'affiche dans la cellule et si oui, comment je l'utilise ?

[parmentelat]

je n'ai pas la réponse sous la main..

mais c'est quoi exactement le problème ? est-ce que c'est que l'évaluation s'arrête lorsqu'on rencontre un problème ? ou bien qu'on veut cherche un moyen de sélectionner a priori les cellules à évaluer et pas les autres ?

aussi je ne me rends pas bien compte du problème spécifique que pose les cellules pythontutor spécifiquement, peux-tu être plus explicite là dessus aussi ?

merci en tous cas de tout ce temps passé là dessus; il ne faut pas que ça devienne trop lourd comme travail, souviens-toi qu'il s'agit d'un exercice :)

[jgorene]

J'ai bien essayé de survoler le howto mais j'avoue que j'ai du mal à y voir clair et donc désolé de ne pas apporter plus de retours; en tout cas pour le moment...

Sinon, bravo pour le travail fourni en effet 👍

De mon côté, j'avoue avoir toujours la tête immergée dans les fichiers rst avec lesquels je commence à m'y retrouver pour la configuration de Sphinx (encore du boulot malgré tout)

Je vais essayer de suivre ça...
Sinon, un des côtés très intéressant c'est l'accès aux "coulisses" de ce mooc... et voir le travail effectué déjà et entre autres choses ;)
Bravo aussi 👍

[jgorene]

J'ai procédé à quelques tests pris comme un exercice perso juste pour essayer de mieux voir de quoi il retourne ... tout en restant sur une compile pdf à partir des fichiers rst, pour ma part ;)

J'utilise nbconvert comme librairie en essayant de suivre ce doc pour convertir aussi bien en .tex (voir fichier joint flotpython-w1-tex.zip ) qu'en rst ou autres... à partir d'un script.
Au final, hyper efficace avec quelques secondes par semaine... rien à dire !
Toujours impressionné par Python, bref !

Pas de pbs pour convertir sans exécuter donc mais pour l’exécution des notebooks toujours en essayant de suivre la doc, je rencontre une erreur assez claire (en apparence seulement;) que je n'arrive pas à solutionner pour le moment en tout cas...
J'effectue l'opération à partir d'un script sur Spyder avec sans doute un pb d'environnement différent du dossier d'exécution contenant le module nbconvert par rapport au dossier des corrections, à voir ??

ModuleNotFoundErrorTraceback (most recent call last)
<ipython-input-1-ce7e6fb238d0> in <module>()
      1 # évaluez cette cellule pour charger l'exercice
----> 2 from corrections.regexp_pythonid import exo_pythonid

ModuleNotFoundError: No module named 'corrections'

Ceci étant dit une question quand même:

• est-il finalement utile d’exécuter les notebooks ?
  il y aura "les corrigés" qui feront + ou - double emploi déjà :D
  les notebooks exécutés dans le pdf ne seront peut-être pas vraiment utile en terme d'apprentissage côté "utilisateur" au final, mais à voir ?

Pour finir comme le note Thierry... c'est vite beaucoup de temps passé quand on débute en tout cas... d'un autre côté, excellent apprentissage aussi !
A suivre...