OpenInfer a recueilli 8 millions de dollars de financement pour redéfinir les conclusions de l’IA pour les applications Edge.
C’est le cerveau de Behnam Bastani et Reza Norai, qui a passé près d’une décennie de fabrication et d’échelle du système d’IA simultanément dans les laboratoires de réalité de Meta et Rolox.
Grâce à leur travail à l’avant-garde de l’IA et de la conception du système, Bastani et Norai ont d’abord observé comment l’architecture du système profondément permet l’estimation continue de l’IA à grande échelle. Cependant, l’estimation de l’IA d’aujourd’hui est fermée derrière l’API cloud et les systèmes hébergés – un obstacle pour l’application de pointe des mauvaises herbes, privée et coûteuse. OpenInfer change. Il veut se rendre inconnu pour les types d’équipements à la limite, a déclaré Bastani dans une interview avec GamesBits.
En permettant une exécution transparente de grands modèles d’IA directement sur les appareils – de SOC au cloud – Opinfer supprime ces obstacles, permet l’estimation du modèle AI sans compromettre les performances.
Implications? Imaginez un monde où votre téléphone estime vos besoins en temps réel en translaçant immédiatement la langue, en augmentant les photos avec la précision de la qualité du studio ou en donnant de la force à un assistant vocal qui vous comprend vraiment. AI INNENEREFENDE, Avec une exécution directe sur votre appareil, les utilisateurs peuvent s’attendre à des performances rapides, à plus d’intimité et à des fonctionnalités ininterrompues, quoi qu’ils fassent. Ce changement met fin à l’intervalle et apporte un calcul intelligent et à grande vitesse à la paume de votre main.
Fabrication de moteur OpenInfer: moteur de conclusion de l’agent AI
Depuis la création de l’entreprise il y a six mois, Bastani et Norai ont rassemblé une équipe.
Sept, y compris leurs collègues précédents dans Meta. En vivant dans Meta, il a construit Okulus
Effectuer leur expertise dans des liens simultanés, une conception de système à haute démonstration à faible discipline.
Bastani a d’abord été directeur de l’architecture dans les laboratoires de réalité de Meta et dirigé des équipes
Google s’est concentré sur le rendu mobile, la VR et le système d’affichage. Récemment, il était senior
Directeur de l’ingénierie pour le moteur AI à Roblox. Norai a joué des rôles d’ingénierie senior
Graphiques et jeux dans les leaders de l’industrie, notamment Roblox, Meta, Magic Leap et Microsoft.
OpenInfer fabrique un moteur OpenInfer, appelé « moteur d’intrance d’agent AI »
Conçu pour les performances inégalées et l’intégration spontanée.
Pour atteindre la première cible de performances inégalées, OpenInfer a été la première version
Le moteur distillé 2-3x plus vite que Llama.cpp et Olllama pour Deepsek distillé
Modèle. Ce coup de pouce provient de l’adaptation ciblée, y compris la manipulation rationalisée
Meilleur accès à la mémoire par la quantité, augmentation de l’encaissement et spécifique au modèle
Tableau – sans la nécessité de modifier tous les modèles.
Pour atteindre le deuxième objectif de l’intégration spontanée avec le déploiement spontané,
Le moteur OpenInfer est conçu comme un remplacement sans rendez-vous, permettant aux utilisateurs de passer aux points de clôture
Juste en mettant à jour une URL. Les agents et le cadre existants continuent de fonctionner essentiellement,
Sans modification.
«La progression de OpenInfer marque un grand saut pour les développeurs de l’IA. Assez augmenté
La vitesse des estimations, l’infestation et leur équipe rendent les applications d’IA à temps réel plus responsables,
Activé
équipement. Il ouvre de nouvelles possibilités pour l’intelligence sur les appareils et élargit ce qui y est possible.
Innovation par Ai-Oproated,, a déclaré Ernestine Fu Mak, associé directeur dans la capitale de Bahadur et un
Investisseurs dans OpenInfer.
OpenInfer dirige une adaptation spécifique au matériel pour exécuter une barrière AI à haute démonstration
Sur les grands modèles – pour surmonter les leaders de l’industrie sur l’équipement de bord. En concevant des conclusions de
Atterrir, ils sont lancés, une utilisation basse de la mémoire et sans interruption déverrouillée
Exécution sur le matériel local.
Future feuille de route: estimations d’IA faciles dans tous les équipements
Le lancement d’OpenInfer est à temps, en particulier à la lumière de Deepsek News. Comme adoption de l’IA
Rapidement, les estimations ont dépassé la formation en tant que principal moteur de la demande de calcul. Alors que
L’innovation réduit les exigences de calcul pour la formation et les estimations de l’innovation,
Les applications basées sur les bords ont toujours des difficultés avec les performances et l’efficacité en raison d’un traitement limité
Pouvoir. L’exécution de grands modèles d’IA sur l’équipement grand public exige de nouvelles méthodes d’inférence
Activer les performances à faible luxération et à haut débuste sans s’appuyer sur les infrastructures cloud,
Pour créer des opportunités importantes pour les entreprises d’optimisation de l’IA pour le matériel local.
« Sans OpenInfer, les estimations de l’IA sur le périphérique Edge sont désactivées en raison de l’absence de claire
Couche abstraite matérielle. Ce défi déploie de grands modèles
Plates-formes calculées incroyablement difficiles à repousser
Cloud – où ils deviennent coûteux, lents et dépendants des conditions du réseau. Ouvrir
Gokul Rajaram, un investisseur à OpenNefer, a déclaré: « L’Edge a été estimé. Rajaram est
Un investisseur de fée et actuellement membre du conseil d’administration de Coinbase et Pinterest.
En particulier, OpenNefer est spécialement déployé pour aider les fournisseurs de silicium et de matériel à augmenter l’IA
Performances exvancées sur l’équipement. Sur les appareils pour la confidentialité, le coût ou le besoin de l’IA
La robotique, la défense, l’IA agentique et la fiabilité avec les principales applications peuvent profiter de l’ouverture
Développement du modèle.
Dans les jeux mobiles, la technique d’OpenInfer permet un gameplay ultra-répondu en temps réel
AI adaptatif. Activer l’invention sur le système permet un retard et un jeu intelligent
Mobilité. Les joueurs bénéficieront de graphismes lisses, de défis personnels gérés par l’IA et d’un
Une expérience plus immersive se développe à chaque étape.
« Dans OpenNefer, notre vision est d’intégrer essentiellement l’IA dans chaque surface », a déclaré Bastani. « Nous visons à installer OpenInfer comme moteur de conclusion par défaut dans toutes les appareils, les ordinateurs portables, les appareils mobiles, les robots et plus d’IA dans l’IA. »
OpenInfer a levé une ronde de 8 millions de dollars pour son premier cycle de financement. Les investisseurs incluent
Brave Capital, Kota Cital .
«Les écosystèmes d’IA actuels dominent certains acteurs centralisés qui contrôlent l’accès
Estimation via l’API cloud et les services hôtes. Dans OpenInfer, nous le modifions », a déclaré
Bastani. « Notre nom montre notre mission: nous« ouvrons »pour l’IA innerférés-ging»
La capacité de chacun à exécuter des modèles d’IA puissants localement, sans fermer dans des nuages coûteux
Services. Nous croyons en un avenir où l’IA est accessible, décentralisée et est vraiment entre les mains
Son utilisateur. ,
Source link
